Sesgos, ilusiones y decisiones: ¿hasta qué punto podemos confiar en la inteligencia artificial?
DOI:
https://doi.org/10.30905/rde.v10i1.1108Palabras clave:
Inteligencia artificial;, Confiabilidad;, Mediación humana;, Alfabetización en IA.Resumen
La Inteligencia Artificial (IA), desarrollada desde la década de 1950, es una tecnología de propósito general que requiere un análisis crítico de sus implicaciones éticas, epistemológicas y sociotécnicas. Aunque promete innovación y eficiencia, suscita preocupaciones como sesgos algorítmicos, burbujas sociales, alucinaciones y opacidad de los modelos. En este ensayo teórico, la confiabilidad de la IA se discute a partir de tres ejes: los sesgos, las “ilusiones” y las decisiones tomadas con base en sus respuestas. Para ello, se adopta un enfoque metodológico cualitativo, centrado en la revisión de literatura, dialogando con autores como Rivoltella (2024) y Fantin (2024). Se muestra que los sesgos algorítmicos reflejan prejuicios presentes en los datos de entrenamiento, como ocurre con ChatGPT y sistemas de reconocimiento facial que fallan en la identificación de rostros negros, reforzando culturas hegemónicas y afectando el ámbito educativo. Las “ilusiones” contribuyen a la difusión de desinformación y fortalecen la posverdad. En este contexto, la alfabetización en IA se vuelve esencial para que los usuarios reconozcan limitaciones y fallos. Las decisiones automatizadas se basan con frecuencia en modelos opacos, que comprometen la explicabilidad y exigen mediación humana activa. Además, la concentración de la producción de IA en grandes corporaciones privadas intensifica la falta de transparencia y profundiza las desigualdades tecnológicas, especialmente en países periféricos. Se concluye que la confianza en la IA debe entenderse como una construcción continua y situada, entrelazada con decisiones humanas, intereses económicos y estructuras de poder. Así, confiar en la IA exige mantener la responsabilidad sobre su uso, con mediación crítica y fundamentación en principios de justicia, equidad y libertad cognitiva, reforzando la necesidad urgente de una educación crítica y de la alfabetización en IA.
Descargas
Citas
ALMEIDA, Ana Paula; ARAÚJO, Cláudia Helena dos Santos; FERRARO, Danielle Soares e Silva Bicudo; VIEIRA, Lívia Carolina; CASTRO, Karolina Batista; COELHO, Márcia Azevedo; QUADROS, Paulo da Silva. Carta de recomendação para o uso da inteligência artificial na educação: desafios e potencialidades. 1. ed. [S. l.]: Instituto Federal de Educação, Ciência e Tecnologia de Goiás, 2025. e-book, 1,55 MB. Disponível em: http://educapes.capes.gov.br/handle/capes/972722. Acesso em: 19 jun. 2025.
ARAÚJO, Júlio; ARAÚJO, Júlio. Racismo algorítmico e inteligência artificial: uma análise crítica multimodal. Revista Linguagem em Foco, v.16, n.2, 2024. p. 89-109. Disponível em: https://revistas.uece.br/index.php/linguagememfoco/article/view/13108 . Acesso em: 20 de jun. 2025.
BLUM, Rodrigo; ENDO, Paulo Cesar. O quarto golpe. Percurso, São Paulo, Brasil, v. 35, n. 70, p. 69–80, 2023. Disponível em: https://percurso.openjournalsolutions.com.br/index.php/ojs/article/view/1427. Acesso em: 2 jul. 2025.
CORREIA, Ana-Paula. É o ChatGPT uma nova tendência no Ensino Superior? Notícias, Revista Docência e Cibercultura. Abril de 2023. Online. Disponível em: https://www.e-publicacoes.uerj.br/index.php/re-doc/an nouncement/view/1622.
Acesso em: 19 jun. 2025.
DICIO. Pós-verdade. Dicionário Online de Português, [s.d.]. Disponível em: https://www.dicio.com.br/pos-verdade/. Acesso em: 1 jul. 2025.
FANTIN, Mônica. Confinamentos, pedagogia do lugar e terceiro espaço na educação. In: BORGES, Gabriela; GRÁCIO, Rui Alexandre; RIBEIRO, Orquídea (Orgs.). Cidadania digital e culturas do contemporâneo. Coimbra: Grácio Editor, 2024. p. 93–102. ISBN 978-989-35413-3-3. DOI: 10.5281/zenodo.11127615. Disponível em: https://ciac.pt/wp-content/uploads/2024/07/Cidadania-digital-e-culturas-do-contemporaneo_digital-1.pdf. Acesso em: 20 jun. 2025.
FREIRE, Paulo. Pedagogia da Autonomia: saberes necessários à prática educativa. São Paulo: Paz e Terra, 1996.
HARARI, Yuval Noah. Nexus: uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. 1. ed. São Paulo: Companhia das Letras, 2024. 504 p.
NORMAN, Donald. A. The Invisible Computer: Why Good Products Can Fail, the Personal Computer Is So Complex, and Information Appliances Are the Solution. Cambridge, MA: MIT Press, 1998.
O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Santo André, SP: Rua do Sabão, 2020.
PANCIROLI, Paolo; RIVOLTELLA, Pier Cesare. Collaborating with Machines. AI, Literacies, School. In: Artificial Intelligence in Education. Tradução de SCHOLÉ – Grupo de Estudos e Pesquisas sobre Inovação na Educação. 2024. Disponível em: https://www.morcelliana.net/img/cms/Rivista%20Schol%C3%A9/2024/1%202024/Panciroli%20Rivoltella%20Schole%CC%81%201_2024%20finale-15-48.pdf. Acesso em: 22 jun. 2025.
RIVOLTELLA, Pier Cesare. Talking to Machines: Semiotic Analysis, Implications for Teaching and Media Literacy. AN-ICON. Studies in Environmental Images. 2024 [ISSN 2785-7433], 3(II), 17–35. https://doi.org/10.54103/ai/23944
ROSSETTI, Regina; ANGELUCI, Alan. Ética Algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia, São Paulo, 2021. https://doi.org/10.1590/1982-2553202150301. Disponível em: https://www.scielo.br/j/gal/a/R9F45HyqFZMpQp9BGTfZnyr . Acesso em: 19 jun. de 2025.
SANTAELLA, Lucia. A inteligência artificial é inteligente? São Paulo: Edições 70, 2023.
SAMPAIO, Rafael Cardoso; NICOLÁS, Maria Alejandra; JUNQUILHO, Tainá Aguiar; SILVA, Luiz Rogério Lopes; FREITAS, Christiana Soares de; TELLES, Márcio; TEIXEIRA, João Senna; ESCÓSSIA, Fernanda da; SANTOS, Luiza Carolina dos. ChatGPT e outras IAs transformarão a pesquisa científica: reflexões sobre seus usos. Revista de Sociologia e Política, [S.L.], v. 32, p. 1-24, 2024. FapUNIFESP (SciELO). http://dx.doi.org/10.1590/1678-98732432e008. Acesso em: 04 ago. 2025.
SAYAD, Alexandre Le Voice. Inteligência Artificial e Pensamento Crítico: caminhos para uma educação midiática. 1.ed. São Paulo: Instituto Palavra Aberta, 2023.
SEVERINO, Antônio Joaquim. Metodologia do Trabalho Científico. 23. ed. São Paulo: Cortez, 2007.
SILVA, Tarcízio. Visão Computacional e Racismo Algorítmico: Branquitude e Opacidade no Aprendizado de Máquina. Revista ABPN, v. 12, p. 428-448, 2020. Disponível em: https://abpnrevista.org.br/site/article/view/744. Acesso em: 19 jun. 2025.
VELANDER, Johanna; TAIYE, Mohammed Ahmed; OTERO, Nuno; MILRAD, Marcelo. Artificial Intelligence in K-12 Education: eliciting and reflecting on swedish teachers' understanding of ai and its implications for teaching & learning. Education And Information Technologies, [S.L.], v. 29, n. 4, p. 4085-4105, 3 jul. 2023. Springer Science and Business Media LLC. http://dx.doi.org/10.1007/s10639-023-11990-4.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2026 Devir Educação

Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
A reprodução, total ou parcial, dos artigos aqui publicados fica sujeita à expressa menção da procedência de sua publicação, citando-se a edição e data dessa publicação. Para efeitos legais, deve ser consignada a fonte de publicação original.
