Biases, illusions, and decisions: to what extent can we trust artificial intelligence?

Authors

  • Juliana Pires da Silva Universidade Federal de Santa Catarina – UFSC
  • Priscila Flores Luz Universidade Federal de Santa Catarina – UFSC
  • Rafael Arlindo Rosa Universidade do Vale do Itajaí - UNIVALI

DOI:

https://doi.org/10.30905/rde.v10i1.1108

Keywords:

Artificial Intelligence;, Trustworthiness;, Human Mediation;, AI Literacy.

Abstract

The Artificial Intelligence (AI), developed since the 1950s, is a general-purpose technology that requires critical analysis of its ethical, epistemological, and sociotechnical implications. While it promises innovation and efficiency, it raises concerns such as algorithmic biases, social bubbles, hallucinations, and model opacity. In this theoretical essay, AI reliability is discussed from three main perspectives: biases, “illusions,” and the decisions made based on its outputs. A qualitative methodological approach is adopted, centered on a literature review and engaging with authors such as Rivoltella (2024) and Fantin (2024). It is shown that algorithmic biases reflect prejudices embedded in training data, as seen with ChatGPT and facial recognition systems that fail to identify black faces, reinforcing hegemonic cultures and affecting the educational field. The “illusions” contribute to the spread of misinformation and strengthen the post-truth era. In this context, AI literacy becomes essential so that users can recognize limitations and flaws. Automated decisions often rely on opaque models that compromise explainability and require active human mediation. Furthermore, the concentration of AI development within large private corporations exacerbates the lack of transparency and deepens technological inequalities, especially in peripheral countries. It is concluded that trust in AI should be understood as an ongoing and situated construction, intertwined with human decisions, economic interests, and power structures. Thus, trusting AI requires maintaining responsibility over its use, through critical mediation and grounding in principles of justice, equity, and cognitive freedom, reinforcing the urgent need for critical education and AI literacy.

Downloads

Download data is not yet available.

Author Biographies

Juliana Pires da Silva, Universidade Federal de Santa Catarina – UFSC

Mestre em Educação Científica e Tecnológica pela Universidade Federal de Santa Catarina (PPGECT/UFSC) em 2015. Especialista em Educação Matemática pela Universidade do Sul de Santa Catarina (2011) . Graduada em Licenciatura Plena em matemática pela Universidade do Sul de Santa Catarina (2007). Atualmente, é técnica em assuntos educacionais da Universidade Federal de Santa Catarina - Campus Araranguá trabalhando com as políticas públicas no Ensino Superior. Também atua como coordenadora do Programa Institucional de Apoio Pedagógico em Araranguá e também como coordenadora do Projeto de Extensão Visitas Guiadas ao CTS. Foi integrante do grupo de pesquisa Epistemologia e Ensino de Matemática. Tem interesse na área de Didática da Matemática, especialmente na área de Ensino e Aprendizagem de Matemática. No presente ano está envolvida em projeto de Realidade Aumentada para o ensino de Matemática despertando o interesse pela área de tecnologias digitais voltadas para a educação. 

Priscila Flores Luz, Universidade Federal de Santa Catarina – UFSC

Graduada em Ciências Biológicas na Universidade do Vale do Itajaí (UNIVALI, 2010) e em Pedagogia (FAMA, 2017), com especializações em Gestão Escolar (FUCSP, 2016), Neuropsicologia Clínica e Orientação Escolar (UniBF, 2019) e Inovação na Educação (UNIVALI, 2020). Mestranda em Educação pelo Instituto Federal Catarinense (IFC), campus Camboriú, na linha de pesquisa “Processos Educativos e Inclusão”, desenvolvendo estudos sobre inclusão digital e inteligência artificial na educação. Ex-docente de Ciências e Biologia nos anos iniciais do ensino fundamental (2004-2017). Orientadora educacional na rede municipal de Itajaí desde 2018. Integra o Grupo Interdisciplinar de Pesquisas e Estudos sobre Diversidade, Inclusão e Processos Formativos (Ginpedin).

Rafael Arlindo Rosa, Universidade do Vale do Itajaí - UNIVALI

Graduado em Pedagogia - Educação infantil e séries iniciais do ensino fundamental pela Universidade do Vale do Itajaí (2006) e Especialista em Práticas Pedagógicas Interdisciplinares, com ênfase em Psicopedagogia pelo Centro Universitário FACVEST (2007). Mestre em Educação pela Universidade Federal de Santa Catarina (2015), linha de pesquisa: Educação e Comunicação. É professor de cursos de graduação e pós-graduação na Universidade do Vale do Itajaí. Sua experiência compreende docência na Educação Básica e no Ensino Superior, presencial e a distância, e oficinas de capacitação docente sobre teorias EaD e o uso de tecnologias na educação.

References

ALMEIDA, Ana Paula; ARAÚJO, Cláudia Helena dos Santos; FERRARO, Danielle Soares e Silva Bicudo; VIEIRA, Lívia Carolina; CASTRO, Karolina Batista; COELHO, Márcia Azevedo; QUADROS, Paulo da Silva. Carta de recomendação para o uso da inteligência artificial na educação: desafios e potencialidades. 1. ed. [S. l.]: Instituto Federal de Educação, Ciência e Tecnologia de Goiás, 2025. e-book, 1,55 MB. Disponível em: http://educapes.capes.gov.br/handle/capes/972722. Acesso em: 19 jun. 2025.

ARAÚJO, Júlio; ARAÚJO, Júlio. Racismo algorítmico e inteligência artificial: uma análise crítica multimodal. Revista Linguagem em Foco, v.16, n.2, 2024. p. 89-109. Disponível em: https://revistas.uece.br/index.php/linguagememfoco/article/view/13108 . Acesso em: 20 de jun. 2025.

BLUM, Rodrigo; ENDO, Paulo Cesar. O quarto golpe. Percurso, São Paulo, Brasil, v. 35, n. 70, p. 69–80, 2023. Disponível em: https://percurso.openjournalsolutions.com.br/index.php/ojs/article/view/1427. Acesso em: 2 jul. 2025.

CORREIA, Ana-Paula. É o ChatGPT uma nova tendência no Ensino Superior? Notícias, Revista Docência e Cibercultura. Abril de 2023. Online. Disponível em: https://www.e-publicacoes.uerj.br/index.php/re-doc/an nouncement/view/1622.

Acesso em: 19 jun. 2025.

DICIO. Pós-verdade. Dicionário Online de Português, [s.d.]. Disponível em: https://www.dicio.com.br/pos-verdade/. Acesso em: 1 jul. 2025.

FANTIN, Mônica. Confinamentos, pedagogia do lugar e terceiro espaço na educação. In: BORGES, Gabriela; GRÁCIO, Rui Alexandre; RIBEIRO, Orquídea (Orgs.). Cidadania digital e culturas do contemporâneo. Coimbra: Grácio Editor, 2024. p. 93–102. ISBN 978-989-35413-3-3. DOI: 10.5281/zenodo.11127615. Disponível em: https://ciac.pt/wp-content/uploads/2024/07/Cidadania-digital-e-culturas-do-contemporaneo_digital-1.pdf. Acesso em: 20 jun. 2025.

FREIRE, Paulo. Pedagogia da Autonomia: saberes necessários à prática educativa. São Paulo: Paz e Terra, 1996.

HARARI, Yuval Noah. Nexus: uma breve história das redes de informação, da Idade da Pedra à inteligência artificial. 1. ed. São Paulo: Companhia das Letras, 2024. 504 p.

NORMAN, Donald. A. The Invisible Computer: Why Good Products Can Fail, the Personal Computer Is So Complex, and Information Appliances Are the Solution. Cambridge, MA: MIT Press, 1998.

O´NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Santo André, SP: Rua do Sabão, 2020.

PANCIROLI, Paolo; RIVOLTELLA, Pier Cesare. Collaborating with Machines. AI, Literacies, School. In: Artificial Intelligence in Education. Tradução de SCHOLÉ – Grupo de Estudos e Pesquisas sobre Inovação na Educação. 2024. Disponível em: https://www.morcelliana.net/img/cms/Rivista%20Schol%C3%A9/2024/1%202024/Panciroli%20Rivoltella%20Schole%CC%81%201_2024%20finale-15-48.pdf. Acesso em: 22 jun. 2025.

RIVOLTELLA, Pier Cesare. Talking to Machines: Semiotic Analysis, Implications for Teaching and Media Literacy. AN-ICON. Studies in Environmental Images. 2024 [ISSN 2785-7433], 3(II), 17–35. https://doi.org/10.54103/ai/23944

ROSSETTI, Regina; ANGELUCI, Alan. Ética Algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia, São Paulo, 2021. https://doi.org/10.1590/1982-2553202150301. Disponível em: https://www.scielo.br/j/gal/a/R9F45HyqFZMpQp9BGTfZnyr . Acesso em: 19 jun. de 2025.

SANTAELLA, Lucia. A inteligência artificial é inteligente? São Paulo: Edições 70, 2023.

SAMPAIO, Rafael Cardoso; NICOLÁS, Maria Alejandra; JUNQUILHO, Tainá Aguiar; SILVA, Luiz Rogério Lopes; FREITAS, Christiana Soares de; TELLES, Márcio; TEIXEIRA, João Senna; ESCÓSSIA, Fernanda da; SANTOS, Luiza Carolina dos. ChatGPT e outras IAs transformarão a pesquisa científica: reflexões sobre seus usos. Revista de Sociologia e Política, [S.L.], v. 32, p. 1-24, 2024. FapUNIFESP (SciELO). http://dx.doi.org/10.1590/1678-98732432e008. Acesso em: 04 ago. 2025.

SAYAD, Alexandre Le Voice. Inteligência Artificial e Pensamento Crítico: caminhos para uma educação midiática. 1.ed. São Paulo: Instituto Palavra Aberta, 2023.

SEVERINO, Antônio Joaquim. Metodologia do Trabalho Científico. 23. ed. São Paulo: Cortez, 2007.

SILVA, Tarcízio. Visão Computacional e Racismo Algorítmico: Branquitude e Opacidade no Aprendizado de Máquina. Revista ABPN, v. 12, p. 428-448, 2020. Disponível em: https://abpnrevista.org.br/site/article/view/744. Acesso em: 19 jun. 2025.

VELANDER, Johanna; TAIYE, Mohammed Ahmed; OTERO, Nuno; MILRAD, Marcelo. Artificial Intelligence in K-12 Education: eliciting and reflecting on swedish teachers' understanding of ai and its implications for teaching & learning. Education And Information Technologies, [S.L.], v. 29, n. 4, p. 4085-4105, 3 jul. 2023. Springer Science and Business Media LLC. http://dx.doi.org/10.1007/s10639-023-11990-4.

Published

2026-03-03

How to Cite

Silva, J. P. da, Luz, P. F., & Rosa, R. A. (2026). Biases, illusions, and decisions: to what extent can we trust artificial intelligence?. Devir Educação, 10(1), E-1108. https://doi.org/10.30905/rde.v10i1.1108