Resumo
- O relatório “Education Accord” de Terra Nova e Labrador, no Canadá, cita pelo menos 15 fontes inexistentes, incluindo um filme fictício chamado “Schoolyard Games”.
- Existe a suspeita de que a IA tenha sido usada na elaboração do documento, pois modelos de linguagem podem criar informações falsas, em um fenômeno conhecido como “alucinação”.
- Especialistas expressam preocupações sobre a confiabilidade do documento devido às citações inventadas.
Um documento com planos educacionais do governo da província de Terra Nova e Labrador, no Canadá, está no centro de uma polêmica: pelo menos 15 fontes citadas como referências não existem, o que levanta suspeitas de que ferramentas de inteligência artificial foram usadas na escrita.
O relatório, intitulado “Education Accord”, tem mais de 400 páginas e levou 18 meses para ser elaborado. Ironicamente, entre suas sugestões de medidas pedagógicas, ele inclui a capacitação de alunos e educadores com “conhecimentos básicos de IA, incluindo ética, privacidade de dados e uso responsável da tecnologia”.
Quais são as fontes falsas no documento?
O documento cita um filme produzido pela National Film Board do Canadá chamado “Schoolyard Games”, mas, segundo a entidade, esse filme simplesmente não existe. Curiosamente, um filme com esse mesmo nome é mencionado em um guia de escrita da Universidade de Vitória (Canadá). É um exemplo fictício, para ensinar como formatar citações corretamente.
Aaron Tucker, professor assistente da Universidade Memorial de Terra Nova, disse não ter conseguido encontrar várias fontes citadas, mesmo procurando no Google, na biblioteca da instituição e em outros bancos de dados acadêmicos.
“Se [o relatório] foi feito por IA, eu não sei, mas inventar fontes é um sinal revelador do uso de inteligência artificial”, diz Tucker, que pesquisa a história da tecnologia no Canadá.
Por que as fontes falsas levantam suspeitas sobre o uso de IA?
Chatbots de IA, apesar de suas capacidades impressionantes de escrita, pesquisa e programação, podem “alucinar”, termo usado para descrever quando um robô cria um resultado aparentemente coerente, mas falso. Um tipo comum é justamente inventar informações, e isso é ainda mais acentuado quando se trata de nomes de obras como livros, artigos, filmes e discos, entre outros.
Isso acontece porque a IA generativa se baseia em modelos de linguagem em larga escala (LLMs), que são treinados para reconhecer padrões em quantidades enormes de textos, mas nem sempre são capazes de identificar se uma informação é verdadeira ou não.
Ao pedir para uma IA listar artigos científicos, por exemplo, ela pode muito bem combinar palavras que geralmente se encaixam em um título de artigo científico, sem que aquele artigo realmente exista.
Esse tipo de problema não afeta apenas o meio acadêmico. A tecnologia também não é boa o suficiente para tarefas jurídicas, já que, da mesma forma, alucina na hora de citar leis, antecedentes e jurisprudências.
“Erros acontecem. Citações inventadas são uma situação totalmente diferente, que basicamente destrói a confiabilidade do material”, avalia Josh Lepawsky, professor que presidiu o conselho consultivo para elaboração do documento. Ele deixou o cargo em janeiro, dizendo que se tratava de um “processo cheio de falhas”, com recomendações “de cima para baixo”.
Karen Goodnough, professora da Universidade Memorial de Terra Nova e uma das responsáveis pelo material, disse à CBC News que seu grupo está investigando e verificando as referências.
Com informações da CBC News e do Ars Technica