Interpretação de texto das IA é tão boa quanto do leitor comum

Se você costuma usar o ChatGPT ou outras IA do tipo para tirar dúvidas sobre as principais notícias do dia, um alerta: não faça isso.

Um estudo recente da BBC descobriu que essas IAs podem estar mentindo pra você mesmo quando você pede para elas procurarem a resposta especificamente em uma fonte confiável.

Este estudo foi feito com quatro das principais inteligências artificiais generativas do mercado (Chat GPT, Copilot, Gemini e Perplexity). Ele consistiu no seguinte: essas IAs receberam acesso ao banco de dados de notícias da BBC, e então tiveram que responder perguntas onde a resposta esperada estaria dentro daquelas notícias que ela teve acesso.

Por exemplo, dentro desse banco de dados tinha uma matéria sobre recomendações da NHS (a versão inglesa do SUS) para quem quer parar de fumar. Então, todas essas IAs deveriam responder uma pergunta do tipo “qual a recomendação da NHS sobre o uso de vaping para quem quer parar de fumar?”. As respostas foram então checadas por jornalistas da BBC que são especialistas nas áreas referentes ao tema.

Ao fim do estudo, descobriu-se que:

• 51% das respostas tinham algum tipo de problema de interpretação da notícia, e entregavam um entendimento errôneo que não era o que a notícia estava dizendo;
• 19% das respostas introduziram erros factuais. Ou seja, inventaram fatos, datas e números que não existiam nas notícias que deveriam ser usadas como base para as respostas;
• 13% das falas citadas nas respostas ou eram atribuídas a pessoa incorreta (a fala existe, mas foi dita por outra pessoa) ou foi algo inventado que a IA atribuiu a algum personagem dos artigos de notícia da BBC.

Naquele mesmo exemplo sobre o vaping (ou o popular “pendrive de fumo”), a resposta da IA era de que a NHS não recomendava que fumantes usassem essa prática como técnica para abandonar o cigarro. E esta é uma resposta incorreta, porque a NHS recomenda oficialmente o vaping como uma prática para quem quer diminuir o consumo de cigarros.

Entender só 50% de qualquer notícia, inventar dados e atribuir falas que ninguém disse a pessoas importantes? Nesse sentido, não podemos nem mais chamar as IAs de ferramentas de desinformação ou criadoras de fake news. Se você me mostrar esses números sem falar que é uma IA, eu vou é te dizer que estamos falando de um humano mediano.

Aliás, esquece isso. Se um humano mediano entendesse 50% das notícias que ele consome, o jornalismo não tava tão ferrado.

Veja nossa campanha de financiamento coletivo, nosso crowdfunding.

Conheça os canais do Drops de Jogos no YouTube, no Facebook, na Twitch, no TikTok e no Instagram.