Um estudo publicado na revista Nature aponta que chatbots de inteligência artificial (IA) com um tom mais amigável podem apresentar respostas menos precisas e tendem a concordar com o usuário, mesmo em situações em que ele está incorreto. A pesquisa, conduzida por Lujain Ibrahim, Franziska Sofia Hafner e Luc Rocher, analisou cinco modelos populares de linguagem, entre eles GPT-4o, Llama, Mistral-Small e Qwen, e constatou que modelos treinados para serem mais acolhedores cometeram mais erros em comparação às suas versões originais.
Os resultados mostraram que a taxa de erro nos modelos ajustados aumentou entre 10 e 30 pontos percentuais, apesar de ainda apresentarem um bom desempenho em testes gerais de conhecimento. Entre os benchmarks que evidenciaram essa queda de precisão estão TriviaQA, TruthfulQA, MASK Disinformation e MedQA, utilizados para avaliar conhecimentos gerais, resistência a desinformações e respostas médicas.
Ainda que a pesquisa tenha revelado esse aumento na taxa de erros, os autores ressaltaram que a busca por um tom mais simpático não comprometeu os mecanismos de segurança dos modelos. Em testes de resistência a ataques adversários, como o AdvBench, as versões amigáveis dos chatbots mantiveram taxas semelhantes de recusa a solicitações prejudiciais, como comandos ilegais ou códigos maliciosos.
Os pesquisadores sugerem que uma possível solução para o problema pode ser a implementação de uma otimização multiobjetivo, que valorize tanto a empatia quanto a precisão. Outra alternativa seria utilizar dados de treinamento que promovam um estilo de comunicação equilibrado, adotando uma abordagem de “discordância calorosa, mas honesta”, semelhante ao modo como terapeutas experientes orientam seus pacientes sem perder a empatia.
A metodologia do estudo evidenciou que o aumento dos erros está relacionado à tentativa de criar uma conexão emocional com o usuário. Em situações em que o usuário demonstra tristeza, a taxa de erro pode aumentar em até 60%. Esse fenômeno também foi observado em serviços de companhia virtual, como Replika e Character.ai, que são projetados para agir como amigos, estabelecendo laços com os usuários. O tom empático pode fazer com que as pessoas confiem mais nas respostas, mesmo quando elas não são confiáveis.
Essa dinâmica gera uma “armadilha de satisfação”, onde informações erradas parecem mais confiáveis quando acompanhadas de um suporte emocional, resultando em conversas que, embora agradáveis, nem sempre são seguras ou precisas. Os autores do estudo mencionam que esse comportamento já é motivo de preocupação em sistemas reais. Um exemplo citado é a decisão da OpenAI de reverter uma atualização de 2025 do GPT-4o, após críticas sobre o aumento da bajulação, onde o modelo passou a concordar excessivamente com os usuários.
