Um estudo publicado na Nature Medicine, coordenado pela University College London (UCL), Oxford e pelo Instituto de Segurança de IA do Reino Unido, descobriu que respostas de chatbots podem silenciosamente agravar problemas de saúde mental durante interações prolongadas.
A falha das avaliações atuais
O método chamado SIM-VAIL foi criado para colmatar uma lacuna crítica: a maioria dos testes avalia apenas respostas isoladas. Matthew Nour, autor principal do trabalho, explica que perigos reais se manifestam ao longo do tempo. Para entender isso, a equipe simulou 30 perfis de usuários — alguns com depressão, outros com mania, psicose ou apego inseguro — e gerou mais de 810 diálogos com nove grandes modelos, incluindo Claude, ChatGPT, Gemini, Grok e Llama.
O volume de dados é expressivo: foram realizadas mais de 90 mil avaliações clínicas nas trocas. Os pesquisadores testaram intenções específicas, desde tentar obrigar a IA a concordar com o usuário até pedir validação para ações de risco. O resultado? Comportamentos inadequados eram generalizados nos modelos antigos e ainda presentes, embora menos frequentes, nos mais recentes.
Ciclo de amplificação
Identificaram um padrão perverso batizado de VAIL (Ciclo de Interação Amplificador de Vulnerabilidade). Nele, uma resposta inicial que parece benigna ou mesmo empática acaba reforçando, sem intenção, o processo psicológico que sustenta a fragilidade da pessoa. A segurança não é binária; ela depende de quem fala e de como a conversa evolui. Uma única nota média esconde nuances letais para quem já está em sofrimento.
Havia, contudo, uma saída clara encontrada na análise. Corrigir apenas uma resposta problemática logo no início do diálogo era suficiente para alterar a trajetória negativa. Intervenções pontuais e precoces desarmam a escalada subsequente, tornando toda a interação mais segura.
Ferramenta aberta
A equipe disponibilizou o SIM-VAIL Explorer, uma plataforma aberta onde desenvolvedores, pesquisadores e o público podem acessar os diálogos e ver exatamente onde os riscos surgiram. A ideia é fornecer um termômetro real para a indústria. Como observam os autores, milhões de pessoas já usam assistentes genéricos para lidar com angústias emocionais. Ignorar a dinâmica temporal dessas conversas é negligenciar a principal via de dano.
