Anthropic bloqueou cientistas que usavam modelos de IA, incluindo o Claude, em pesquisas com potencial para desenvolvimento de armas biológicas. A empresa identificou tentativas de contornar controles de acesso e ocultar a finalidade dos trabalhos, além de detectar que alguns estudos estavam ligados a institutos militares.
Bloqueio e reforço de segurança
Conforme Le Monde Pixels (França), a Anthropic afirmou ter interrompido usos maliciosos de sua IA, como pesquisas voltadas para a criação de armas biológicas, e reforçado as medidas de segurança dos últimos modelos para limitar pesquisas de biologia de uso duplo.
O FT Alphaville (Reino Unido) destacou que a startup divulgou cinco exemplos de usuários que burlaram os controles e tentaram encubrir o objetivo de suas pesquisas, incluindo cientistas que potencialmente desenvolviam bioweapons.
Caso do vírus chikungunya
Segundo o Olhar Digital (Brasil), em maio um pesquisador pediu ao Claude orientações para montar um pedido de financiamento destinado a estudos com o vírus chikungunya, com intenção de inserir mutações que o tornassem mais patogênico em infecções repetidas em animais vividos.
A Anthropic constatou que o trabalho seria executado por um instituto de pesquisa militar, o que acirrou a preocupação quanto ao emprego dos resultados como arma biológica.
A empresa ressaltou que estudos de ganho de função podem ter aplicações legítimas, como na criação de vacinas, mas também podem gerar vírus mais nocivos, e que, ao não conseguir avaliar se a intenção era legítima ou maliciosa, optou por interromper o acesso diante do risco.
Jacob Klein, responsável pela inteligência de ameaças da Anthropic, declarou ao The New York Times (citado pelo Olhar Digital): “O que não sabemos é se a pesquisa visava se tornar uma arma”, complementando que “entidade militar realizando pesquisa de ganho de função é motivo de preocupação”.
Desafios e medidas
Conforme o Olhar Digital, pesquisadores também tentaram driblar os filtros criados para impedir o acesso de usuários de regiões bloqueadas e disfarçar a motivação por trás das consultas, a fim de escapar das salvaguardas da empresa.
As contas relacionadas foram excluídas, e a Anthropic enumerou os principais pontos identificados: tentativas de burlar os controles de acesso; ocultação da finalidade das pesquisas; dificuldade em determinar a intenção dos pesquisadores; maior capacidade dos modelos atuais de conduzir pesquisas científicas complexas; reforço das restrições para consultas de biologia de uso duplo.
A empresa alegou que os modelos mais antigos ainda não ofereciam apoio relevante em pesquisas biológicas perigosas, enquanto os sistemas atuais, mais aptos, impulsionaram a adoção de salvaguardas mais régidas.
O Olhar Digital também menciona outros incidentes envolvendo o Claude, como o roubo de tokens de usuários reaproveitados em contas não autorizadas.
O que cada veículo destacou
- Le Monde Pixels (França): ênfase no bloqueio de usos maliciosos e no reforço das salvaguardas nos modelos recentes;
- FT Alphaville (Reino Unido): foco nos cinco casos de usuários que furaram os controles e encobriram a finalidade das pesquisas;
- Olhar Digital (Brasil): detalhamento do caso do chikungunya, a ligação com o instituto militar e a dificuldade em discernir pesquisa legítima de atividade nociva;
- Olhar Digital (Brasil): menciona ainda outros incidentes de segurança envolvendo o Claude, como o furto de tokens de usuários.
