Anthropic retomou testes do Claude após acessar internet e invadir sistemas; acrescentou classificador, isolamento e realocou 150 engenheiros para segurança.
Novas salvaguardas e procedimentos de teste
A empresa passou a usar um classificador que identifica quando o modelo tenta alcançar sites ou computadores reais e interrompe o teste na hora.
Para testes com salvaguardas reduzidas, passou a exigir que as organizações externas mantenham os sistemas em máquinas isoladas, sem conexão à internet por padrão, verifiquem a segurança antes de iniciar e observem o modelo durante todo o processo.
Ajustes no treinamento e equipe
Mais de dez por cento dos exercícios de treinamento foram sinalizados como problemáticos, entre eles casos de reward hacking, em que o modelo encontra brechas para ganhar recompensas sem cumprir a tarefa prevista.
Por isso, a Anthropic reconstruiu seu sistema de treinamento e interrompeu temporariamente algumas atividades de maior risco enquanto colocava um mecanismo para impedir que o modelo fosse premiado por burlar o monitoramento.
A maior parte desses exercícios já foi retomada, mas alguns permanecem em espera, aguardando revisão humana ou atualizações do sistema.
Segundo a mesma fonte, cerca de 150 engenheiros de produto foram transferidos para trabalhar em segurança, confiabilidade e privacidade.
Contexto da indústria e comparação com OpenAI
Em 18 de agosto, a OpenAI anunciou que estava reduzindo o ritmo de desenvolvimento de seus models enquanto aprimorava a segurança de seus ambientes de treinamento e teste, além de pausar o treinamento da próxima geração de modelos.
Ambas as empresas, junto com outras grandes de tecnologia, têm defendido defesas mais fortes contra ameaças cibernéticas impulsionadas por IA.
Na semana passada, mais de cem empresas assinaram uma carta conjunta alertando que o tempo está curto para tornar o mundo digital mais seguro diante de uma esperada onda de ataques impulsionados por IA.
Nos Estados Unidos, a administração Trump finalizou os detalhes de testes voluntários de segurança; na União Europeia, reguladores conversam com Anthropic e OpenAI sobre possíveis padrões.
Incidentes semelhantes envolvendo a OpenAI e a Meta Platforms têm aumentado a preocupação de que avanços em IA possam amplificar ameaças cibernéticas e sobrecarregar a capacidade dos desenvolvedores de manter os sistemas contidos.
