Anthropic afirma que novas salvaguardas no Claude reduziram fortemente os ataques de distilação de IA, com queda de até 99% na extração de dados e bloqueio de dezenas de milhares de contas suspeitas.
Medidas implementadas
Anthropic restringiu o acesso ao raciocínio interno do Claude, acrescentou resumos de raciocínio que diminuem a quantidade de informações diretamente reutilizáveis nas respostas e tornou mais difícil a manipulação do histórico de conversas para expor razões protegidas. Também aprimorou o controle sobre redes de proxy usadas para enviar grandes volumes de requisições e melhorou seu sistema de detecção, que mantém uma taxa de falso positivo abaixo de 0,1%. A empresa comparou essa robustez às barreiras que impedem o Claude de ajudar na criação de armas biológicas.
Contexto e reações
A companhia vinculou as tentativas em larga escala a preocupações de propriedade intelectual e riscos de segurança nacional, apontou a startup chinesa Z.ai (também conhecida como Zhipu) como exemplo suspeito de distilação enquanto desenvolvia o modelo GLM-5.3 e afirmou que Z.ai não respondeu aos pedidos de comentário. As salvaguardas têm como objetivo elevar o custo para copiar capacidades avançadas de IA por meio de consulta repetida a modelos, tornando a extração menos atrativa para concorrentes.
Implicações para o mercado
As medidas podem aumentar os custos de desenvolvimento para empresas que dependem da extração de dados de modelos avançados, embora também possam favorecer quem investe em pesquisa própria, já que a barreira elevada dificulta a replicação rápida de capacidades de ponta sem grande investimento. Analistas destacam que o equilíbrio entre proteção de propriedade intelectual e acesso ao conhecimento permanece em debate.
Limitações divulgadas
Anthropic observa que os percentuais são medições internas e ainda não passaram por verificação independente, portanto não asseguram que futuras tentativas de extração falhem, uma vez que atacantes podem adaptar suas metodologias à medida que as defesas evoluem.
