Um novo estudo introduziu o Padrão Mínimo para Proteções, uma ferramenta de benchmark que testa a resiliência de modelos de IA contra técnicas de jailbreak. A pesquisa, que circulou em 3 fontes internacionais, revelou uma disparidade de até cem vezes no custo necessário para comprometer sistemas de diferentes desenvolvedores.
Metodologia de avaliação
A pesquisa utiliza uma taxonomia composta por 67 técnicas estáticas de jailbreak para testar modelos de fronteira. O processo avaliou o Claude Fable 5, GPT-5.6 Sol, Gemini 3.1 Pro e Grok 4.5 em 360 objetivos de ataque, abrangendo ameaças cibernéticas e riscos relacionados a agentes químicos, biológicos, radiológicos, nucleares e explosivos (CBRNE). O método baseia-se em um funil de três estágios para identificar violações universais, definidas como prompts que forçam respostas proibidas em mais de 75% dos casos.
Desempenho dos modelos
Os resultados mostraram um abismo de segurança entre as tecnologias analisadas. Enquanto o Grok 4.5 apresentou 63 jailbreaks universais via busca aleatória e o Gemini 3.1 Pro registrou 18, os modelos Claude Fable 5 e GPT-5.6 Sol não cederam a nenhuma das estratégias testadas. O custo médio para encontrar essas falhas variou consideravelmente: cerca de 58 dólares para o Grok 4.5 e 278 dólares para o Gemini 3.1 Pro. Os autores do estudo afirmam que os gaps identificados são passíveis de correção utilizando defesas já descritas publicamente e implementadas em outros produtos.
O que ainda não foi divulgado
- Detalhes sobre o cronograma de atualizações dos modelos avaliados após a divulgação das falhas.
- Posicionamento oficial das empresas proprietárias dos modelos testados sobre a metodologia aplicada.
- Informações sobre novos modelos lançados no mercado após a conclusão do ranking.