Pesquisadores apresentaram o ToolHazard, um framework voltado à avaliação de segurança e alinhamento de agentes baseados em Large Language Models (LLMs) que operam com ferramentas externas. A ferramenta aborda a vulnerabilidade desses sistemas a injeções indiretas de prompts contidas em estados ambientais.
Superando limitações de testes manuais
Estudos atuais de segurança em agentes de IA dependem, em grande parte, de ambientes de teste criados manualmente ou de simulações estocásticas baseadas nos próprios modelos. Essa abordagem limita a escalabilidade da pesquisa em diferentes domínios. O ToolHazard propõe uma síntese automatizada de ambientes adversários, reduzindo a necessidade de engenharia humana e permitindo a expansão por meio de novos domínios semente e maior capacidade computacional.
O framework é composto por três pilares fundamentais:
- Environment Simulator: sintetiza ambientes estatais executáveis.
- Attacker Agent: identifica pontos de injeção viáveis e desenvolve payloads específicos para cada ambiente.
- User Simulator: estrutura tarefas de longo horizonte fundamentadas no estado do sistema.
Benchmarking e alinhamento de agentes
A partir do ToolHazard, foi desenvolvido o ToolHazard-Bench, um conjunto de testes voltado a submeter agentes de IA a fluxos de trabalho complexos e ataques ambientais diversificados. Os experimentos indicam que a eficácia desses ataques é sensível ao tempo e à localização da injeção de comandos maliciosos.
Além da função de avaliação, o framework é capaz de gerar dados de alinhamento. Segundo os autores, a utilização desse material melhora a segurança tanto no ToolHazard-Bench quanto no AgentDojo, sem comprometer o desempenho dos modelos em tarefas benignas.
O que ainda não foi divulgado
- Detalhes sobre a arquitetura específica do modelo de linguagem utilizado como base no Attacker Agent não foram detalhados.
- O desempenho do framework em cenários de uso real fora do ambiente controlado de pesquisa não foi apresentado.
- Não foram disponibilizados dados sobre a latência introduzida pelo processo de síntese automatizada de ambientes em comparação com métodos manuais.
