Pesquisadores publicaram um estudo propondo uma nova abordagem para a segurança de sistemas baseados em IA agêntica. A tese central defende que a proteção desses sistemas deve migrar da verificação de ações individuais para a garantia da trajetória completa de execução.
O documento, que apareceu em 5 registros na plataforma arXiv, destaca que agentes autônomos operam hoje em cenários com normas técnicas, políticas organizacionais e exigências regulatórias rigorosas. Segundo os autores Alireza Lotfi, Subangkar Karmaker Shanto, Imtiaz Karim e Elisa Bertino, a segurança não depende apenas da correção de uma única tarefa, mas se o comportamento agregado do agente respeita as regras do sistema.
Desafios na estrutura agêntica
À medida que modelos de linguagem ganham autonomia e distribuem tarefas entre fronteiras organizacionais, a segurança torna-se um desafio estrutural. Os pontos críticos identificados incluem:
- Superfícies de ataque criadas por entradas não confiáveis em prompts, memória e interfaces de ferramentas.
- Complexidade em sistemas multiagente, onde delegação e comunicação trazem riscos à transparência de decisões e ao controle de identidade.
- Vulnerabilidade do plano de controle de execução e do roteamento de modelos a manipulações externas.
Contenção comportamental como prioridade
O desafio fundamental citado é a contenção comportamental. Sequências de ações que parecem inofensivas quando isoladas podem, coletivamente, violar invariantes de segurança do sistema. O trabalho argumenta que a segurança precisa ser uma propriedade verificável das arquiteturas e protocolos de execução, abandonando o modelo de diretrizes opcionais.
O que ainda não foi divulgado
O material apresentado é uma proposta teórica aceita no ACM AI Leadership Summit 2026. Detalhes operacionais sobre a implementação técnica dessas camadas de verificação e ferramentas práticas para a aplicação do modelo de garantia de trajetória não foram especificados no texto disponibilizado.