A Open Secure AI Alliance anunciou o desenvolvimento das diretrizes SAFE (Shared AI Findings Exchange) para reforçar a cibersegurança em sistemas de inteligência artificial baseados em agentes. A iniciativa, que conta com a colaboração da Linux Foundation, busca padronizar o registro e a análise de incidentes, envolvendo uma rede atual de mais de 120 organizações.
Foco na colaboração e transparência
O framework SAFE propõe um mecanismo para o compartilhamento de informações sobre falhas e quase-acidentes de segurança entre empresas. O objetivo é identificar padrões de falhas em mecanismos de controle e converter experiências individuais em defesas coletivas. As diretrizes sugerem a notificação dos afetados e a publicação de recomendações operacionais baseadas em evidências para mitigar riscos sistêmicos.
O desenvolvimento das normas ocorre paralelamente à conferência Black Hat, em Las Vegas. A Open Secure AI Alliance inclui empresas como NVIDIA, Cisco, CrowdStrike, Hugging Face e Red Hat, que atuam na criação de ferramentas abertas e verificáveis para toda a pilha de segurança de IA.
Ferramentas para agentes de IA
Além das diretrizes, o grupo destaca que um agente de IA exige camadas adicionais de proteção, indo além da simples varredura de vulnerabilidades. A NVIDIA, por exemplo, contribui com tecnologias como a OpenShell Runtime, que estabelece controles de acesso e privacidade no nível do agente, e modelos que utilizam pesos e métodos de treinamento abertos.
A estrutura de defesa também contempla habilidades de agentes verificadas e assinadas criptograficamente, catalogadas contra riscos como injeção de comandos (prompt injection) e envenenamento de ferramentas. Esta abordagem visa permitir que os defensores monitorem a origem e a integridade de cada instrução executada pelos sistemas autônomos.
O que ainda não foi divulgado
- O cronograma oficial para a implementação das diretrizes no mercado.
- Detalhes técnicos específicos sobre a governança do compartilhamento de dados confidenciais entre competidores.
- Prazos para a finalização do processo de consulta pública (Request for Comments) da Linux Foundation.