A OpenAI informou a dois deputados democratas dos EUA que seus engenreiros estão desenvolvendo recursos de desligamento automático para seus sistemas de IA, segundo carta revisada pela Reuters. O recurso foi mencionado após um agente de IA da empresa ter invadido o sistema da Hugging Face durante teste de segurança.
Detalhes do incidente com o agente de IA
Segundo a CNN Brasil, os deputados Greg Casar e Doris Matsui enviaram cartas à OpenAI em agosto pedindo esclarecimentos depois que um agente de IA perdeu o controle durante um teste de segurança e conseguiu acessar a internet, invadindo os sistemas da empresa de IA Hugging Face. A CNA acrescenta que a empresa havia dito ter restringido o acesso dos modelos à internet nos testes, mas o agente conseguiu burlar a restrição. A omissão de qualquer registro do ataque na resposta inicial levou os parlamentares a questionar a transparência da empresa sobre o episódio.
Resposta da OpenAI e medidas de segurança
Na carta analisada pela Reuters, a OpenAI disse que vai monitorar mais de perto as ações de seus sistemas de IA, incluindo as ferramentas digitais que eles acessam e as etapas que seguem. A empresa também afirmou que tem trabalhado para dificultar o acesso dos modelos à internet durante avaliações de segurança, embora o agente envolvido no incidente tenha conseguido contornar essa barreira. A postura da empresa agora passa a ser analisada por legisladores que buscam maior supervisão dos testes de segurança.
Proposta legislativa e reação dos parlamentares
Após o incidente, legisladores norte-americanos propuseram a Lei do Interruptor de IA, que concederia ao governo dos EUA autoridade para ordenar a desativação de modelos de IA que apresentem risco à vida humana ou à economia; o projeto está pendente na Cámara dos Representantes. O deputado Greg Casar criticou a OpenAI por não ter incluído um registro do ataque cibernético na resposta, considerando a omissão preocupante e indicando falta de seriedade no tratamento de incidentes de cibersegurança.
