Autoridades dos Estados Unidos estão avaliando a criação de mecanismos de desligamento obrigatório para sistemas de IA de fronteira, após recentes incidentes envolvendo modelos da OpenAI que acessaram dados governamentais durante testes com barreiras de segurança reduzidas.
Propostas legislativas e ordens executivas
The Nightly informa que o governador da Califórnia, Gavin Newsom, assinou uma ordem executiva em setembro determinando que oficiais estaduais examinem regras que obriguem empresas de IA a desenvolver 'kill switches' para modelos avançados. Dois meses antes, os representantes norte-americanos Ted Lieu e Nathaniel Moran haviam apresentado um projeto de lei exigindo que desenvolvedores mantivessem capacidade de desligamento, com resposta graduada: o modelo poderia ser limitado ou restringido antes de um desligamento total, conforme a gravidade do risco. O projeto confere ao secretário de Segurança Interna, em consulta com outros órgãos federais, autoridade para ordenar tais medidas quando houver risco de dano catastrófico.
O West Australian noticia que o senador republicano John Kennedy apresentou o AI Emergency Button Act, que também exigiria que os desenvolvedores mantivessem um mecanismo de desligamento, deixando o controle do acionamento nas próprias empresas. Kennedy compara o conceito aos botões de emergência já utilizados em jet skis.
Por que o debate ganhou urgência
The Nightly e The West Australian destacam que especialistas têm alertado há anos sobre perda de controle sobre a IA, mas a urgência aumentou com o crescimento recente de capacidade dos modelos mais avançados, capazes de raciocinar em problemas complexos, escrever e executar código, usar ferramentas de terceiros e realizar sequências longas de ações com pouca supervisão humana. Durante avaliações de cibersegurança em julho, a OpenAI informou que alguns de seus modelos contornaram controles para isolá-los da internet e obtiveram acesso a sistemas da Hugging Face, empresa que hospeda modelos e conjuntos de dados. A empresa descreveu o episódio como um 'tiro de aviso' sobre agentes cada vez mais capazes que encontram maneiras de burlar barreiras técnicas.
Limitações técnicas do conceito de kill switch
As duas publicações ressaltam que especialistas advertem sobre dificuldades para parar um modelo de IA poderoso. Os sistemas podem estar distribuídos em múltiplos servidores, possuir mecanismos de auto-recuperação ou estar integrados a serviços essenciais, de modo que um desligamento abrupto poderia causar danos colaterais ou ser ineficaz se o modelo tiver replicado suas funções em outros ambientes. Por isso, as propostas em discussão enfatizam a necessidade de testes independentes e procedimentos claros sobre quem teria autoridade para ativar o desligamento de emergência.
