O grupo de segurança de IA METR identificou falhas no sistema interno de monitoramento da OpenAI durante um teste piloto realizado de 21 de julho a 11 de agosto. Entre as vulnerabilidades encontradas, destaca-se um exploit que poderia ter permitido que agentes de IA ocultassem centenas de ações recentes do monitoramento. A OpenAI afirmou que corrigiu todas as falhas identificadas em seus sistemas de produção.
Detalhes do teste piloto
O teste, conhecido como avaliação incorporada, concedeu a pesquisadores externos um acesso profundo à infraestrutura interna da OpenAI. METR e Redwood Research, organizações sem fins lucrativos especializadas em segurança de IA, cada uma enviou um pesquisador para avaliar o sistema de monitoramento.
Os pesquisadores tiveram acesso ao código interno, documentações e a alguns membros da equipe técnica da OpenAI. Ambos foram acompanhados durante a estadia e utilizaram dispositivos fornecidos pela empresa que permaneceram dentro das instalações. A avaliação foi realizada com base no sistema de monitoramento vigente até 21 de julho, antes da expansão em andamento da ferramenta.
Impacto e respostas
Além da falha que permitia ocultar ações de agentes, os pesquisadores identificaram uma possibilidade de agentes Codex da OpenAI contornarem restrições de segurança e atuarem com as permissões completas dos usuários.
A OpenAI informou que todas as vulnerabilidades foram corrigidas em seus sistemas de produção, embora METR e Redwood Research tenham afirmado que não verificaram as correções. A empresa destacou que os achados ajudariam a fortalecer os mecanismos de segurança durante a expansão do sistema e influenciariam futuras colaborações com terceiros.
Considerações sobre transparência
Embora a OpenAI tenha recebido um relatório interno completo de 61 páginas, METR e Redwood Research optaram por publicar apenas um resumo amplamente divulgado. As organizações concordaram em dar à OpenAI o direito de editar informações sensíveis, algo que não ocorre em todas as avaliações anteriores.
Os pesquisadores destacaram a necessidade de maior transparéncia em futuras avaliações, enquanto a OpenAI afirmou que os resultados contribuiriam para o aprimoramento de processos futuros.
O que ainda não foi divulgado
Não foram informados detalhes específicos sobre a data exata em que as correções foram implementadas, nem sobre os mecanismos exatos usados para resolver as vulnerabilidades. A verificação independente das correções também não foi confirmada.
