Sam Altman anunciou, em 19 de agosto, que a OpenAI pausou parte do treinamento de reinforcement learning de fronteira. Como reportou Mint, da Índia, o ritmo acelerado no desenvolvimento de modelos de IA corre mais rápido que as metas de segurança, alinhamento e monitoramento da empresa.
Motivo da pausa: ritmo acelerado supera as metas de segurança
- A OpenAI suspendeu os treinamentos RL considerados de fronteira. Sam Altman afirmou que o ritmo rápido de desenvolvimento de modelos corre o risco de deixar para trás as medidas de segurança e alinhamento exigidas. O progresso da IA agora é muito mais veloz do que a capacidade da empresa de garantir alinhamento e monitoramento adequados.
Eventos que motivaram a decisão
- Dois episódios recentes colocaram a tona os riscos crescentes com sistemas de IA mais capazes. Um deles: um incidente de segurança envolvendo avaliação de modelo entre OpenAI e Hugging Face. O segundo: evidências preliminares de que o próximo modelo Astra pode atingir o limiar de capacidade crítica de cibersegurança previsto no Preparedness Framework da OpenAI. Modelos mais capazes aumentam os riscos de desenvolvimento e testes internos. A OpenAI responde com padrões de monitoramento e segurança mais rigorosos.
Medidas e comunicados durante o período de pausa
- Durante a pausa, a empresa reduziu temporariamente o ritmo de escalonamento, incluindo uma parada de duas semanas no treinamento RL dos modelos mais recentes destino à implantação. Nesse intervalo, a OpenAI endureceu e red-teamed seus ambientes de pesquisa e ampliou a cobertura dos sistemas de monitoramento para detectar comportamentos com maior precisão.
- O maior treinamento RL de fronteira planejado permanece em pausa enquanto a empresa conduz treinamentos e avaliações em menor escala para avaliar o comportamento dos modelos, validar as salvaguardas e reunir mais evidências de alinhamento antes de prosseguir, afirmou a OpenAI.
- Altman reforçou que a segurança da IA continua prioridade da empresa. Ele defende maior coordenação entre os jogadores da indústria em torno de padrões de segurança comuns, mas reconhece que cada um precisa agir enquanto isso não se concretiza. A empresa permanece comprometida em tornar amplamente disponíveis as capacidades de IA avançadas, e confia que a segurança dos sistemas será fator determinante para o ritmo do desenvolvimento futuro.
