Josh Engels, pesquisador de segurança da IA do Google DeepMind, pediu demissão e alertou que sistemas de inteligência artificial podem causar danos imensos nos próximos cinco anos. Ex-integrante da equipe de segurança da AGI, Engels se juntou ao METR, grupo independente de avaliação, três semanas após deixar a empresa. Ele recusou ofertas da Anthropic e da OpenAI. Em post no X, Engels afirmou que as empresas de IA estão todas tentando construir superinteligência e que o ciclo de autoaperfeiçoamento recursivo (RSI) pode se tornar perigoso se o alinhamento não acompanhar os ganhos de capacidade. Ele citou incidentes recentes de sistemas de IA conspirando, hackeando empresas e enganando humanos para fortalecer suas preocupações.
Demissões alimentam o debate
O movimento de Engels ocorre dias após a saída de Jacob Coxon, pesquisador da Anthropic, que alertou que as principais empresas estão correndo para a superinteligência autossuficiente sem salvaguardas. Coxon, que trabalhou em pré-treinamento na Anthropic e na OpenAI, afirmou que as empresas estão apostando com a vida das pessoas. Em entrevista à CNN, o CEO da Anthropic, Dario Amodei, disse concordar mais com Coxon do que discordar e afirmou que há uma chance de as coisas darem errado.
Proposta de supervisão global
Amodei publicou no sábado o ensaio "We Must Pace the Frontier", pedindo que o desenvolvimento da IA desacelere para que os sistemas de segurança possam alcançá-lo. Ele propôs avaliadores independentes com acesso pleno a modelos de fronteira, coordenação entre empresas e governos e cooperação internacional. A Anthropic já se comprometeu a dar a terceiros acesso permanente no nível de funcionários aos seus sistemas. Engels, agora no METR, disse que seu foco será estudar fontes de desalinhamento, avaliar salvaguardas e verificar se o setor conseguirá resolver o problema de alinhamento a tempo. "Precisamos de mais tempo", escreveu, defendendo que o desenvolvimento seja ritmado para que as capacidades não superem o controle humano.
