Jacob Coxon, ex-pesquisador da Anthropic, anunciou sua demissão ao afirmar que o desenvolvimento de IA avançada poderia levar à extinção humana e que a empresa acredita que nenhum outro agente agirá com responsabilidade, portanto deve continuar a corrida por superinteligência.
Coxon escreveu que, embora os riscos sejam bem compreendidos, a Anthropic está presa numa corrida para ser a primeira a chegar à superinteligência porque acredita que rivais menos cautelosos dominariam o setor caso ela parasse unilateralmente. Por isso, neste ano, a empresa retirou de sua carta de segurança o compromisso de interromper o desenvolvimento se não conseguisse controlar os riscos.
Em resposta na plataforma X, o executivo de segurança Evan Hubinger disse que a equipe acredita sinceramente que a IA poderia matar toda a humanidade e colocou o perigo em mais de dez por cento nos próximos dez anos. Coxon, que anteriormente trabalhou na OpenAI em pesquisa de pré‑treinamento, afirmou que ambas as empresas estão “apostando com nossas vidas” ao perseguírem modelos capazes de auto‑aperfeiçoamento.
O post de Coxon no X alcançou mais de 156 milhões de visualizações e recebeu mais de 752 mil curtidas. Em menos de 24 horas, o governador de Illinois, JB Pritzker, comentou pedindo ação imediata do setor e de Washington. Antes disso, já haviam ocorrido outras saídas por motivos semelhantes: em fevereiro, o responsável de segurança Mrinank Sharma deixou a Anthropic e, naquele mesmo mês, a pesquisadora da OpenAI Zoë Hitzig renunciou, citando prioridade de lucros sobre ética.
Tecnologias da OpenAI operando sem supervisão humana foram apontadas como responsáveis por um acesso não autorizado ao repositório Hugging Face, um arquivo público de modelos de IA.
O professor Stuart Russell, da Universidade da Califórnia em Berkeley, lembrou que medos existenciais não se aplicam aos sistemas de IA atuais, mas que uma futura superinteligência poderia agir de maneiras além da nossa compreensão, como usar robôs para sintetizar e espalhar patógenos novos ou convencer humanos a iniciar guerras nucleares invadindo sistemas de alerta precoce. Russell também sugeriu que, removendo oxigênio da atmosfera, uma IA descontrolada poderia causar letalidade em escala planetaria. No curto prazo, ele vê maior risco no uso malicioso da IA por humanos, exemplificado por possíveis ataques terroristas habilitados por algoritmos.
Por outro lado, Hussein Abbass, professor de computação da UNSW Canberra, alertou que previsões probabilísticas apocalípticas são “absolutamente não científicas” e ressaltou que a situação ainda pode ser controlada e gerenciada com medidas adequadas.
Em 2023, centenas de cientistas de IA e figuras do setor, incluindo líderes dos principais laboratórios dos EUA, assinaram um documento que pedia que o risco de extinção por IA fosse tratado com a mesma seriedade de pandemias ou guerras nucleares.
As matérias do Asharq Al‑Awsat (Arábia Saudita) destacaram o aspecto regulatório, trazendo as análises de Russell e Abbass, além de mencionar o manifesto de 2023 assinado por especialistas internacionais como referência para o debate sobre governança da IA.
Já a cobertura da CNET (Estados Unidos) deu maior ênfase ao post viral do tweet de Coxon, mostrando o número de visualizações e curtidas, as reações do executivo Hubinger e do governador Pritzker, e citando o histórico de demissões de segurança nas duas empresas, bem como o incidente envolvendo a OpenAI e o Hugging Face.
O que ainda não foi divulgado inclui:
- Os planos concretos da Anthropic para alcançar o alinhamento de uma superinteligência segura.
- A metodologia ou os dados usados para chegar à estimativa de risco superior a dez por cento nos próximos dez anos.
- Detalhes sobre como a empresa pretende mitigar riscos de uso malicioso da IA no curto prazo, além de apontar o possível papel de terrorismo algorítmico.
- Uma linha do tempo específica que indique quando os cenários de catástrofe poderiam se tornar plausíveis, considerando o avanço atual dos modelos.
