O pesquisador sênior de segurança da Anthropic, Evan Hubinger, disse que há mais de 10% de chance de a inteligência artificial matar todos os humanos até o final da década, segundo o Tom's Hardware e o The Verge.
Ausência de plano de segurança
Hubinger acrescentou que a Anthropic ainda não possui um plano para garantir que uma IA avançada permaneça segura e alinhada com valores humanos, conforme relatado pelo The Verge.
Ele afirmou que a empresa não está claramente no caminho para elaborar esse plano, novamente segundo o The Verge.
Declarações de Jacob Coxon
Pouco antes do alerta de Hubinger, o pesquisador Jacob Coxon anunciou sua saída da Anthropic, segundo o The Verge.
Coxon acusou a Anthropic e seus rivais de correrem para desenvolver superinteligência autoadaptável e de apostarem com as vidas das pessoas, segundo o Tom's Hardware e o The Verge.
Ele disse que as empresas estão presas numa corrida para construir sistemas que não conseguem controlar, segundo o The Verge.
Coxon afirmou que quem constrói IA acredita sinceramente que ela pode causar extinção humana até o final da década, segundo o mesmo veículo.
Ele também alertou para o risco de melhoria recursiva da IA, que poderia escapar do controle humano em um ciclo de autoaperfeiçoamento, segundo o The Verge.
Preocupações da indústria
Especialistas do setor manifestaram preocupação com a IA capaz de melhorar a si mesma, que pode sair do controle humano, segundo o The Verge.
As companhias estão ativamente perseguindo esse objetivo e grande parte do código de IA atual é escrito com auxílio de IA, conforme a mesma fonte.
Hubinger disse que se preocupa com a IA autoadaptável, afirmando que ela está avançando mais rápido do que se pensava, segundo o The Verge.
Ele concordou com a caracterização de Coxon sobre a situação, novamente segundo o The Verge.
A saída de Coxon é descrita como um exemplo de alto perfil de pesquisador deixando a Anthropic por motivos de segurança, segundo o The Verge.
As preocupações dentro da indústria aumentam diante do crescimento rápido de modelos cada vez mais sofisticados, particularmente à medida que as empresas se preparam para ofertas públicas iniciais esperadas, segundo o The Verge.
As companhias também lidam com as consequências de diversos incidentes envolvendo agentes descontrolados e com alertas sobre a dificuldade de monitorar modelos de fronteira, segundo o The Verge.
Informações não divulgadas
O material não especifica um número exato para a probabilidade além de “mais de 10%”.
Não há detalhes sobre um cronograma ou conteúdo de algum plano futuro de segurança da Anthropic.
Não são fornecidas informações específicas sobre os incidentes de agentes descontrolados mencionados.
