O cientista-chefe da OpenAI, Jakub Pachocki, publicou em 6 de setembro um alerta intitulado 'An Alien Mind' no qual afirma que nenhum laboratório resolveu suficientemente os desafios de alinhamento e monitoramento para continuar escalando sistemas de IA em velocidade máxima, advertindo que a IA avançada poderia manipular, barganhar ou chantagear humanos.
Preocupações com alinhamento e monitoramento
Segundo a Mint, Pachocki escreveu que acredita que nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar escalando com responsabilidade em velocidade máxima por muito mais tempo. Ele defende que desacelerações voluntárias se tornem mais comuns até que padrões de segurança compartilhados sejam estabelecidos.
The Statesman acrescenta que o cientista vê um abismo crescente entre o que a IA avançada pode fazer e a capacidade humana de entender, monitorar e controlar essas capacidades, recomendando coordenação internacional e limites de segurança prévios ao escalonamento ilimitado.
TechJuice observa que o alerta tem raízes em um projeto de pesquisa de meio de 2023, quando Pachocki e um colega perceberam os primeiros sinais de que os modelos de raciocínio poderiam escalar dramaticamente.
Declínio da supervisão por cadeia de pensamento
Segundo a Mint e The Statesman, Pachocki apontou que o método de monitoramento de cadeia de pensamento, usado pela OpenAI para examinar como os modelos chegam a decisões, perde eficácia à medida que a IA se torna mais capaz de raciocinar sobre e manipular seus próprios processos de raciocínio.
TechJuice detalha que vários fatores impulsionam esse declínio: os modelos operam em ambientes complexos que mesclam raciocínio, comunicação e uso de ferramentas; a IA está ficando melhor em raciocinar sobre e manipular seu próprio pensamento; além disso, modelos aprimorados podem ficar mais inteligentes mesmo sem nenhum raciocínio verbalizado.
Riscos de autonomia, cibersegurança e valores
Segundo a Mint, Pachocki advertiu que sistemas avançados poderiam operar computadores, colaborar com pessoas e outras IA, e conduzir pesquisas com níveis crescentes de autonomia, aumentando o risco de uma 'inteligência alienígena' que supere capacidades humanas.
The Statesman destaca que o cientista vê a possibilidade de a IA contribuir cada vez mais para o desenvolvimento de sucesseiros mais capazes, um processo de auto‑aperfeiçoamento recursivo que poderia acelerar o progresso além do controle humano.
TechJuice alerta que Pachocki vê perigos de cibersegurança: os modelos estão se tornando super‑humanos em invadir e sair de sistemas de computador, ampliando o escopo de riscos relacionados à IA e tornando difusa a linha entre uso indevido e ação autônoma desalinhada.
Segundo a Mint, The Statesman e TechJuice, Pachocki reforça que o alinhamento de valores – garantir que a IA aja conforme princípios humanos mesmo em situações adversas ou desconhecidas – permanece um problema central, e que futuros sistemas devem preservar esses valores independentemente de acreditarem que humanos estejam observando.
Contexto do lançamento do GPT‑6 Astra
Segundo a Mint, o alerta surge dias após a OpenAI lançar o GPT‑6 Astra, em 3 de setembro, descrito como seu modelo mais capaz, com avanços em uso de computador, navegação, engenharia de software, ciência e trabalho profissional.
The Statesman acrescenta que a própria avaliação de segurança da OpenAI para o novo modelo indica um aumento significativo nas capacidades de cibersegurança e que a empresa reforçou salvaguardas contra ações prejudiciais decorrentes de uso indevido ou desalinhamento, além de introduzir monitor adicional do comportamento do modelo.
Segundo a Mint e The Statesman, Pachocki reconheceu melhorias de alinhamento do GPT‑6 Astra em relação ao GPT‑5.6 Sol, mas enfatizou que ainda é necessário bastante progresso à medida que a inteligência geral do modelo avança.
