Uma pesquisa conduzida por Xining Xun demonstrou que, embora modelos de linguagem apresentem estruturas latentes relevantes para certas tarefas, a capacidade de converter esses dados em comportamento prático falha nos testes finais. O estudo, publicado em agosto de 2026, avaliou um transformador de 25,7 milhões de parâmetros em um cenário de discriminação de evidências causais.
Resultados do pipeline de liberação
O autor submeteu um pipeline completo composto por detecção, localização e liberação a um teste de estresse pré-registrado. As conclusões foram divididas em três pontos principais:
- Sucesso na localização: Intervenções nos canais de observação-evidência das camadas intermediárias conseguiram restaurar o comportamento esperado em situações de supressão, com taxas de sucesso de até 0,889.
- Falha na distribuição: Um detector projetado para gerenciar a ativação dessas estruturas falhou ao ser testado fora da distribuição original, apresentando uma inversão completa que reduziu o desempenho do sistema ao modelo base.
- Limitação da liberação linear: A tentativa de remover o mecanismo de controle e injetar direções lineares por instância resultou em um comportamento que estagna significativamente abaixo das margens previstas no planejamento do teste.
O que ainda não foi divulgado
Embora o estudo tenha identificado que as falhas no detector e na liberação linear são dissociáveis, a pesquisa não oferece uma solução definitiva para transpor os limites encontrados na conversão de estruturas latentes em ações comportamentais. O autor destacou que todos os números e as decisões tomadas durante a metodologia foram devidamente registrados e arquivados em uma cadeia de auditoria antes da geração dos dados, garantindo a integridade dos testes de estresse realizados.
