Pesquisa

Allen AI lança StateBench e expõe falhas de LLMs ao rastrear estados em textos longos

Novo benchmark testa a capacidade dos modelos de acompanhar mudanças em variáveis. Frontier models como GPT-6 e Claude Opus 5.5 caem para 13% ou menos nos testes mais difíceis.

Capa ilustrativa da editoria Pesquisa

Por que importa. Aplicações que dependem de agentes autônomos ou análise de bases extensas de código falham quando o modelo perde dependências encadeadas. O estudo aponta gargalos matemáticos na arquitetura Transformer.

O Allen Institute for AI (Ai2) publicou nesta terça-feira o StateBench, um benchmark voltado a medir a capacidade de modelos de linguagem de acompanhar a evolução de estados de entidades ao longo de documentos extensos. Os resultados revelam que mesmo os sistemas de fronteira atuais falham em tarefas que exigem encadeamento profundo de dependências: modelos como Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna tiveram a precisão reduzida a 13% ou menos nos cenários mais complexos conforme o volume de texto aumentou.

A habilidade avaliada pelo StateBench, conhecida como rastreamento de estado (state tracking), sustenta operações rotineiras no desenvolvimento de software e no fluxo de agentes autônomos. Ela entra em jogo tanto ao ler um repositório de código em que variáveis são declaradas e modificadas repetidas vezes quanto ao interpretar uma narrativa em que objetos trocam de mãos. A proposta do laboratório foi dividir o problema em quatro degraus teóricos de complexidade com base na teoria algébrica de Krohn-Rhodes, isolando exatamente onde cada arquitetura atinge seu teto de capacidade.

Quatro níveis de complexidade algébrica

O nível mais simples do StateBench é o R-trivial, que envolve atribuições imutáveis em que o valor inicial nunca muda, bastando ao modelo recuperá-lo no texto. Em seguida vêm os problemas aperiódicos, que permitem reatribuição por valor e exigem apenas encontrar a atualização mais recente, descartando as anteriores. O terceiro degrau reúne os problemas solúveis, nos quais cada atualização é autorreferencial e depende do valor corrente acumulado, a exemplo de incrementos sucessivos de pontuação.

O cenário mais difícil é classificado como finito geral e adiciona atribuição por referência. Nele, uma variável assume o valor atual de outra ou realiza permutações entre posições, como no problema clássico de rastrear o deslocamento de objetos trocados repetidamente de lugar sob copos. Como qualquer passo intermediário perdido invalida toda a cadeia subsequente, o teste mede a sensibilidade cumulativa de cada modelo à medida que o contexto cresce e acumula operações interdependentes.

O gargalo dos transformers frente a híbridos

Ao testar modelos abertos pré-treinados nos mesmos dados, como o Olmo 3 de 7 bilhões de parâmetros baseado estritamente em transformers e o Olmo Hybrid, que incorpora camadas Gated DeltaNet, a equipe identificou quedas bruscas de desempenho. Quase todos os modelos abertos foram bem no nível imutável, perderam acurácia nos problemas aperiódicos em contextos longos e ficaram no nível do acaso nas tarefas de complexidade finita geral. O formato de apresentação dos dados também causou divergências: variações menores de 275 milhões de parâmetros atingiram teto em formatos sintéticos, mas desabaram quando o teste foi apresentado no formato de edição de planilhas.

Para checar se a fraqueza vinha dos dados de pré-treino ou de restrições intrínsecas das redes neurais, os pesquisadores treinaram modelos de 275 milhões de parâmetros do zero diretamente sobre o StateBench. Enquanto redes com arquiteturas recorrentes e híbridas como a Gated DeltaNet generalizaram quase perfeitamente até dezenas de milhares de atribuições após verem apenas 256 no treino, os transformers puros degradaram em sequências longas e nunca conseguiram aprender as tarefas finitas gerais, comprovando uma barreira arquitetural teórica.

Limitações em aberto para quem constrói produto

Para quem constrói aplicações de análise de código ou agentes com memória contínua, os dados do relatório reforçam que ampliar a janela de contexto de um LLM não garante que ele retenha a integridade de estados dinâmicos. Os testes indicam que arquiteturas recorrentes e híbridas conseguem transportar um estado de memória corrente de forma mais eficiente do que o mecanismo de atenção convencional quando treinadas especificamente para isso, o que pode ditar a escolha de componentes em fluxos de agentes mais exigentes.

O Ai2 pontua, contudo, que o StateBench parte da premissa de um número fixo de variáveis já declaradas desde o começo da sequência. Na operação real de produtos, entidades inéditas e variáveis novas surgem de forma dinâmica no meio de diálogos e execuções de código, cenário que o benchmark atual ainda não modela. Questões sobre o impacto da precisão numérica finita e da combinação exata de camadas recorrentes com atenção também continuam sem resposta definitiva pelo estudo.

Fontes

  • Hugging Face: StateBench: Testing how language models track state changes over long documents

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Pesquisa

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.