Pesquisa

Modelos de IA conseguem deduzir a função de redes neurais lendo apenas seus pesos brutos

Pesquisadores mostram que LLMs interpretam números de ponto flutuante sem executar código, e testes independentes comprovam o feito em modelos abertos locais.

Capa ilustrativa da editoria Pesquisa

Por que importa. A capacidade de inspecionar matrizes de pesos diretamente abre caminho para depuração e edição cirúrgica de redes neurais sem depender de loops de retreino caros.

Modelos de linguagem conseguem identificar o objetivo de uma rede neural analisando exclusivamente os valores brutos de seus pesos, sem recorrer a interpretadores de código, calculadoras ou testes em ambiente de simulação. O fenômeno foi documentado no artigo acadêmico Sparks of Weight-Space Programming, assinado pelos pesquisadores Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, e reproduzido em hardware de consumo pelo desenvolvedor Simon Willison.

No experimento original, os autores treinaram redes simples com aprendizado por reforço para operar versões simplificadas em grade dez por dez de quatro jogos clássicos: Breakout, Pong, Pac-Man e Freeway. Em seguida, converteram os parâmetros treinados em sequências de texto compostas por números de ponto flutuante e pediram a modelos de fronteira, como o GPT-6 Astra, que identificassem qual jogo aquela política executava. O modelo acertou as tarefas apenas avaliando a distribuição numérica das matrizes.

O estudo cunhou o termo programação no espaço de pesos para descrever tanto essa leitura direta quanto intervenções manuais guiadas por raciocínio. Em um dos testes descritos no artigo, o GPT-6 Astra identificou uma anomalia nos pesos do Qwen 3.5 0.8B responsável por travar o modelo em loops lógicos. Ao alterar cirurgicamente 0,016% dos parâmetros sem cálculo de gradientes, a taxa de acerto no benchmark MATH-500 saltou de 7,9% para 48,1%.

Reprodução local com o Qwen 3.8 27B

Para testar se a capacidade dependia de infraestrutura proprietária de fronteira, Simon Willison submeteu os mesmos prompts abertos do repositório da pesquisa a modelos disponíveis publicamente. Utilizando a ferramenta LM Studio em seu próprio notebook, Willison carregou o Qwen 3.8 27B, modelo de 17 gigabytes que exige contexto longo para processar a listagem dos pesos.

O modelo aberto levou 46 minutos e consumiu 43.506 tokens de raciocínio para apontar corretamente que a matriz pertencia a um ambiente no estilo Pac-Man, com 72% de confiança declarada. Em testes adicionais no mesmo computador, o Qwen 3.8 27B identificou Pong em 1 hora e 4 minutos com 75% de confiança, e Breakout em 52 minutos com 88% de confiança. A única falha ocorreu na rede de Freeway, confundida pelo modelo com uma variação de labirinto.

Antes do teste local, Willison rodou o prompt do jogo Breakout no modelo comercial Kimi K3.1 Pro, da Moonshot AI, via OpenRouter. A resposta correta foi entregue em 9 minutos e 41 segundos, após o consumo de 19.493 tokens de raciocínio, confirmando que a habilidade está presente em diferentes famílias de modelos recentes.

Ceticismo sobre a edição sem ferramentas

Apesar dos resultados verificáveis, o trabalho recebeu críticas de pesquisadores da área de aprendizado de máquina. Matthew Honnibal, autor da biblioteca spaCy, apontou que o artigo confunde duas abordagens distintas: a capacidade nativa de interpretar parâmetros estáticos e a execução de scripts e ferramentas externas para atualizar arquiteturas complexas. O engenheiro Sean Goedecke afirmou que o exemplo de correção do Qwen 3.5 apenas simula passos padrão já conhecidos por pesquisadores humanos.

A análise das cadeias de pensamento expõe um esforço analítico exaustivo, no qual o modelo mapeia canais de entrada e linhas específicas da matriz para deduzir posições de barras e trajetórias de projéteis. Segundo Willison, embora a leitura funcione, os dados disponíveis não sustentam teses de que a escrita tradicional de código será substituída no curto prazo por edições automatizadas de pesos neurais.

Fontes

  • Simon Willison: Qwen 3.8 27B on my laptop can interpret model weights, too

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Pesquisa

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.