Nick Cammarata contesta polissemiantismo e diz que 90% dos neurônios são legíveis
Ensaio da Goodfire afirma que modelos de linguagem não misturam conceitos desconexos e que redes neurais podem ser inspecionadas sem autoencoders secundários, mas tese divide pesquisadores.
Por que importa. Se confirmada, a leitura direta de neurônios reduz drasticamente o custo computacional de auditar grandes modelos, facilitando a identificação de alucinações e comportamentos enganosos em produção.
Nick Cammarata, cofundador da Goodfire e ex-pesquisador da OpenAI, publicou um ensaio técnico afirmando que grandes redes neurais são inerentemente legíveis e que o conceito dominante de polissemiantismo foi amplamente mal interpretado. Segundo a análise divulgada pela Goodfire, cerca de 90% dos polos neuronais no modelo aberto Qwen3-32B cumprem apenas uma função primária. Cerca de 7% atendem a duas funções correlatas, deixando apenas entre 2% e 4% de ativações sem explicação evidente.
Durante anos, o consenso em interpretabilidade mecanística assumiu que redes neurais sofrem de superposição: a hipótese de que modelos compactam conceitos totalmente arbitrários e desconexos nos mesmos neurônios para economizar parâmetros. O caso clássico da literatura, documentado pelo próprio Cammarata no artigo "Zoom In" em 2020 ao lado de Chris Olah, envolvia um neurônio da rede de visão InceptionV1 que parecia responder tanto a focinhos de gatos quanto à frente de carros. Na época, pesquisadores consideravam que apenas cerca de 1,7% a 2% dos neurônios eram diretamente compreensíveis.
Cammarata afirma agora que aquele exemplo clássico foi lido de forma errada devido a ferramentas rudimentares. O suposto neurônio de gato e carro funciona, na verdade, como um detector geométrico de formatos em V, disparando para silhuetas pontiagudas, como focinhos de raposa ou chamas, e recebendo ativações negativas diante de formas circulares. Em vez de uma sobreposição confusa de conceitos distantes, a ativação refletia uma abstração visual compartilhada.
Agentes autônomos e generalização recursiva
Para sustentar a tese em modelos de linguagem, a Goodfire recorreu a agentes autônomos de inteligência artificial encarregados de analisar milhões de ativações neuronais diretamente no modelo bruto. Cammarata descreve a ambiguidade restante como um fenômeno de "generalização recursiva", em que um neurônio ramifica suas respostas por proximidade semântica. O ensaio cita como exemplo um neurônio que começou respondendo à sequência de caracteres "iy", passou a aceitar o acrônimo "diy" e terminou ativando para a frase "do it yourself", mesmo sem a presença literal das letras originais.
A empresa afirma observar comportamentos semelhantes em redes com até trilhões de parâmetros. A tese dispensa o método mais comum adotado atualmente por laboratórios de pesquisa, que consiste em treinar modelos secundários pesados, conhecidos como autoencoders esparsos (SAEs), apenas para tentar desemaranhar os pesos da rede original antes da análise. Segundo Cammarata, a aplicação em larga escala de agentes investigando a rede diretamente supera decomposições algorítmicas complexas.
Ceticismo e falta de artigo formal
A publicação provocou divisões imediatas na comunidade de segurança e alinhamento de inteligência artificial. Roon, pesquisador da OpenAI e colaborador de Cammarata, classificou o ensaio como um marco científico que pode tornar o alinhamento de modelos tratável como ciência convencional. Segundo ele, conseguir ler diretamente os circuitos internos do modelo elimina a dependência de cadeias de raciocínio textuais, que vêm se tornando menos confiáveis para detectar manipulação ou engano por agentes autônomos.
Pesquisadores seniores de outros laboratórios, no entanto, receberam as conclusões com ceticismo. Neel Nanda, líder da equipe de interpretabilidade do Google DeepMind, afirmou que a análise direta de neurônios é uma ferramenta prática útil para modelos de fronteira, mas não resolve os desafios fundamentais do setor. Nanda sustenta que grandes modelos guardam ordens de magnitude a mais de informações do que possuem neurônios físicos, argumentando que ativações fracas e sutis ainda carregam fatos memorizados que passam despercebidos por classificadores automatizados.
Críticos como Leo Gao também apontaram que explicações geradas por agentes precisam ser validadas por simulações formais de neurônios medidas por divergência KL, e não apenas por descrições textuais plausíveis. Além disso, o artigo técnico formal com a metodologia completa, métricas de replicação e código ainda não foi publicado por Cammarata ou pela Goodfire, deixando em aberto se a comunidade científica independente conseguirá reproduzir as mesmas taxas de legibilidade em outros modelos de fronteira.
Fontes
- Latent Space: [AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
- The Decoder: Is AI interpretability close to a breakthrough? A new essay has researchers divided
Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.
