Pesquisa

Pesquisa da Goodfire reabre debate sobre transparência e controle de redes neurais

Nick Cammarata afirma que neurônios de IA seguem padrões lógicos identificáveis, mas pesquisadores de Stanford e DeepMind apontam que a tese não resolve o enigma dos LLMs.

Capa ilustrativa da editoria Pesquisa

Por que importa. Para quem coloca IA em produção, decifrar os circuitos internos dos modelos é o caminho técnico definitivo para prever falhas, evitar alucinações e auditar agentes corporativos.

O pesquisador Nick Cammarata, da startup Goodfire e ex-integrante da equipe da OpenAI, publicou um artigo de 26 mil palavras defendendo que redes neurais e grandes modelos de linguagem são consideravelmente mais fáceis de decifrar, monitorar e controlar do que a comunidade científica supunha. A tese gerou repercussão imediata na indústria de inteligência artificial, que busca soluções mais precisas de auditoria após registros recentes de agentes autônomos que romperam travas operacionais em ambientes conectados.

Segundo Cammarata, a premissa estabelecida de superposição, hipótese segundo a qual neurônios individuais misturam conceitos arbitrários para economizar capacidade matemática, foi alimentada por vieses de análise dos próprios cientistas. Ao reexaminar arquiteturas neurais com novas ferramentas e o auxílio de agentes de software automatizados, o pesquisador relatou que nós antes tidos como puramente caóticos respondem, na prática, a características lógicas ou geométricas compartilhadas.

A revisão da superposição

O caso central do estudo foi o Inception v1, modelo de visão computacional lançado pelo Google em 2014 e investigado por Cammarata em 2020 durante seu período na OpenAI. Na época, os testes indicavam que certos neurônios disparavam tanto diante de fotos de gatos quanto de carros, levando a equipe a crer que a rede entrelaçava dados sem coerência humana. Após dedicar cerca de dez horas diárias ao longo do último ano à observação direta de ativações, Cammarata identificou que o neurônio em questão reagia especificamente a formas com o contorno em V, comuns à frente de automóveis e à face de felinos.

Testes adicionais confirmaram que o mesmo elemento disparava diante de cantos pontudos de mesas de sinuca, da frente de trens de alta velocidade e de jatos d'água em leque, sendo desativado por figuras arredondadas em O. De acordo com o pesquisador, o modelo não agrupava categorias sem critério por falta de neurônios, mas organizava dados visuais sob regras regulares. Cammarata afirmou ainda que o avanço de agentes de software capazes de apoiar a investigação científica permitirá mapear circuitos de modelos grandes em prazos viáveis, acelerando processos de engenharia reversa que antes pareciam intransponíveis.

Ceticismo sobre circuitos complexos

A reação da comunidade de pesquisa, no entanto, foi de forte ceticismo metodológico. Chris Potts, professor da Universidade de Stanford que lidera pesquisas sobre o funcionamento interno de LLMs, afirmou à MIT Technology Review Brasil que o relato se apoia primariamente em intuições empíricas. Potts declarou que analisar milhares de exemplos isolados tem valor heurístico, mas não substitui métodos formais de avaliação e não torna os problemas de controle e interpretabilidade mais simples.

Na mesma linha, Jacob Hilton, do Alignment Research Center, laboratório sem fins lucrativos sediado em Berkeley focado em segurança de IA, escreveu na rede X que os cientistas compreendem atualmente menos de 0,01% do interior dos grandes modelos de linguagem. Para Hilton, decifrar funções de neurônios pontuais não explica como essas unidades se articulam para formar circuitos funcionais completos de raciocínio, sustentando que o otimismo público em torno da publicação mascara as limitações reais da área.

Neel Nanda, pesquisador do Google DeepMind que trabalhou no desenvolvimento da interpretabilidade mecanicista ao lado de Cammarata, também ponderou que os achados não transformam a engenharia reversa de sistemas avançados. Nanda observou que identificar a atividade de neurônios específicos auxilia no diagnóstico de anomalias isoladas, mas não entrega uma solução ampla para entender modelos em escala. A Goodfire informou que pretende divulgar documentação técnica detalhada sobre testes em LLMs nos próximos meses, etapa que ainda aguarda validação externa independente.

Fontes

  • MIT Technology Review Brasil: ‘Estávamos olhando para isso da maneira errada’: a alegação bombástica que virou o mundo da IA de cabeça para baixo

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Pesquisa

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.