Regulação

Satya Nadella defende freio de emergência e controles externos para modelos de IA

CEO da Microsoft afirma que sistemas não podem operar como caixas-pretas e defende que humanos tenham ferramentas para pausar agentes em tempo real.

Capa ilustrativa da editoria Regulação

Por que importa. A proposta reforça a necessidade de times de engenharia desacoplarem modelos do código de orquestração, mantendo salvaguardas externas e travas humanas para interrupção de agentes autônomos.

Satya Nadella, CEO da Microsoft, defendeu uma revisão profunda nos métodos de contenção e supervisão da inteligência artificial. Em publicação no X neste sábado, o executivo afirmou que o setor precisa dar um passo atrás para reavaliar a arquitetura de confiança da tecnologia, sustentando que modelos devem contar com um freio de emergência obrigatório.

De acordo com Nadella, a indústria não pode tratar sistemas avançados como caixas-pretas aninhadas das quais os usuários apenas aceitam ou rejeitam respostas e recomendações. Na publicação, o executivo usou o termo superinteligência, nomenclatura promovida pelo governo de Donald Trump nos Estados Unidos, para alertar que as equipes técnicas devem presumir que qualquer modelo pode estar comprometido desde o início.

A posição surge em um momento de atenção redobrada no setor, com relatos de empresas sobre incidentes de perda de controle em agentes autônomos e após Dario Amodei, CEO da Anthropic, divulgar um plano voltado para um desenvolvimento mais cauteloso de modelos.

Separação de orquestrador e travas humanas

O modelo arquitetônico proposto por Nadella prevê a separação explícita entre o modelo de IA e o arcabouço ("harness") encarregado de orquestrar suas ações. Sob essa abordagem, controles e salvaguardas operam de forma externa, impedindo que a segurança dependa apenas das respostas geradas pelo próprio modelo.

Além disso, o executivo destacou que todas as ações relevantes tomadas pelo sistema precisam ser registradas em evidências legíveis por pessoas e à prova de adulterações. A estrutura deve garantir ainda que uma pessoa autorizada tenha sempre o poder técnico de interromper ou desligar a execução do modelo no meio de uma tarefa.

Fontes

  • TechCrunch: Microsoft’s Satya Nadella says AI models need an ‘emergency brake’

Reportagem produzida pela redação do Flipters com apoio de inteligência artificial, a partir das fontes acima. Como trabalhamos. Editor responsável: João Paulo Resende.

WhatsAppLinkedInX
Voltar para a edição

Mais em Regulação

Ver todas

Quem constrói lê

Receba o Flipters no seu e-mail. A newsletter de IA para quem está tirando produto do papel.