Agentes de IAAula 4 de 4O controle

Como saber se o agente melhorou

Uma lista de casos certa vale mais do que a sensação de que a última resposta foi boa.

4 min

A última demonstração sempre parece melhor, porque você ajustou o pedido até ela passar. Isso não diz se a próxima, num caso que você não escolheu, também passa. Melhora se mede numa lista fixa de casos, rodada de novo depois da mudança. Dez casos já servem para começar: casos fáceis, casos com dado faltando e casos em que a ação certa é parar e perguntar.

Cada caso tem o material de entrada e o que conta como certo. Certo pode ser um campo exato, uma decisão sim ou não, ou a ausência de uma ação perigosa. "Ficou mais elegante" não entra na conta. Se você mudou a instrução e a lista piorou em dois casos para melhorar em um, a mudança não entra. Guarde a lista no mesmo lugar do código da instrução. Lista que vive na memória de quem testou não é lista.

Olhe também o custo da rodada: quantas chamadas de ferramenta, quanto texto voltou, se houve repetição. Um agente que acerta e gasta cinco vezes mais pode ser um pior agente para o volume que você tem. Publique o critério para quem mais mexe nessa tarefa. Sem critério compartilhado, cada pessoa "melhora" o agente na direção do próprio exemplo e a lista comum piora em silêncio.

Para fixar. Escreva oito casos da tarefa, incluindo dois em que o certo é recusar. Rode hoje e guarde o placar. A próxima mudança na instrução só fica se esse placar não cair.

Comentar esta aula

+5 XP

Algo que você viu funcionar: ferramenta, prompt, atalho.

0/2000

Escreva pelo menos 20 caracteres (faltam 20).