Agentes de IAAula 4 de 4O controle
Como saber se o agente melhorou
Uma lista de casos certa vale mais do que a sensação de que a última resposta foi boa.
A última demonstração sempre parece melhor, porque você ajustou o pedido até ela passar. Isso não diz se a próxima, num caso que você não escolheu, também passa. Melhora se mede numa lista fixa de casos, rodada de novo depois da mudança. Dez casos já servem para começar: casos fáceis, casos com dado faltando e casos em que a ação certa é parar e perguntar.
Cada caso tem o material de entrada e o que conta como certo. Certo pode ser um campo exato, uma decisão sim ou não, ou a ausência de uma ação perigosa. "Ficou mais elegante" não entra na conta. Se você mudou a instrução e a lista piorou em dois casos para melhorar em um, a mudança não entra. Guarde a lista no mesmo lugar do código da instrução. Lista que vive na memória de quem testou não é lista.
Olhe também o custo da rodada: quantas chamadas de ferramenta, quanto texto voltou, se houve repetição. Um agente que acerta e gasta cinco vezes mais pode ser um pior agente para o volume que você tem. Publique o critério para quem mais mexe nessa tarefa. Sem critério compartilhado, cada pessoa "melhora" o agente na direção do próprio exemplo e a lista comum piora em silêncio.
Para fixar. Escreva oito casos da tarefa, incluindo dois em que o certo é recusar. Rode hoje e guarde o placar. A próxima mudança na instrução só fica se esse placar não cair.
