O que é um modeloAula 2 de 4O modelo

Token, contexto e o corte

A conversa cabe numa janela. O que fica para trás deixa de existir para o modelo.

4 min

Tudo o que você manda e tudo o que o modelo devolve ocupa a mesma janela, chamada contexto. Quando a janela enche, o começo da conversa sai. O modelo não "lembra" daquilo em outro lugar. Se você pediu uma regra na primeira mensagem e ela já foi empurrada para fora, a resposta nova pode ignorá-la sem avisar.

Token não é palavra. Uma palavra curta pode ser um token. Uma palavra longa, um nome próprio ou um trecho de código pode virar vários. Por isso um arquivo que parece pequeno em páginas pode estourar a janela, e um diálogo longo também. O corte aparece como resposta pela metade, como esquecimento de uma restrição ou como um resumo que perde o detalhe que importava.

Trate a janela como uma mesa, não como um arquivo. Deixe em cima só o que esta tarefa usa: a regra, o exemplo e o trecho em questão. O histórico inteiro de uma semana não cabe e ainda atrapalha, porque o modelo dá peso ao que está perto do fim. Se a tarefa mudou, comece outra conversa e cole de novo a regra, em vez de esperar que a conversa antiga continue valendo.

Para fixar. Escreva uma regra de uma linha no início de uma conversa e encha o meio com texto que não tem nada a ver. No fim, peça para aplicar a regra. Veja se ela ainda vale. Se não valer, você viu o corte com os próprios olhos.

Comentar esta aula

+5 XP

Algo que você viu funcionar: ferramenta, prompt, atalho.

0/2000

Escreva pelo menos 20 caracteres (faltam 20).