Avaliação de prompts: a amostra que segura a publicação

Avaliação de prompts é o teste de regressão do fluxo de IA: uma amostra fixa de casos reais, o resultado esperado e uma nota mínima para publicar. Sem isso, trocar o texto ou o modelo coloca uma piora em produção que ninguém vê no exemplo que “ficou melhor”.
Prompt não é código sem teste. Cada ajuste muda casos que ninguém relembrou na hora. A amostra guarda esses casos. A publicação só passa se a nota se mantém e se o caso crítico, aquele que não pode errar, continua certo.

O que entra na amostra?
Entram casos reais, anonimizados quando houver dado pessoal, cobrindo o caminho comum, a borda e a recusa. Caminho comum é o que a operação vê todo dia. Borda é o texto ambíguo, o campo faltando, o assunto misturado. Recusa é o caso em que a saída correta é não responder.
A amostra não é só o conjunto em que o prompt já acerta. Inclua o erro que já aconteceu em produção e o erro que a área teme. Dez exemplos escolhidos por quem escreveu o prompt confirmam o que a pessoa já acredita. Trinta casos tirados da fila, com rótulo de quem opera, começam a ser teste.
Quem rotula o resultado esperado?
Quem responde pelo efeito rotula. Se a saída escolhe uma fila, a operação rotula a fila certa. Se a saída extrai um campo, quem confere o documento rotula o valor. O time técnico não inventa o gabarito de um assunto que não opera.
Rótulo ambíguo se discute antes de virar teste. Dois revisores que discordam não produzem uma nota estável. Ou a regra fica explícita e os dois passam a concordar, ou o caso sai da amostra até a regra existir. Prompt nenhum resolve um gabarito que a própria área não fecha.
Como é a nota, além do “ficou melhor”?
Defina a métrica por tipo de saída. Classificação usa acerto por classe, não uma média que esconde a classe rara. Extração usa campo certo, com a penalidade maior no campo que gera efeito. Geração usa um critério verificável: citou a fonte, recusou quando devia, não inventou número.
Separe caso crítico de caso comum. O crítico tem veto: se errar, não publica, mesmo que a média suba. O comum entra na nota mínima. Sem veto, o prompt “melhora” a média enquanto passa a errar justamente o reembolso, a alçada ou a recusa jurídica.
| Saída | Nota | Veto |
|---|---|---|
| Fila ou classe | Acerto por classe na amostra fixa | Classe de alto risco não pode cair |
| Campo extraído | Campo certo, no formato combinado | Campo que dispara pagamento |
| Resposta com fonte | Fonte vigente presente, sem número inventado | Resposta sem fonte quando a fonte era obrigatória |
| Recusa | Recusou nos casos rotulados como recusa | Respondeu com segurança onde devia parar |
Quando rodar a avaliação?
Rode antes de publicar qualquer troca de texto, de modelo, de temperatura ou de ferramenta. Rode também numa cadência fixa em cima dos casos novos da semana, para ver se a fila mudou de vocabulário. O teste único no dia do piloto não acompanha a operação.
A execução tem de ser repetível. Mesma amostra, mesma ordem de informação, registro da versão do prompt e do modelo. Se cada pessoa testa no playground com um exemplo diferente, a equipe não tem como discutir a piora. O resultado fica num lugar só, ao lado da versão.
O que fazer quando a nota cai?
Não publica. Olhe os casos que mudaram, não a média. Um prompt novo que acerta dez casos fáceis e erra o caso crítico é uma piora, mesmo que o número geral suba. A versão anterior continua no ar até a nova passar no veto.
A queda também ensina. Se muitos erros novos são do mesmo tipo, falta exemplo desse tipo na amostra ou a instrução ficou contraditória. Ajustar “no feeling” e publicar no mesmo dia é como não ter avaliação. O ciclo é: falhou, entendeu o caso, alterou, rodou de novo.
Como a amostra envelhece sem ficar teatro?
Todo mês, uma parte dos casos novos substitui casos que já não aparecem na fila. O caso crítico permanece enquanto o risco permanecer. A amostra não cresce para sempre: tamanho que ninguém roda é arquivo morto.
Um exemplo: o fluxo classifica e-mail de suporte em cinco filas. A amostra tem oitenta e-mails rotulados, doze deles de cancelamento, que é o veto. Uma reescrita deixa a média mais alta e erra dois cancelamentos. A versão não sobe. O autor do prompt ganha esses dois casos no relatório, não um “quase passou”.
Checklist prático
A avaliação segura a publicação quando a amostra, o rótulo e o veto estão fora do playground.
- Amostra fixa tirada da fila real, com caminho comum, borda e recusa
- Rótulo feito por quem responde pelo efeito, não por quem escreveu o prompt
- Caso em que os revisores discordam fica fora até a regra existir
- Nota por classe ou por campo, não só uma média geral
- Veto do caso crítico separado da nota mínima
- Execução repetível, com versão de prompt e de modelo registrada
- Troca de texto ou de modelo só publica se o veto passar
- Casos novos entram na amostra numa cadência, sem inflar para sempre
Erros comuns
A piora invisível em produção costuma passar por estes atalhos.
- Aceitar o prompt porque um exemplo no playground ficou bonito
- Montar a amostra só com casos que o prompt já acerta
- Deixar o próprio autor do prompt rotular o gabarito do negócio
- Olhar a média e ignorar a classe que não pode errar
- Trocar de modelo sem rerodar a mesma amostra
- Não guardar qual versão produziu qual nota
- Aumentar a amostra até ninguém mais executar o teste
- Publicar no mesmo dia em que a nota caiu, com um ajuste não medido
Onde a amostra entra no projeto?
Num desenho de inteligência artificial, trocar prompt ou modelo é uma publicação. A amostra fixa é o teste que autoriza essa publicação.