Avaliação de prompts: a amostra que segura a publicação

Dois prontuários lado a lado com casos de teste, a maioria conferida e um cartão separado por divergência

Avaliação de prompts é o teste de regressão do fluxo de IA: uma amostra fixa de casos reais, o resultado esperado e uma nota mínima para publicar. Sem isso, trocar o texto ou o modelo coloca uma piora em produção que ninguém vê no exemplo que “ficou melhor”.

Prompt não é código sem teste. Cada ajuste muda casos que ninguém relembrou na hora. A amostra guarda esses casos. A publicação só passa se a nota se mantém e se o caso crítico, aquele que não pode errar, continua certo.

Painel de casos de teste com um cartão puxado à frente depois de uma mudança de prompt
A mesma amostra, antes e depois da troca, mostra a piora que o exemplo solto esconde.

O que entra na amostra?

Entram casos reais, anonimizados quando houver dado pessoal, cobrindo o caminho comum, a borda e a recusa. Caminho comum é o que a operação vê todo dia. Borda é o texto ambíguo, o campo faltando, o assunto misturado. Recusa é o caso em que a saída correta é não responder.

A amostra não é só o conjunto em que o prompt já acerta. Inclua o erro que já aconteceu em produção e o erro que a área teme. Dez exemplos escolhidos por quem escreveu o prompt confirmam o que a pessoa já acredita. Trinta casos tirados da fila, com rótulo de quem opera, começam a ser teste.

Quem rotula o resultado esperado?

Quem responde pelo efeito rotula. Se a saída escolhe uma fila, a operação rotula a fila certa. Se a saída extrai um campo, quem confere o documento rotula o valor. O time técnico não inventa o gabarito de um assunto que não opera.

Rótulo ambíguo se discute antes de virar teste. Dois revisores que discordam não produzem uma nota estável. Ou a regra fica explícita e os dois passam a concordar, ou o caso sai da amostra até a regra existir. Prompt nenhum resolve um gabarito que a própria área não fecha.

Como é a nota, além do “ficou melhor”?

Defina a métrica por tipo de saída. Classificação usa acerto por classe, não uma média que esconde a classe rara. Extração usa campo certo, com a penalidade maior no campo que gera efeito. Geração usa um critério verificável: citou a fonte, recusou quando devia, não inventou número.

Separe caso crítico de caso comum. O crítico tem veto: se errar, não publica, mesmo que a média suba. O comum entra na nota mínima. Sem veto, o prompt “melhora” a média enquanto passa a errar justamente o reembolso, a alçada ou a recusa jurídica.

SaídaNotaVeto
Fila ou classeAcerto por classe na amostra fixaClasse de alto risco não pode cair
Campo extraídoCampo certo, no formato combinadoCampo que dispara pagamento
Resposta com fonteFonte vigente presente, sem número inventadoResposta sem fonte quando a fonte era obrigatória
RecusaRecusou nos casos rotulados como recusaRespondeu com segurança onde devia parar

Quando rodar a avaliação?

Rode antes de publicar qualquer troca de texto, de modelo, de temperatura ou de ferramenta. Rode também numa cadência fixa em cima dos casos novos da semana, para ver se a fila mudou de vocabulário. O teste único no dia do piloto não acompanha a operação.

A execução tem de ser repetível. Mesma amostra, mesma ordem de informação, registro da versão do prompt e do modelo. Se cada pessoa testa no playground com um exemplo diferente, a equipe não tem como discutir a piora. O resultado fica num lugar só, ao lado da versão.

O que fazer quando a nota cai?

Não publica. Olhe os casos que mudaram, não a média. Um prompt novo que acerta dez casos fáceis e erra o caso crítico é uma piora, mesmo que o número geral suba. A versão anterior continua no ar até a nova passar no veto.

A queda também ensina. Se muitos erros novos são do mesmo tipo, falta exemplo desse tipo na amostra ou a instrução ficou contraditória. Ajustar “no feeling” e publicar no mesmo dia é como não ter avaliação. O ciclo é: falhou, entendeu o caso, alterou, rodou de novo.

Como a amostra envelhece sem ficar teatro?

Todo mês, uma parte dos casos novos substitui casos que já não aparecem na fila. O caso crítico permanece enquanto o risco permanecer. A amostra não cresce para sempre: tamanho que ninguém roda é arquivo morto.

Um exemplo: o fluxo classifica e-mail de suporte em cinco filas. A amostra tem oitenta e-mails rotulados, doze deles de cancelamento, que é o veto. Uma reescrita deixa a média mais alta e erra dois cancelamentos. A versão não sobe. O autor do prompt ganha esses dois casos no relatório, não um “quase passou”.

Checklist prático

A avaliação segura a publicação quando a amostra, o rótulo e o veto estão fora do playground.

  • Amostra fixa tirada da fila real, com caminho comum, borda e recusa
  • Rótulo feito por quem responde pelo efeito, não por quem escreveu o prompt
  • Caso em que os revisores discordam fica fora até a regra existir
  • Nota por classe ou por campo, não só uma média geral
  • Veto do caso crítico separado da nota mínima
  • Execução repetível, com versão de prompt e de modelo registrada
  • Troca de texto ou de modelo só publica se o veto passar
  • Casos novos entram na amostra numa cadência, sem inflar para sempre

Erros comuns

A piora invisível em produção costuma passar por estes atalhos.

  • Aceitar o prompt porque um exemplo no playground ficou bonito
  • Montar a amostra só com casos que o prompt já acerta
  • Deixar o próprio autor do prompt rotular o gabarito do negócio
  • Olhar a média e ignorar a classe que não pode errar
  • Trocar de modelo sem rerodar a mesma amostra
  • Não guardar qual versão produziu qual nota
  • Aumentar a amostra até ninguém mais executar o teste
  • Publicar no mesmo dia em que a nota caiu, com um ajuste não medido

Onde a amostra entra no projeto?

Num desenho de inteligência artificial, trocar prompt ou modelo é uma publicação. A amostra fixa é o teste que autoriza essa publicação.

Perguntas frequentes

▸Quantos casos a amostra precisa ter?

O suficiente para cobrir o caminho comum, as bordas que já deram erro e o veto. Oitenta casos bem rotulados de um fluxo estreito valem mais do que quinhentos sem dono. Se a equipe não roda a amostra a cada troca, ela está grande demais.

▸Avaliação automática substitui a pessoa que rotula?

Não. Um juiz automático ajuda a comparar texto quando o critério está fechado, por exemplo “citou a fonte”. Ele não inventa o gabarito da fila certa ou do valor da nota. Quem opera continua dono do rótulo.

▸Posso testar só os casos que falharam?

Pode olhar os que falharam para corrigir. Para publicar, rode a amostra inteira. Corrigir um erro e quebrar outro é a regressão que o teste existe para pegar. O caso que já passava também entra.

▸Temperatura e modelo entram na mesma avaliação?

Entram. Qualquer mudança que altere a saída reroda a amostra, inclusive temperatura, ferramenta e o texto do sistema. A versão registrada inclui esses parâmetros. Sem isso, a nota de ontem não descreve o que está no ar.

▸O que é um veto na prática?

Um conjunto de casos que não pode piorar, mesmo que a média melhore. Cancelamento, alçada, recusa jurídica ou campo que dispara pagamento são vetos típicos. Errar o veto bloqueia a publicação.

▸Com que frequência revisar a amostra?

Na cadência em que a fila muda de vocabulário, em geral mensal, e sempre que um erro novo de produção ainda não está representado. Caso crítico sai só quando o risco deixa de existir, não porque a amostra “já está grande”.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *