Observabilidade de LLM: latência, recusa e qualidade

Observabilidade de LLM acompanha cada chamada que a operação usa: quanto esperou, se recusou, se chamou ferramenta, qual versão do prompt respondeu e se a amostra de qualidade ainda passa. A média de sucesso do provedor não diz se a fila de ontem foi preenchida com campo inventado.
Isso é diferente de observar um pipeline de dados. Aqui o defeito muitas vezes é uma resposta que parece certa. Sem uma amostra lida por gente, com critério, o painel fica verde enquanto o cadastro degrada.

O que cada chamada precisa registrar?
Um identificador do caso, a versão do prompt, o modelo, a latência, o tamanho, se houve recusa e qual ferramenta foi pedida. Não precisa gravar o texto inteiro em todo log. Precisa conseguir achar o caso quando alguém reclama.
O motivo da recusa entra no registro: esquema, falta de fonte, teto, ferramenta fora da lista. “Falhou” sem motivo faz o plantão repetir a chamada. Recusa de conteúdo e indisponibilidade do provedor são incidentes diferentes.
Qual latência importa para a fila?
A latência que a pessoa ou o fluxo espera, ponta a ponta, não só o tempo que o provedor declara. Entra fila, retentativa e ferramenta. Um passo lento no meio, como uma busca, aparece separado. Somar tudo num número esconde onde cortar.
O limite está escrito. Acima dele, o fluxo segue a regra de degradação: recusa, fila humana ou resposta pronta. Esperar indefinidamente não é resiliência. O painel mostra quantos casos passaram do limite no dia.
| Sinal | O que mostra | Ação |
|---|---|---|
| Latência por passo | Onde a chamada espera | Cortar ou degradar |
| Recusa por motivo | Trava ou provedor | Não repetir conteúdo inválido |
| Ferramenta pedida | Se a ação ficou na lista | Parar o que vazou |
| Amostra de qualidade | Se a saída ainda serve | Segurar a versão nova |
Como a qualidade entra no mesmo painel?
Uma amostra fixa roda na versão publicada, todo dia ou a cada troca. A nota e o caso de veto ficam ao lado da latência. Publicar prompt novo sem essa coluna é observar velocidade e ignorar o efeito.
Além da amostra fixa, uma fatia pequena das saídas reais vai para leitura, com o dado mascarado. É lá que aparece o tipo de erro que a amostra ainda não tinha. O achado vira caso de veto, não comentário solto.
O que não se guarda no log?
Documento de cliente, segredo e texto completo da resposta quando o caso não está em investigação. O log guarda ponteiro e metadado. O conteúdo fica no lugar com retenção curta e acesso restrito, ou não fica.
Log eterno de prompt com dado pessoal vira o incidente seguinte. A observabilidade não precisa ser um arquivo de tudo. Precisa responder “qual versão atendeu este caso e por que recusou”.
Quem olha o sinal e com que frequência?
Quem está no turno olha latência, recusa e erro de ferramenta. Quem responde pelo fluxo olha a amostra de qualidade no ritmo da publicação. Um painel sem dono de cada sinal é decoração.
Alerta de provedor fora não substitui alerta de recusa subindo com o provedor no ar. O segundo é regressão de prompt, de dado ou de trava. Os dois números cabem no mesmo turno, com runbook diferente.
Um exemplo de troca de prompt que piorou a recusa
A versão nova sobe de manhã. A latência fica igual. A recusa por esquema dobra antes do meio-dia. O painel separa o motivo, então o plantão não reinicia o provedor. A volta para a versão anterior acontece na mesma hora, e os casos recusados seguem para a fila humana em vez de serem reprocessados contra a trava.
No dia seguinte a amostra fixa, que não tinha sido rodada antes da publicação, mostra o mesmo erro. O buraco no processo entra no combinado: sem amostra verde, a versão não publica. O painel só tornou o erro visível cedo.
Checklist prático
A chamada está observável quando o caso aponta a versão, o motivo da recusa e a amostra de qualidade.
- Identificador do caso em toda chamada
- Versão do prompt e do modelo no registro
- Latência por passo, não só o total
- Recusa com motivo, separada de indisponibilidade
- Ferramenta pedida conferida com a lista
- Amostra fixa de qualidade ao lado da latência
- Leitura de uma fatia real, com dado mascarado
- Log sem documento de cliente e sem retenção eterna
Erros comuns
O painel mente quando só mostra que o provedor respondeu.
- Olhar só a média de sucesso do fornecedor
- Não separar recusa de conteúdo de queda do serviço
- Repetir a chamada quando o motivo é esquema inválido
- Publicar prompt sem rodar a amostra fixa
- Guardar texto completo com dado pessoal em log eterno
- Somar a latência e esconder o passo lento
- Não saber qual versão atendeu o caso reclamado
- Deixar o alerta de qualidade sem dono
Onde isso entra no projeto?
Num projeto de inteligência artificial, observabilidade de LLM é o registro da chamada e da amostra. Sem os dois, a operação não distingue atraso de resposta ruim.