Observabilidade de LLM: latência, recusa e qualidade

Bloco de modelo com relógio de latência, placa de parada e bandeja de amostra

Observabilidade de LLM acompanha cada chamada que a operação usa: quanto esperou, se recusou, se chamou ferramenta, qual versão do prompt respondeu e se a amostra de qualidade ainda passa. A média de sucesso do provedor não diz se a fila de ontem foi preenchida com campo inventado.

Isso é diferente de observar um pipeline de dados. Aqui o defeito muitas vezes é uma resposta que parece certa. Sem uma amostra lida por gente, com critério, o painel fica verde enquanto o cadastro degrada.

Linha do tempo de uma chamada, com um passo lento destacado
Uma chamada inteira: espera, recusa e o trecho que deu para revisar.

O que cada chamada precisa registrar?

Um identificador do caso, a versão do prompt, o modelo, a latência, o tamanho, se houve recusa e qual ferramenta foi pedida. Não precisa gravar o texto inteiro em todo log. Precisa conseguir achar o caso quando alguém reclama.

O motivo da recusa entra no registro: esquema, falta de fonte, teto, ferramenta fora da lista. “Falhou” sem motivo faz o plantão repetir a chamada. Recusa de conteúdo e indisponibilidade do provedor são incidentes diferentes.

Qual latência importa para a fila?

A latência que a pessoa ou o fluxo espera, ponta a ponta, não só o tempo que o provedor declara. Entra fila, retentativa e ferramenta. Um passo lento no meio, como uma busca, aparece separado. Somar tudo num número esconde onde cortar.

O limite está escrito. Acima dele, o fluxo segue a regra de degradação: recusa, fila humana ou resposta pronta. Esperar indefinidamente não é resiliência. O painel mostra quantos casos passaram do limite no dia.

SinalO que mostraAção
Latência por passoOnde a chamada esperaCortar ou degradar
Recusa por motivoTrava ou provedorNão repetir conteúdo inválido
Ferramenta pedidaSe a ação ficou na listaParar o que vazou
Amostra de qualidadeSe a saída ainda serveSegurar a versão nova

Como a qualidade entra no mesmo painel?

Uma amostra fixa roda na versão publicada, todo dia ou a cada troca. A nota e o caso de veto ficam ao lado da latência. Publicar prompt novo sem essa coluna é observar velocidade e ignorar o efeito.

Além da amostra fixa, uma fatia pequena das saídas reais vai para leitura, com o dado mascarado. É lá que aparece o tipo de erro que a amostra ainda não tinha. O achado vira caso de veto, não comentário solto.

O que não se guarda no log?

Documento de cliente, segredo e texto completo da resposta quando o caso não está em investigação. O log guarda ponteiro e metadado. O conteúdo fica no lugar com retenção curta e acesso restrito, ou não fica.

Log eterno de prompt com dado pessoal vira o incidente seguinte. A observabilidade não precisa ser um arquivo de tudo. Precisa responder “qual versão atendeu este caso e por que recusou”.

Quem olha o sinal e com que frequência?

Quem está no turno olha latência, recusa e erro de ferramenta. Quem responde pelo fluxo olha a amostra de qualidade no ritmo da publicação. Um painel sem dono de cada sinal é decoração.

Alerta de provedor fora não substitui alerta de recusa subindo com o provedor no ar. O segundo é regressão de prompt, de dado ou de trava. Os dois números cabem no mesmo turno, com runbook diferente.

Um exemplo de troca de prompt que piorou a recusa

A versão nova sobe de manhã. A latência fica igual. A recusa por esquema dobra antes do meio-dia. O painel separa o motivo, então o plantão não reinicia o provedor. A volta para a versão anterior acontece na mesma hora, e os casos recusados seguem para a fila humana em vez de serem reprocessados contra a trava.

No dia seguinte a amostra fixa, que não tinha sido rodada antes da publicação, mostra o mesmo erro. O buraco no processo entra no combinado: sem amostra verde, a versão não publica. O painel só tornou o erro visível cedo.

Checklist prático

A chamada está observável quando o caso aponta a versão, o motivo da recusa e a amostra de qualidade.

  • Identificador do caso em toda chamada
  • Versão do prompt e do modelo no registro
  • Latência por passo, não só o total
  • Recusa com motivo, separada de indisponibilidade
  • Ferramenta pedida conferida com a lista
  • Amostra fixa de qualidade ao lado da latência
  • Leitura de uma fatia real, com dado mascarado
  • Log sem documento de cliente e sem retenção eterna

Erros comuns

O painel mente quando só mostra que o provedor respondeu.

  • Olhar só a média de sucesso do fornecedor
  • Não separar recusa de conteúdo de queda do serviço
  • Repetir a chamada quando o motivo é esquema inválido
  • Publicar prompt sem rodar a amostra fixa
  • Guardar texto completo com dado pessoal em log eterno
  • Somar a latência e esconder o passo lento
  • Não saber qual versão atendeu o caso reclamado
  • Deixar o alerta de qualidade sem dono

Onde isso entra no projeto?

Num projeto de inteligência artificial, observabilidade de LLM é o registro da chamada e da amostra. Sem os dois, a operação não distingue atraso de resposta ruim.

Perguntas frequentes

▸O painel do provedor não basta?

Basta para saber se o serviço dele está no ar. Não basta para saber se a sua versão de prompt recusou metade da fila ou se a ferramenta certa foi chamada. O registro de vocês é que amarra o caso à versão.

▸Preciso logar o prompt inteiro?

Não por padrão. Versão e identificador acham o caso. O texto fica só na investigação, com acesso curto, se a política permitir. Log completo permanente guarda dado que não deveria estar ali.

▸Como medir qualidade sem ler tudo?

Com amostra fixa automática e uma fatia pequena lida por gente. Tudo é caro e tarde. Nada é o painel verde com cadastro ruim. O achado da leitura vira caso novo na amostra, para não depender de memória.

▸Latência alta é sempre incidente?

É incidente se passa do limite combinado para aquele fluxo. Abaixo do limite, é fila. O limite existe antes do gráfico. Sem ele, qualquer pico vira discussão e nenhum vira ação.

▸Recusa alta significa que a trava funciona?

Pode significar trava certa diante de saída ruim, ou tarefa larga demais. O motivo separa. Recusa de esquema subindo depois de um prompt novo é regressão. Recusa estável e baixa, com erro no cadastro, é trava frouxa.

▸Isso vale para fluxo sem cliente final?

Vale se a saída preenche campo ou fila. Uso interno também degrada em silêncio. O critério é o efeito no sistema, não o público da tela.