Observabilidade de pipeline: atraso, volume e formato

Observabilidade de pipeline avisa quando o dado atrasou, o volume despencou ou a coluna mudou. Sem isso, o dashboard quebra em silêncio: a reunião olha o número de ontem achando que é o de hoje, ou olha um gráfico vazio e discute a operação.
Monitorar o servidor não substitui monitorar o dado. CPU normal com carga atrasada é o incidente mais comum de analytics. O sinal tem de ser sobre frescor, volume e formato, no nível do conjunto que alguém usa para decidir.

Que sinais importam para quem lê o número?
Frescor: a carga que alimenta a métrica oficial passou do horário combinado. Volume: a quantidade de linhas, de pedidos ou de eventos saiu da faixa do mesmo dia da semana. Formato: coluna esperada sumiu, tipo mudou ou a chave passou a vir vazia. Os três geram alerta. Uso de disco, sozinho, não.
O sinal aponta para o produto de dados que a pessoa abre, não só para a tarefa técnica. “A tabela de pedido faturado está com atraso de duas horas” orienta. “O job 1842 falhou” orienta só quem já decorou o mapeamento.
Como definir a faixa sem alertar todo dia?
A faixa nasce do histórico do próprio fluxo, por dia da semana e, quando fizer diferença, por hora. Segunda não usa a média que inclui domingo. Campanha conhecida entra como exceção com data, não como motivo para alargar a faixa para sempre.
Comece com poucas faixas, nos conjuntos oficiais. Alerta demais faz o turno silenciar o canal. É melhor um alerta verdadeiro de frescor da receita do que trinta alertas de tabelas intermediárias que ninguém lê. A faixa se aperta depois que o canal merece confiança.
Onde checar formato antes do número publicar?
A checagem de coluna, tipo e chave vazia roda antes de trocar a tabela que o relatório lê. Se o esquema quebrou, a versão anterior continua publicada e o alerta dispara. Publicar a tabela nova pela metade faz o gráfico misturar dia com formato antigo e dia com formato novo.
Teste de formato não pega erro de regra de negócio, como frete que voltou para a receita. Isso é reconciliação com uma fonte de controle, em geral uma contagem ou uma soma que o financeiro já confia. Os dois cabem: esquema para não quebrar, reconciliação para não mentir.
| Sinal | Exemplo de quebra | O que o leitor vê |
|---|---|---|
| Frescor | Carga da manhã não terminou | Aviso de horário da última atualização |
| Volume | Eventos de compra caíram fora da faixa | Alerta antes de a reunião concluir que a venda sumiu |
| Formato | Coluna de status deixou de vir | Relatório anterior permanece no ar |
| Reconciliação | Soma do BI diverge da nota | Diferença com nome e dono, não um número mudo |
Quem recebe o alerta e o que faz em seguida?
O alerta tem dono do pipeline e dono da métrica. O primeiro investiga a carga. O segundo decide se a reunião usa o número. Mandar só para um canal de tecnologia deixa a área de negócio apresentar o dado atrasado. Mandar só para o negócio, sem o time que corrige, vira ansiedade sem ação.
O texto do alerta inclui o conjunto, o horário esperado, o horário real e o link do lugar em que se vê a última carga. Alerta sem esse contexto gera uma pergunta de volta. Alerta bom já é o começo do diagnóstico.
Como não confundir incidente com sazonalidade?
A comparação é contra o padrão daquele dia, não contra ontem quando ontem era feriado ou pico. Feriado entra no calendário da faixa. Se o volume caiu e a causa é um feriado não cadastrado, ajuste o calendário. Não desligue o alerta.
Anote o incidente verdadeiro: o que quebrou, quanto tempo o número ficou suspeito, se alguém decidiu com ele mesmo assim. Essa nota calibra a faixa e mostra qual conjunto merece checagem mais cedo. Sem a nota, o time repete o mesmo susto.
Por qual pipeline começar?
Pelo que alimenta a métrica que a diretoria abre. Receita, pedido, mídia, o que for o número da semana. Um pipeline interno sem leitor pode esperar. Observabilidade espalhada em tudo, no primeiro mês, costuma não ficar de pé em nada.
Um exemplo: a carga de pedidos termina às 7h e a reunião é às 9h. O alerta de frescor dispara às 7h30 se a tabela oficial não trocou. O alerta de volume compara com as últimas quatro terças. Uma coluna nova que vem vazia segura a publicação. A controladoria vê na ficha do catálogo o horário real, e não apresenta a segunda-feira como se fosse o fechamento de terça.
Checklist prático
A observabilidade está no ar quando o atraso aparece para quem iria usar o número, a tempo de não usar.
- Sinal de frescor, volume e formato no conjunto que alguém lê
- Faixa por dia da semana, com feriado no calendário
- Alerta com conjunto, horário esperado e horário real
- Dono do pipeline e dono da métrica no mesmo aviso
- Formato inválido não substitui a tabela que o relatório lê
- Reconciliação com uma soma ou contagem de controle
- Começo pelos números da reunião, não por todos os jobs
- Nota do incidente para calibrar a faixa, sem desligar o alerta
Erros comuns
O dashboard silencioso quase sempre tinha um destes furos.
- Monitorar CPU e achar que o dado está coberto
- Uma faixa única que ignora domingo e feriado
- Alertar dezenas de tabelas intermediárias e nenhuma oficial
- Publicar a carga pela metade quando o esquema muda
- Avisar só o time técnico, e a reunião seguir com o número velho
- Desligar o alerta depois de dois falsos positivos, em vez de ajustar a faixa
- Não reconciliar com uma fonte que o negócio já confia
- Texto de alerta com o código do job e sem o nome da métrica
Onde o sinal entra na engenharia?
Em engenharia de dados, a carga pronta é a que chegou na hora, no volume e no formato. O alerta existe para o dia em que uma dessas três falha.