Observabilidade de pipeline: atraso, volume e formato

Tubos de dados com relógio de frescor, barras de volume e uma peça de esquema que não encaixa

Observabilidade de pipeline avisa quando o dado atrasou, o volume despencou ou a coluna mudou. Sem isso, o dashboard quebra em silêncio: a reunião olha o número de ontem achando que é o de hoje, ou olha um gráfico vazio e discute a operação.

Monitorar o servidor não substitui monitorar o dado. CPU normal com carga atrasada é o incidente mais comum de analytics. O sinal tem de ser sobre frescor, volume e formato, no nível do conjunto que alguém usa para decidir.

Tubo parado, relógio travado e barra de volume menor do que a marca anterior, com alarme
O alerta útil diz se o dado atrasou, encolheu ou mudou de formato.

Que sinais importam para quem lê o número?

Frescor: a carga que alimenta a métrica oficial passou do horário combinado. Volume: a quantidade de linhas, de pedidos ou de eventos saiu da faixa do mesmo dia da semana. Formato: coluna esperada sumiu, tipo mudou ou a chave passou a vir vazia. Os três geram alerta. Uso de disco, sozinho, não.

O sinal aponta para o produto de dados que a pessoa abre, não só para a tarefa técnica. “A tabela de pedido faturado está com atraso de duas horas” orienta. “O job 1842 falhou” orienta só quem já decorou o mapeamento.

Como definir a faixa sem alertar todo dia?

A faixa nasce do histórico do próprio fluxo, por dia da semana e, quando fizer diferença, por hora. Segunda não usa a média que inclui domingo. Campanha conhecida entra como exceção com data, não como motivo para alargar a faixa para sempre.

Comece com poucas faixas, nos conjuntos oficiais. Alerta demais faz o turno silenciar o canal. É melhor um alerta verdadeiro de frescor da receita do que trinta alertas de tabelas intermediárias que ninguém lê. A faixa se aperta depois que o canal merece confiança.

Onde checar formato antes do número publicar?

A checagem de coluna, tipo e chave vazia roda antes de trocar a tabela que o relatório lê. Se o esquema quebrou, a versão anterior continua publicada e o alerta dispara. Publicar a tabela nova pela metade faz o gráfico misturar dia com formato antigo e dia com formato novo.

Teste de formato não pega erro de regra de negócio, como frete que voltou para a receita. Isso é reconciliação com uma fonte de controle, em geral uma contagem ou uma soma que o financeiro já confia. Os dois cabem: esquema para não quebrar, reconciliação para não mentir.

SinalExemplo de quebraO que o leitor vê
FrescorCarga da manhã não terminouAviso de horário da última atualização
VolumeEventos de compra caíram fora da faixaAlerta antes de a reunião concluir que a venda sumiu
FormatoColuna de status deixou de virRelatório anterior permanece no ar
ReconciliaçãoSoma do BI diverge da notaDiferença com nome e dono, não um número mudo

Quem recebe o alerta e o que faz em seguida?

O alerta tem dono do pipeline e dono da métrica. O primeiro investiga a carga. O segundo decide se a reunião usa o número. Mandar só para um canal de tecnologia deixa a área de negócio apresentar o dado atrasado. Mandar só para o negócio, sem o time que corrige, vira ansiedade sem ação.

O texto do alerta inclui o conjunto, o horário esperado, o horário real e o link do lugar em que se vê a última carga. Alerta sem esse contexto gera uma pergunta de volta. Alerta bom já é o começo do diagnóstico.

Como não confundir incidente com sazonalidade?

A comparação é contra o padrão daquele dia, não contra ontem quando ontem era feriado ou pico. Feriado entra no calendário da faixa. Se o volume caiu e a causa é um feriado não cadastrado, ajuste o calendário. Não desligue o alerta.

Anote o incidente verdadeiro: o que quebrou, quanto tempo o número ficou suspeito, se alguém decidiu com ele mesmo assim. Essa nota calibra a faixa e mostra qual conjunto merece checagem mais cedo. Sem a nota, o time repete o mesmo susto.

Por qual pipeline começar?

Pelo que alimenta a métrica que a diretoria abre. Receita, pedido, mídia, o que for o número da semana. Um pipeline interno sem leitor pode esperar. Observabilidade espalhada em tudo, no primeiro mês, costuma não ficar de pé em nada.

Um exemplo: a carga de pedidos termina às 7h e a reunião é às 9h. O alerta de frescor dispara às 7h30 se a tabela oficial não trocou. O alerta de volume compara com as últimas quatro terças. Uma coluna nova que vem vazia segura a publicação. A controladoria vê na ficha do catálogo o horário real, e não apresenta a segunda-feira como se fosse o fechamento de terça.

Checklist prático

A observabilidade está no ar quando o atraso aparece para quem iria usar o número, a tempo de não usar.

  • Sinal de frescor, volume e formato no conjunto que alguém lê
  • Faixa por dia da semana, com feriado no calendário
  • Alerta com conjunto, horário esperado e horário real
  • Dono do pipeline e dono da métrica no mesmo aviso
  • Formato inválido não substitui a tabela que o relatório lê
  • Reconciliação com uma soma ou contagem de controle
  • Começo pelos números da reunião, não por todos os jobs
  • Nota do incidente para calibrar a faixa, sem desligar o alerta

Erros comuns

O dashboard silencioso quase sempre tinha um destes furos.

  • Monitorar CPU e achar que o dado está coberto
  • Uma faixa única que ignora domingo e feriado
  • Alertar dezenas de tabelas intermediárias e nenhuma oficial
  • Publicar a carga pela metade quando o esquema muda
  • Avisar só o time técnico, e a reunião seguir com o número velho
  • Desligar o alerta depois de dois falsos positivos, em vez de ajustar a faixa
  • Não reconciliar com uma fonte que o negócio já confia
  • Texto de alerta com o código do job e sem o nome da métrica

Onde o sinal entra na engenharia?

Em engenharia de dados, a carga pronta é a que chegou na hora, no volume e no formato. O alerta existe para o dia em que uma dessas três falha.

Perguntas frequentes

▸Monitorar o servidor não basta?

Não. O job pode terminar com sucesso e ter carregado a metade das linhas, ou nem ter rodado, enquanto a máquina está saudável. Frescor, volume e formato são sinais do dado que alguém vai ler. CPU é sinal da máquina.

▸Quantos alertas eu deveria ter?

Poucos, nos conjuntos oficiais, com faixa que o turno ainda leva a sério. É melhor um alerta de frescor da métrica da reunião do que uma dezena sobre tabela intermediária. Aumente a cobertura depois que o canal merecer confiança.

▸O que fazer quando o esquema muda?

Segurar a publicação da tabela que o relatório lê e manter a versão anterior, com alerta. Trocar pela metade mistura formatos no mesmo gráfico. A mudança de coluna combina com quem consome o conjunto, antes de seguir.

▸Como tratar feriado e campanha?

Feriado entra no calendário da faixa. Campanha conhecida entra como exceção com data de início e fim. Alargar a faixa para sempre, por causa de um pico, faz o alerta perder o desvio do mês seguinte.

▸Quem precisa receber o aviso?

Quem corrige a carga e quem decidiria com o número. Um só dos dois deixa ou a reunião no escuro ou a tecnologia sem ação. O texto diz a métrica, o horário esperado e o horário real.

▸Observabilidade substitui teste do pipeline?

Não. Teste pega o que já se sabe que pode quebrar, antes de publicar. Observabilidade pega o que quebrou de fato, inclusive a fonte que atrasou. Os dois ficam. Alerta não é desculpa para publicar sem checagem de formato.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *