Testes de pipeline de dados antes de publicar

Portão de pipeline com checagens de volume, formato e soma antes de abrir

Testes de pipeline existem para a carga falhar antes de chegar em quem decide. Volume fora da faixa, coluna que sumiu ou soma que não bate com a fonte são quebras conhecidas. O lugar delas é a esteira, não o slide da reunião.

Observabilidade avisa depois que o número já está no ar. O teste segura a troca. Os dois convivem: um impede a publicação ruim, o outro pega o que a fonte fez depois que a tabela já era oficial.

Porta de dados fechada porque uma peça de esquema não encaixa no espaço esperado
A carga nova só publica se o formato encaixa e a soma fecha.

O que um teste de dados verifica de fato?

Três famílias cobrem a maior parte dos incidentes. Formato: coluna obrigatória presente, tipo estável, chave sem vazio. Volume: a contagem do dia não desabou nem explodiu contra o padrão daquele dia da semana. Reconciliação: uma soma ou contagem que a fonte já confia fecha com o que a esteira produziu.

Teste que só diz “a query rodou” não é teste de dado. Sucesso do job com metade das linhas é o incidente clássico. A afirmação tem de ser sobre o conjunto que alguém vai ler, não sobre o processo ter terminado sem exceção.

Onde o teste trava a publicação?

A tabela nova se monta ao lado. Os testes leem essa candidata. Se falham, a oficial permanece e o alerta diz qual afirmação quebrou. Se passam, a troca é atômica: o leitor não vê mistura de formato antigo e novo.

Teste depois da troca só documenta o estrago. Dá para reverter se a partição anterior ainda existe, e isso deve existir, mas o desenho bom nem chega a publicar. O rollback é rede de segurança, não o plano principal.

AfirmaçãoExemploSe falhar
FormatoStatus não vem vazioSegura a publicação
VolumePedidos do dia dentro da faixa da terçaSegura e alerta
UnicidadeUma chave de nota, uma linhaSegura
Soma de controleTotal do BI igual ao relatório fiscalSegura acima da tolerância

Como a faixa não vira alarme todo dia?

Volume se compara ao mesmo dia da semana, com feriado no calendário. Uma faixa única que inclui domingo faz a segunda parecer explosão. Campanha conhecida entra como exceção com data de fim, não como motivo para alargar a faixa para sempre.

Comece pelos conjuntos oficiais. Teste em toda tabela intermediária, no primeiro mês, produz tanto ruído que o time passa a ignorar a falha verdadeira. A cobertura cresce depois que o canal merece confiança.

Quem escreve a afirmação?

Formato pode nascer com quem modela a tabela. A soma de controle nasce com quem responde pelo número: financeiro, comercial, o dono da métrica. Um teste de “receita maior que zero” é fraco. “Receita do dia fecha com a nota autorizada, tolerância de centavos” é útil.

A afirmação tem dono e versão. Quando a regra de negócio muda, o teste muda no mesmo ciclo. Teste antigo que espera o frete dentro da receita passa a falhar todo dia, ou pior, passa a ser desligado. Os dois resultados significam que a afirmação ficou órfã.

Como testar a transformação, não só a carga?

Uma amostra fixa de linhas, com entrada e saída esperadas, pega a regra que mudou sem querer: o desconto aplicado duas vezes, o status novo caindo no balde errado. Essa amostra roda em toda alteração de código, antes mesmo da carga de produção.

A amostra não substitui o teste do volume real. Ela pega lógica. O volume e a soma pegam a fonte e o recorte. Pipeline sem nenhum dos dois publica no escuro. Pipeline só com amostra pequena não vê o dia em que a fonte veio pela metade.

O que o alerta precisa dizer?

Qual conjunto, qual afirmação, qual valor veio e qual era a faixa. “Job falhou” obriga alguém a abrir log. “A soma de notas de terça ficou 18% abaixo do relatório fiscal e a publicação foi segurada” já é o começo da ação.

O destinatário é quem corrige a esteira e quem usaria o número. Segurar a tabela sem avisar a reunião faz a diretoria olhar o dia anterior achando que é o de hoje. O aviso inclui que a versão anterior continua no ar.

Checklist prático

A esteira está testada quando uma carga ruim não consegue virar a tabela oficial.

  • Afirmações de formato, volume e soma no conjunto que alguém lê
  • Candidata ao lado, troca só se os testes passam
  • Partição anterior preservada para retorno
  • Faixa de volume por dia da semana, com feriado no calendário
  • Soma de controle assinada por quem responde pelo número
  • Amostra fixa de entrada e saída para a transformação
  • Alerta com o valor encontrado e a faixa, não só o nome do job
  • Teste atualizado no mesmo ciclo em que a regra de negócio muda

Erros comuns

A reunião descobre a quebra quando o teste foi tarde ou fraco demais.

  • Considerar sucesso do job como dado válido
  • Publicar primeiro e testar depois
  • Faixa única de volume que ignora domingo e feriado
  • Teste de receita maior que zero no lugar de uma soma de controle
  • Desligar a afirmação que passou a falhar todo dia, sem revisar a regra
  • Alertar só o time técnico e deixar a reunião no número velho sem aviso
  • Amostra de lógica que nunca roda na mudança de código
  • Cobrir dezenas de tabelas intermediárias e nenhuma oficial

Onde o teste entra na esteira?

Em engenharia de dados, testes de pipeline são a condição da publicação. O número oficial só troca quando formato, volume e soma fecham.

Perguntas frequentes

▸Teste substitui o monitoramento do dia seguinte?

Não. O teste impede publicar uma carga que já está errada. O monitoramento pega atraso, queda depois da publicação e mudança na fonte que a esteira ainda não releu. Os dois ficam.

▸Quantos testes no começo?

Poucos, no conjunto oficial: uma checagem de formato, uma de volume por dia da semana e uma soma contra a fonte. Crescer a lista antes disso só aumenta o ruído. A afirmação que ninguém lê não protege.

▸E se a soma divergir por um arredondamento?

A tolerância é explícita, em centavos ou em contagem, assinada por quem responde pelo número. Divergência dentro dela publica. Acima dela segura. Tolerância infinita para “não travar” é o mesmo que não ter teste.

▸Dá para testar pipeline de evento, não só tabela?

Dá. A afirmação usa contagem de eventos do dia, presença de parâmetros obrigatórios e, quando existe, uma reconciliação com o sistema que originou o evento. O princípio é o mesmo: não publicar o recorte que quebrou a regra.

▸Quem pode furar o teste em uma urgência?

Só um papel nomeado, com motivo registrado e prazo para a exceção vencer. Urgência sem registro vira o caminho normal na semana seguinte. A exceção aparece no mesmo relatório da publicação.

▸O teste deixa a carga mais lenta?

As afirmações leem agregados, não a tabela inteira linha a linha, sempre que der. O custo de uma soma a mais é pequeno perto de republicar um mês errado. Se uma checagem for cara, ela roda na candidata, não em toda query de exploração.