Testes de pipeline de dados antes de publicar

Testes de pipeline existem para a carga falhar antes de chegar em quem decide. Volume fora da faixa, coluna que sumiu ou soma que não bate com a fonte são quebras conhecidas. O lugar delas é a esteira, não o slide da reunião.
Observabilidade avisa depois que o número já está no ar. O teste segura a troca. Os dois convivem: um impede a publicação ruim, o outro pega o que a fonte fez depois que a tabela já era oficial.

O que um teste de dados verifica de fato?
Três famílias cobrem a maior parte dos incidentes. Formato: coluna obrigatória presente, tipo estável, chave sem vazio. Volume: a contagem do dia não desabou nem explodiu contra o padrão daquele dia da semana. Reconciliação: uma soma ou contagem que a fonte já confia fecha com o que a esteira produziu.
Teste que só diz “a query rodou” não é teste de dado. Sucesso do job com metade das linhas é o incidente clássico. A afirmação tem de ser sobre o conjunto que alguém vai ler, não sobre o processo ter terminado sem exceção.
Onde o teste trava a publicação?
A tabela nova se monta ao lado. Os testes leem essa candidata. Se falham, a oficial permanece e o alerta diz qual afirmação quebrou. Se passam, a troca é atômica: o leitor não vê mistura de formato antigo e novo.
Teste depois da troca só documenta o estrago. Dá para reverter se a partição anterior ainda existe, e isso deve existir, mas o desenho bom nem chega a publicar. O rollback é rede de segurança, não o plano principal.
| Afirmação | Exemplo | Se falhar |
|---|---|---|
| Formato | Status não vem vazio | Segura a publicação |
| Volume | Pedidos do dia dentro da faixa da terça | Segura e alerta |
| Unicidade | Uma chave de nota, uma linha | Segura |
| Soma de controle | Total do BI igual ao relatório fiscal | Segura acima da tolerância |
Como a faixa não vira alarme todo dia?
Volume se compara ao mesmo dia da semana, com feriado no calendário. Uma faixa única que inclui domingo faz a segunda parecer explosão. Campanha conhecida entra como exceção com data de fim, não como motivo para alargar a faixa para sempre.
Comece pelos conjuntos oficiais. Teste em toda tabela intermediária, no primeiro mês, produz tanto ruído que o time passa a ignorar a falha verdadeira. A cobertura cresce depois que o canal merece confiança.
Quem escreve a afirmação?
Formato pode nascer com quem modela a tabela. A soma de controle nasce com quem responde pelo número: financeiro, comercial, o dono da métrica. Um teste de “receita maior que zero” é fraco. “Receita do dia fecha com a nota autorizada, tolerância de centavos” é útil.
A afirmação tem dono e versão. Quando a regra de negócio muda, o teste muda no mesmo ciclo. Teste antigo que espera o frete dentro da receita passa a falhar todo dia, ou pior, passa a ser desligado. Os dois resultados significam que a afirmação ficou órfã.
Como testar a transformação, não só a carga?
Uma amostra fixa de linhas, com entrada e saída esperadas, pega a regra que mudou sem querer: o desconto aplicado duas vezes, o status novo caindo no balde errado. Essa amostra roda em toda alteração de código, antes mesmo da carga de produção.
A amostra não substitui o teste do volume real. Ela pega lógica. O volume e a soma pegam a fonte e o recorte. Pipeline sem nenhum dos dois publica no escuro. Pipeline só com amostra pequena não vê o dia em que a fonte veio pela metade.
O que o alerta precisa dizer?
Qual conjunto, qual afirmação, qual valor veio e qual era a faixa. “Job falhou” obriga alguém a abrir log. “A soma de notas de terça ficou 18% abaixo do relatório fiscal e a publicação foi segurada” já é o começo da ação.
O destinatário é quem corrige a esteira e quem usaria o número. Segurar a tabela sem avisar a reunião faz a diretoria olhar o dia anterior achando que é o de hoje. O aviso inclui que a versão anterior continua no ar.
Checklist prático
A esteira está testada quando uma carga ruim não consegue virar a tabela oficial.
- Afirmações de formato, volume e soma no conjunto que alguém lê
- Candidata ao lado, troca só se os testes passam
- Partição anterior preservada para retorno
- Faixa de volume por dia da semana, com feriado no calendário
- Soma de controle assinada por quem responde pelo número
- Amostra fixa de entrada e saída para a transformação
- Alerta com o valor encontrado e a faixa, não só o nome do job
- Teste atualizado no mesmo ciclo em que a regra de negócio muda
Erros comuns
A reunião descobre a quebra quando o teste foi tarde ou fraco demais.
- Considerar sucesso do job como dado válido
- Publicar primeiro e testar depois
- Faixa única de volume que ignora domingo e feriado
- Teste de receita maior que zero no lugar de uma soma de controle
- Desligar a afirmação que passou a falhar todo dia, sem revisar a regra
- Alertar só o time técnico e deixar a reunião no número velho sem aviso
- Amostra de lógica que nunca roda na mudança de código
- Cobrir dezenas de tabelas intermediárias e nenhuma oficial
Onde o teste entra na esteira?
Em engenharia de dados, testes de pipeline são a condição da publicação. O número oficial só troca quando formato, volume e soma fecham.