Captura de mudanças: quando o full extract deixa de servir

Captura de mudanças, o CDC, lê o que foi inserido, atualizado ou apagado desde a última leitura. O full extract copia a tabela inteira toda vez. O primeiro cabe quando o volume passou da janela. O segundo continua certo quando a tabela é pequena e a operação tolera a cópia.
O ganho é tempo e carga na origem. O risco é perder a ordem, ignorar o delete e achar que o log é uma fonte completa. Sem a chave e sem o que fazer quando o log não alcança o passado, a captura parece fresca e está furada.

Quando ainda é melhor copiar a tabela inteira?
Tabela pequena, janela noturna folgada e pouco delete: o full extract é simples e se recupera sozinho. Cada carga substitui o recorte. Não há ponteiro de log para perder. Começar por CDC numa tabela de cadastro de cem linhas é complexidade sem sintoma.
A troca faz sentido quando a cópia inteira estoura o horário, trava a origem ou custa mais do que o uso aguenta. A decisão é medida: duração da extração, impacto na origem, e se update e delete importam para a métrica. Se ninguém mediu, a moda não justifica o desenho.
O que o evento de mudança precisa carregar?
A chave de negócio, o tipo da operação, a ordem e a imagem da linha depois da mudança. Sem a ordem, dois updates do mesmo pedido chegam invertidos e o antigo vence. Sem o delete, o pedido cancelado continua na soma para sempre.
Insert só com a linha nova não cobre update. Ferramenta que “pega o que é novo pelo timestamp” perde a linha antiga que foi corrigida se o relógio não mudou, e perde o delete se a linha simplesmente sumiu. O log de mudança existe para esses dois casos.
| Operação | O que aplicar | Se faltar |
|---|---|---|
| Inclusão | Cria a chave | O pedido nunca aparece |
| Atualização | Substitui a chave, na ordem | O status antigo permanece |
| Exclusão | Remove ou marca cancelada | A soma guarda o que já morreu |
| Log incompleto | Reconciliação com a origem | O recorte fica furado em silêncio |
Como o ponteiro não se perde?
O ponteiro é a posição já aplicada no log, gravada junto com o efeito. Se o processo cai no meio, ele retoma dessa posição, não do começo e não do fim. Retomar do fim pula mudanças. Retomar do começo sem idempotência aplica o efeito duas vezes.
A chave de negócio torna a reaplicação segura: aplicar de novo o mesmo update deixa a linha no mesmo estado. Delete repetido continua ausente. Sem isso, o retry do conector duplica pedido. O ponteiro e a chave andam juntos.
O que fazer com o passado que o log não tem?
O log normalmente não guarda a vida inteira da tabela. A primeira carga é um retrato completo, com uma posição de log marcada naquele instante. Daí para a frente entra a captura. Começar só pelo log perde tudo o que já existia.
Se o ponteiro se perde além da retenção do log, não dá para “continuar”. A recuperação é um retrato novo mais o log a partir desse retrato. Inventar a continuidade é como achar que o buraco não existiu. A operação precisa desse caminho escrito antes do incidente, não na noite em que o conector para.
Como saber se a captura está completa?
Uma reconciliação periódica compara contagem e uma soma da origem com o destino, por chave. A captura pode estar segundos atrás; a tolerância é de atraso, não de diferença permanente. Diferença que não fecha vira incidente, não um rodapé.
O atraso do ponteiro também é sinal. Se a posição aplicada para de avançar, o destino está velho mesmo com a máquina saudável. Esse atraso importa mais do que o uso de CPU do conector.
Um exemplo de pedido que muda de status
O pedido nasce, é pago e depois é cancelado. No full extract noturno, o destino vê o estado do fim do dia, se a cópia couber. Na captura, cada transição chega na ordem: criado, pago, cancelado. A soma de “pago agora” tira o pedido no cancelamento. Se o desenho só inserisse linhas novas, o cancelamento nunca chegaria e o pago continuaria contando.
Uma vez por dia, a contagem de pedidos cancelados na origem fecha com o destino. Se não fechar, a captura parou de aplicar delete ou perdeu um trecho do log. A resposta é a reconciliação, não esperar o fechamento do mês reclamar.
Checklist prático
A captura está pronta quando inclusão, correção e exclusão sobrevivem a uma queda do conector.
- Medição de que o full extract não cabe, antes de adotar o log
- Evento com chave, tipo da operação e ordem
- Update substitui a chave; delete remove ou cancela
- Retrato inicial com a posição do log marcada
- Ponteiro gravado junto com o efeito já aplicado
- Reaplicação idempotente da mesma mudança
- Caminho de recuperação quando o log não alcança mais o ponteiro
- Reconciliação de contagem com a origem, com tolerância só de atraso
Erros comuns
A tabela parece fresca e está errada quando o delete ou a ordem ficam de fora.
- Adotar CDC em tabela pequena sem sintoma de prazo ou de carga
- Ler só linhas novas por timestamp e chamar isso de captura
- Ignorar delete porque “a linha some sozinha”
- Aplicar updates fora de ordem
- Retomar o conector no fim do log depois de uma queda
- Começar sem retrato inicial e perder o passado
- Não ter caminho para quando a retenção do log acaba
- Medir o conector pela CPU e não pelo atraso do ponteiro
Onde a captura entra no desenho?
Em engenharia de dados, captura de mudanças é a alternativa medida ao full extract: chave, ordem e reconciliação, não um conector ligado no escuro.