Captura de mudanças: quando o full extract deixa de servir

Fita de registros alterados saindo de um banco, enquanto a cópia inteira da tabela fica parada

Captura de mudanças, o CDC, lê o que foi inserido, atualizado ou apagado desde a última leitura. O full extract copia a tabela inteira toda vez. O primeiro cabe quando o volume passou da janela. O segundo continua certo quando a tabela é pequena e a operação tolera a cópia.

O ganho é tempo e carga na origem. O risco é perder a ordem, ignorar o delete e achar que o log é uma fonte completa. Sem a chave e sem o que fazer quando o log não alcança o passado, a captura parece fresca e está furada.

Um único cartão alterado viajando por uma fita, com a tabela intacta ao lado
Viaja a mudança. A tabela inteira não precisa ser copiada de novo.

Quando ainda é melhor copiar a tabela inteira?

Tabela pequena, janela noturna folgada e pouco delete: o full extract é simples e se recupera sozinho. Cada carga substitui o recorte. Não há ponteiro de log para perder. Começar por CDC numa tabela de cadastro de cem linhas é complexidade sem sintoma.

A troca faz sentido quando a cópia inteira estoura o horário, trava a origem ou custa mais do que o uso aguenta. A decisão é medida: duração da extração, impacto na origem, e se update e delete importam para a métrica. Se ninguém mediu, a moda não justifica o desenho.

O que o evento de mudança precisa carregar?

A chave de negócio, o tipo da operação, a ordem e a imagem da linha depois da mudança. Sem a ordem, dois updates do mesmo pedido chegam invertidos e o antigo vence. Sem o delete, o pedido cancelado continua na soma para sempre.

Insert só com a linha nova não cobre update. Ferramenta que “pega o que é novo pelo timestamp” perde a linha antiga que foi corrigida se o relógio não mudou, e perde o delete se a linha simplesmente sumiu. O log de mudança existe para esses dois casos.

OperaçãoO que aplicarSe faltar
InclusãoCria a chaveO pedido nunca aparece
AtualizaçãoSubstitui a chave, na ordemO status antigo permanece
ExclusãoRemove ou marca canceladaA soma guarda o que já morreu
Log incompletoReconciliação com a origemO recorte fica furado em silêncio

Como o ponteiro não se perde?

O ponteiro é a posição já aplicada no log, gravada junto com o efeito. Se o processo cai no meio, ele retoma dessa posição, não do começo e não do fim. Retomar do fim pula mudanças. Retomar do começo sem idempotência aplica o efeito duas vezes.

A chave de negócio torna a reaplicação segura: aplicar de novo o mesmo update deixa a linha no mesmo estado. Delete repetido continua ausente. Sem isso, o retry do conector duplica pedido. O ponteiro e a chave andam juntos.

O que fazer com o passado que o log não tem?

O log normalmente não guarda a vida inteira da tabela. A primeira carga é um retrato completo, com uma posição de log marcada naquele instante. Daí para a frente entra a captura. Começar só pelo log perde tudo o que já existia.

Se o ponteiro se perde além da retenção do log, não dá para “continuar”. A recuperação é um retrato novo mais o log a partir desse retrato. Inventar a continuidade é como achar que o buraco não existiu. A operação precisa desse caminho escrito antes do incidente, não na noite em que o conector para.

Como saber se a captura está completa?

Uma reconciliação periódica compara contagem e uma soma da origem com o destino, por chave. A captura pode estar segundos atrás; a tolerância é de atraso, não de diferença permanente. Diferença que não fecha vira incidente, não um rodapé.

O atraso do ponteiro também é sinal. Se a posição aplicada para de avançar, o destino está velho mesmo com a máquina saudável. Esse atraso importa mais do que o uso de CPU do conector.

Um exemplo de pedido que muda de status

O pedido nasce, é pago e depois é cancelado. No full extract noturno, o destino vê o estado do fim do dia, se a cópia couber. Na captura, cada transição chega na ordem: criado, pago, cancelado. A soma de “pago agora” tira o pedido no cancelamento. Se o desenho só inserisse linhas novas, o cancelamento nunca chegaria e o pago continuaria contando.

Uma vez por dia, a contagem de pedidos cancelados na origem fecha com o destino. Se não fechar, a captura parou de aplicar delete ou perdeu um trecho do log. A resposta é a reconciliação, não esperar o fechamento do mês reclamar.

Checklist prático

A captura está pronta quando inclusão, correção e exclusão sobrevivem a uma queda do conector.

  • Medição de que o full extract não cabe, antes de adotar o log
  • Evento com chave, tipo da operação e ordem
  • Update substitui a chave; delete remove ou cancela
  • Retrato inicial com a posição do log marcada
  • Ponteiro gravado junto com o efeito já aplicado
  • Reaplicação idempotente da mesma mudança
  • Caminho de recuperação quando o log não alcança mais o ponteiro
  • Reconciliação de contagem com a origem, com tolerância só de atraso

Erros comuns

A tabela parece fresca e está errada quando o delete ou a ordem ficam de fora.

  • Adotar CDC em tabela pequena sem sintoma de prazo ou de carga
  • Ler só linhas novas por timestamp e chamar isso de captura
  • Ignorar delete porque “a linha some sozinha”
  • Aplicar updates fora de ordem
  • Retomar o conector no fim do log depois de uma queda
  • Começar sem retrato inicial e perder o passado
  • Não ter caminho para quando a retenção do log acaba
  • Medir o conector pela CPU e não pelo atraso do ponteiro

Onde a captura entra no desenho?

Em engenharia de dados, captura de mudanças é a alternativa medida ao full extract: chave, ordem e reconciliação, não um conector ligado no escuro.

Perguntas frequentes

▸CDC é sempre melhor que copiar a tabela?

Não. Cópia inteira é mais simples quando cabe na janela e a origem aguenta. A captura compensa quando a cópia estoura o horário ou quando update e delete precisam aparecer antes da próxima madrugada.

▸Timestamp de atualização substitui o log?

Substitui mal. Ele perde delete, depende de o relógio mudar em toda correção e não garante ordem se dois processos escrevem juntos. Serve como quebra-galho em tabela sem log, com reconciliação mais frequente, não como equivalente.

▸E se o log guardar dado sensível?

O destino fica só com o campo necessário para a métrica ou para a operação. O log bruto não vira uma segunda cópia eterna do cadastro. Retenção e acesso seguem a mesma regra da origem.

▸Quanto atraso é aceitável?

O atraso que a decisão aguenta. Uma fila operacional de hora em hora não vive com ponteiro de ontem. Um fechamento diário aguenta minutos ou uma hora. O número é escrito, e o alerta dispara quando o ponteiro passa dele.

▸Posso usar a captura como única cópia da origem?

Não como arquivo histórico completo, se o log expira. O destino aplicado é o estado. O retrato e a reconciliação existem porque o log não é backup. Backup continua sendo backup.

▸Como testar antes de desligar o full extract?

Rode os dois em paralelo num período e compare chave a chave, inclusive cancelados. Só desligue a cópia inteira quando a diferença couber na tolerância de atraso por vários dias, incluindo um dia com delete de verdade.