Custo de consulta: partição, cluster e limite

Custo de consulta é o volume que a pergunta precisa ler, não o tamanho da tabela em repouso. Um painel que filtra “o mês” mas varre cinco anos cobra os cinco anos. A partição e o cluster existem para a leitura acompanhar o filtro.
Baratear o preço do byte não salva um painel que lê tudo a cada abertura. O controle é desenho: o que a pergunta filtra, como a tabela está guardada e qual teto o painel pode gastar por dia.

O que a partição resolve?
A partição guarda o dado em pedaços que a query pode pular. Se a métrica filtra por dia da nota, a partição é esse dia. A pergunta de março não abre janeiro. Partição por um campo que ninguém filtra não reduz leitura nenhuma.
O filtro tem de ser o da partição, não uma função em cima dele. Converter a data dentro da query, ou filtrar por uma coluna derivada, faz o motor abrir todos os pedaços e a partição vira decoração. O padrão de pergunta se escreve antes da tabela.
Quando o cluster ajuda em cima da partição?
Cluster organiza o pedaço por outra coluna muito filtrada, como produto, canal ou status. Dentro de março, a pergunta de um canal não precisa ler todos os canais do mês. Sem essa segunda coluna no filtro real, cluster só reorganiza o arquivo.
Não se clusteriza por tudo. Cada coluna a mais tem custo de manutenção e pouco ganho se a pergunta não a usa. Olhe as queries que já doem e escolha a coluna que elas repetem. Inventar cluster para um relatório que ninguém abre é trabalho sem conta.
| Pergunta real | Guarda | Leitura que se evita |
|---|---|---|
| Notas de um dia | Partição por dia da nota | Os outros dias |
| Um canal dentro do mês | Cluster por canal | Os outros canais do mês |
| Um cliente em cinco anos | Não é partição diária sozinha | Exige outro desenho ou agregada |
| Painel sem filtro de data | Nenhuma partição salva | A tabela inteira, sempre |
Onde o teto entra?
Cada painel oficial e cada exploração têm um teto de leitura por dia. Ao estourar, a query do painel não continua varrendo: cai para a agregada pronta ou avisa. Teto que só manda e-mail no fim do mês explica a fatura, não a evita.
Exploração livre na tabela crua é o furo mais comum. Uma pessoa abre “só para ver” sem filtro e lê o histórico. A exploração aponta para uma amostra ou para a agregada. A tabela de detalhe fica para a esteira e para a pergunta que declara a data.
Agregada pronta contra detalhe?
O painel da reunião lê uma tabela já somada no grão da pergunta: dia, canal, métrica. O detalhe fica para a investigação pontual, com filtro obrigatório. Servir detalhe de cinco anos para um gráfico de linha é pagar a investigação em toda abertura.
A agregada se testa contra o detalhe numa amostra, para não virar outro número. Ela não é um atalho de definição. É o mesmo contrato, guardado no grão em que a pergunta cabe. Se a reunião precisa de outro grão, nasce outra agregada, não um select estrela.
Como ler a fatura de um jeito útil?
A fatura do fornecedor mostra valor. A operação precisa ver leitura por painel, por usuário de serviço e por query repetida. Sem essa quebra, o debate é “o warehouse encareceu” e ninguém acha o gráfico que abre a tabela inteira a cada hora.
Query repetida sem cache ou sem agregada é desperdício estável. O painel que trinta pessoas abrem de manhã não precisa recalcular o detalhe trinta vezes. Materializar o recorte do dia, ou cachear com prazo curto, corta essa repetição sem mudar a métrica.
Um exemplo de painel que lia o ano
O gráfico de receita diária filtrava o mês na ferramenta, mas a query não empurrava o filtro para a partição. Cada abertura lia o histórico. A correção foi a partição por dia da nota, a query obrigada a declarar o intervalo e uma agregada diária para o gráfico. A investigação de uma nota continua no detalhe, com a data obrigatória.
A conta caiu porque a leitura caiu, não porque alguém negociou desconto. O teto do painel agora estoura se alguém tirar o filtro. Esse estouro é o alerta certo.
Checklist prático
A consulta fica pagável quando a pergunta e a forma de guardar o dado são a mesma.
- Partição na coluna que a pergunta oficial filtra
- Filtro empurrado para a partição, sem função em cima da data
- Cluster só na segunda coluna que as queries caras repetem
- Painel da reunião lendo agregada, não o detalhe de anos
- Detalhe com filtro de data obrigatório
- Teto de leitura por painel e por exploração
- Fatura quebrada por painel, não só o total do fornecedor
- Query repetida de manhã materializada ou com cache de prazo curto
Erros comuns
A fatura surpresa repete estes desenhos.
- Particionar por um campo que nenhuma query filtra
- Filtrar a data depois de transformá-la, lendo todos os pedaços
- Servir o gráfico executivo em cima do detalhe cru
- Deixar exploração livre sem amostra e sem teto
- Cluster em muitas colunas porque “pode ser útil”
- Olhar só o total da fatura, sem achar a query
- Recalcular o mesmo mês a cada abertura, sem agregada
- Tirar o filtro de data do painel e não ter teto que segure
Onde o limite entra na engenharia?
Em engenharia de dados, custo de consulta é parte do desenho da tabela. A pergunta oficial não deveria precisar ler o que já ficou para trás.