Custo de consulta: partição, cluster e limite

Galpão de dados em que uma consulta ilumina só uma gaveta particionada

Custo de consulta é o volume que a pergunta precisa ler, não o tamanho da tabela em repouso. Um painel que filtra “o mês” mas varre cinco anos cobra os cinco anos. A partição e o cluster existem para a leitura acompanhar o filtro.

Baratear o preço do byte não salva um painel que lê tudo a cada abertura. O controle é desenho: o que a pergunta filtra, como a tabela está guardada e qual teto o painel pode gastar por dia.

Uma gaveta aberta sob uma luz pequena, em contraste com todas as prateleiras acesas
A pergunta do dia abre uma gaveta. Não acende o galpão inteiro.

O que a partição resolve?

A partição guarda o dado em pedaços que a query pode pular. Se a métrica filtra por dia da nota, a partição é esse dia. A pergunta de março não abre janeiro. Partição por um campo que ninguém filtra não reduz leitura nenhuma.

O filtro tem de ser o da partição, não uma função em cima dele. Converter a data dentro da query, ou filtrar por uma coluna derivada, faz o motor abrir todos os pedaços e a partição vira decoração. O padrão de pergunta se escreve antes da tabela.

Quando o cluster ajuda em cima da partição?

Cluster organiza o pedaço por outra coluna muito filtrada, como produto, canal ou status. Dentro de março, a pergunta de um canal não precisa ler todos os canais do mês. Sem essa segunda coluna no filtro real, cluster só reorganiza o arquivo.

Não se clusteriza por tudo. Cada coluna a mais tem custo de manutenção e pouco ganho se a pergunta não a usa. Olhe as queries que já doem e escolha a coluna que elas repetem. Inventar cluster para um relatório que ninguém abre é trabalho sem conta.

Pergunta realGuardaLeitura que se evita
Notas de um diaPartição por dia da notaOs outros dias
Um canal dentro do mêsCluster por canalOs outros canais do mês
Um cliente em cinco anosNão é partição diária sozinhaExige outro desenho ou agregada
Painel sem filtro de dataNenhuma partição salvaA tabela inteira, sempre

Onde o teto entra?

Cada painel oficial e cada exploração têm um teto de leitura por dia. Ao estourar, a query do painel não continua varrendo: cai para a agregada pronta ou avisa. Teto que só manda e-mail no fim do mês explica a fatura, não a evita.

Exploração livre na tabela crua é o furo mais comum. Uma pessoa abre “só para ver” sem filtro e lê o histórico. A exploração aponta para uma amostra ou para a agregada. A tabela de detalhe fica para a esteira e para a pergunta que declara a data.

Agregada pronta contra detalhe?

O painel da reunião lê uma tabela já somada no grão da pergunta: dia, canal, métrica. O detalhe fica para a investigação pontual, com filtro obrigatório. Servir detalhe de cinco anos para um gráfico de linha é pagar a investigação em toda abertura.

A agregada se testa contra o detalhe numa amostra, para não virar outro número. Ela não é um atalho de definição. É o mesmo contrato, guardado no grão em que a pergunta cabe. Se a reunião precisa de outro grão, nasce outra agregada, não um select estrela.

Como ler a fatura de um jeito útil?

A fatura do fornecedor mostra valor. A operação precisa ver leitura por painel, por usuário de serviço e por query repetida. Sem essa quebra, o debate é “o warehouse encareceu” e ninguém acha o gráfico que abre a tabela inteira a cada hora.

Query repetida sem cache ou sem agregada é desperdício estável. O painel que trinta pessoas abrem de manhã não precisa recalcular o detalhe trinta vezes. Materializar o recorte do dia, ou cachear com prazo curto, corta essa repetição sem mudar a métrica.

Um exemplo de painel que lia o ano

O gráfico de receita diária filtrava o mês na ferramenta, mas a query não empurrava o filtro para a partição. Cada abertura lia o histórico. A correção foi a partição por dia da nota, a query obrigada a declarar o intervalo e uma agregada diária para o gráfico. A investigação de uma nota continua no detalhe, com a data obrigatória.

A conta caiu porque a leitura caiu, não porque alguém negociou desconto. O teto do painel agora estoura se alguém tirar o filtro. Esse estouro é o alerta certo.

Checklist prático

A consulta fica pagável quando a pergunta e a forma de guardar o dado são a mesma.

  • Partição na coluna que a pergunta oficial filtra
  • Filtro empurrado para a partição, sem função em cima da data
  • Cluster só na segunda coluna que as queries caras repetem
  • Painel da reunião lendo agregada, não o detalhe de anos
  • Detalhe com filtro de data obrigatório
  • Teto de leitura por painel e por exploração
  • Fatura quebrada por painel, não só o total do fornecedor
  • Query repetida de manhã materializada ou com cache de prazo curto

Erros comuns

A fatura surpresa repete estes desenhos.

  • Particionar por um campo que nenhuma query filtra
  • Filtrar a data depois de transformá-la, lendo todos os pedaços
  • Servir o gráfico executivo em cima do detalhe cru
  • Deixar exploração livre sem amostra e sem teto
  • Cluster em muitas colunas porque “pode ser útil”
  • Olhar só o total da fatura, sem achar a query
  • Recalcular o mesmo mês a cada abertura, sem agregada
  • Tirar o filtro de data do painel e não ter teto que segure

Onde o limite entra na engenharia?

Em engenharia de dados, custo de consulta é parte do desenho da tabela. A pergunta oficial não deveria precisar ler o que já ficou para trás.

Perguntas frequentes

▸Partição resolve qualquer consulta cara?

Resolve a consulta que filtra o campo da partição. Pergunta sem data, ou com a data escondida numa função, continua lendo tudo. Primeiro olhe o filtro real. Depois guarde o dado nesse formato.

▸Vale cluster e partição juntos?

Vale quando existem dois filtros de verdade, como dia e canal. Um só já está na partição. Cluster sem o segundo filtro reorganiza arquivo e não muda a conta.

▸Agregada não cria outro número?

Cria se a fórmula divergir do detalhe. A agregada usa a métrica oficial e se confere por amostra contra o detalhe. Ela muda o grão guardado, não a definição. Gráfico que precisa de outro corte ganha outra agregada assinada.

▸Como limitar a exploração sem impedir o analista?

Com amostra grande o bastante para achar o caso, teto de leitura e caminho claro para o detalhe quando a data está declarada. O bloqueio não é “não investigar”. É não varrer cinco anos para um gráfico de linha.

▸Cache pode servir número velho?

Pode, se o prazo for longo demais. O cache do painel do dia vence no ritmo da carga. Cache eterno de uma métrica que mudou de regra é economia que vira erro. O prazo faz parte do desenho.

▸Quem olha a conta toda semana?

Quem publica o painel oficial, com a lista das queries que mais leram. A fatura do fornecedor chega tarde. A leitura por painel, na semana, ainda dá tempo de colocar o filtro de volta.