Arquitetura de dados para mid-market: escala sem overengineering

\"Arquitetura

Arquitetura de dados mid-market não é copiar slide de lakehouse enterprise — é encadeamento proporcional de fontes, warehouse, transformação e BI que escala com receita sem asfixiar o time. Empresas entre startup e enterprise vivem o purgatório: planilhas não bastam, stack completa assusta. O desenho certo evolui por estágio: ingestão confiável primeiro, modelo depois, self-service por último — sem comprar Snowflake + Fivetran + Looker + reverse ETL no dia one.

Stack proporcional por estagio de maturidade
Stack proporcional por estagio de maturidade

Quais estágios de maturidade existem no mid-market?

Estágio 1 — sobrevivência: GA4, ads nativos, CRM, planilhas export. Estágio 2 — consolidar: warehouse (BQ/Snowflake), ELT básico, primeiros marts marketing. Estágio 3 — confiar: dbt, testes, lineage, governança leve. Estágio 4 — escalar: reverse ETL, CDP selecionada, analytics ops maduro.

Pular estágio gera shelfware. Diagnosticar estágio honestamente define próximo investimento — não o próximo webinar de ferramenta.

Quais fontes conectar primeiro?

Prioridade: GA4 export BQ, plataformas ads spend, CRM/oportunidades, transações (Stripe/ERP/e-commerce). Depois: ESP, support, product analytics. Cada fonte nova exige owner e SLA de freshness.

Evite conectar 40 SaaS no Fivetran antes de modelar receita e CAC corretamente. Duas fontes bem modeladas valem mais que vinte tabelas raw órfãs.

  • GA4 → BQ export ligado
  • Ads spend unificado (Google/Meta/LinkedIn)
  • CRM deals/leads com estágio definido
  • Orders/revenue com transaction_id
  • Documentar freshness por fonte

Warehouse, lake ou híbrido para marketing?

Mid-market marketing analytics converge em cloud warehouse (BigQuery popular por GA4 nativo; Snowflake comum em stacks enterprise-like). Data lake puro sem SQL acessível frustra marketing. Lakehouse só faz sentido com volume/bronze-silver-gold disciplinado.

Comece BQ dataset marketing com staging + marts. Escale particionamento e dbt quando queries multiplicarem — não antes.

EstágioStack mínimaPróximo passoEvitar
1GA4 + sheetsBQ export + 1 mart receitaCDP enterprise
2BQ + Fivetran/ELTdbt + tests funil40 conectores
3dbt + LookerLineage + RBACKafka sem caso uso
4+ reverse ETLAnalytics ops 24/7Replatform tudo

BI, semantic layer e self-service?

Looker/LookML, Power BI dataset ou Metabase sobre marts aprovados — não sobre raw. Semantic layer define métrica uma vez (revenue, SQL, CAC). Marketing self-service em filtros de campanha/data, não SQL livre.

Dashboard sprawl mata confiança. Catálogo oficial: ≤15 tiles gold para operação; exploratório fica sandbox.

Reverse ETL e ativação: quando entrar?

Quando CRM/ads precisam de audiências ou scores do warehouse com consistência — ex.: LTV segment, churn risk, offline conversions reconciliadas. Census/Hightouch/Octolis scheduled batch frequentemente bastam.

Antes de reverse ETL, garanta identidade e metric definition no warehouse. Sync lixo amplifica lixo em todas plataformas.

Custos sob controle: o que monitorar?

BigQuery: bytes scanned, slot se reserva. Fivetran: MAR por connector. Looker: user licenses. Human: horas eng/analytics. TCO mensal review — arquitetura boa tem previsibilidade.

FinOps de dados mid-market: marts agregados, partition discipline, desligar sandbox, negociar retentão raw. Crescimento 2× tráfego não deve significar 5× custo se arquitetura escala linear.

  • Budget alert BQ por projeto
  • Inventário conectores ELT ativos
  • Custo por dashboard crítico (opcional)
  • Retenção raw 90d vs agregado 24m
  • Review semestral build vs buy

Como evoluir arquitetura sem big bang?

Roadmap trimestral: Q1 receita unificada, Q2 CAC/LTV cohort, Q3 product+marketing identity, Q4 governança/lineage. Cada entrega usable — não migration year-long. Mantenha legado read-only até cutover validado.

Contrate/consulte para acelerar estágio específico, não para desenhar castelo. DataScroll desenha proporcional: próximo degrau claro, critério de saída, donos internos capacitados.

Checklist prático

  • Estágio de maturidade diagnosticado honestamente
  • Fontes prioritárias conectadas (GA4, ads, CRM, orders)
  • Warehouse com staging + marts documentados
  • Semantic layer / métricas gold definidas
  • dbt ou equivalente com tests em KPIs norte
  • RBAC e custos monitorados mensalmente
  • Roadmap trimestral com entregáveis usable
  • Critério explícito antes de CDP/stream/reverse ETL

Erros comuns

  • Comprar CDP antes de identidade no warehouse
  • Conectar todo SaaS sem modelo de receita
  • Self-service SQL raw para marketing junior
  • Ignorar custo BQ até fatura surpresa
  • Big bang migration UA→GA4→BQ→Looker same quarter
  • Arquitetura desenhada por vendor, não por decisão negócio

Stack de dados crescendo no caos?

A DataScroll desenha arquitetura proporcional ao estágio — escala, governança e custo sob controle.

Desenhar arquitetura de dados Falar com a DataScroll

Perguntas frequentes

▸BigQuery ou Snowflake para marketing mid-market?

BQ se GA4 export e Google stack dominam; Snowflake se empresa já padronizou ou multi-cloud complexo. Ambos funcionam — consistência time importa mais que religião.

▸Preciso de CDP?

Quando identity resolution, audiências cross-channel e compliance exigem hub dedicado — rarely estágio 1–2. Marts + reverse ETL resolve muito antes.

▸Quantas ferramentas no stack ideal?

ELT + warehouse + transform (dbt) + BI + monitoramento. 5–7 ferramentas bem integradas batem 15 desconectadas. Adicione só com caso de uso claro.

▸Interno vs consultoria para arquitetura?

Consultoria acelera desenho e primeiros marts; interno mantém. Híbrido com transferência explícita evita dependência eterna.

▸Como saber se outgrew planilhas?

Sinais: >4h/semana reconciliando CSV, versões conflitantes de receita, impossível cohort LTV, medo de mudar tag. Warehouse vira prioridade.

▸dbt é obrigatório?

Não, mas SQL versionado com tests/documentação é. dbt é implementação madura disso — recomendado a partir estágio 3.

▸Como integrar product analytics na arquitetura?

Export Amplitude/Mixpanel/PostHog para warehouse ou sync eventos server-side. União via user_id no mart — não duplicar stack paralelo forever.

▸Como a DataScroll desenha arquitetura mid-market?

Diagnóstico de estágio, stack mínima viável, roadmap trimestral e governança proporcional — escala sem overengineering nem planilha eterna.