Arquitetura de dados para mid-market: escala sem overengineering

Arquitetura de dados mid-market não é copiar slide de lakehouse enterprise — é encadeamento proporcional de fontes, warehouse, transformação e BI que escala com receita sem asfixiar o time. Empresas entre startup e enterprise vivem o purgatório: planilhas não bastam, stack completa assusta. O desenho certo evolui por estágio: ingestão confiável primeiro, modelo depois, self-service por último — sem comprar Snowflake + Fivetran + Looker + reverse ETL no dia one.
Quais estágios de maturidade existem no mid-market?
Estágio 1 — sobrevivência: GA4, ads nativos, CRM, planilhas export. Estágio 2 — consolidar: warehouse (BQ/Snowflake), ELT básico, primeiros marts marketing. Estágio 3 — confiar: dbt, testes, lineage, governança leve. Estágio 4 — escalar: reverse ETL, CDP selecionada, analytics ops maduro.
Pular estágio gera shelfware. Diagnosticar estágio honestamente define próximo investimento — não o próximo webinar de ferramenta.
Quais fontes conectar primeiro?
Prioridade: GA4 export BQ, plataformas ads spend, CRM/oportunidades, transações (Stripe/ERP/e-commerce). Depois: ESP, support, product analytics. Cada fonte nova exige owner e SLA de freshness.
Evite conectar 40 SaaS no Fivetran antes de modelar receita e CAC corretamente. Duas fontes bem modeladas valem mais que vinte tabelas raw órfãs.
- GA4 → BQ export ligado
- Ads spend unificado (Google/Meta/LinkedIn)
- CRM deals/leads com estágio definido
- Orders/revenue com transaction_id
- Documentar freshness por fonte
Warehouse, lake ou híbrido para marketing?
Mid-market marketing analytics converge em cloud warehouse (BigQuery popular por GA4 nativo; Snowflake comum em stacks enterprise-like). Data lake puro sem SQL acessível frustra marketing. Lakehouse só faz sentido com volume/bronze-silver-gold disciplinado.
Comece BQ dataset marketing com staging + marts. Escale particionamento e dbt quando queries multiplicarem — não antes.
| Estágio | Stack mínima | Próximo passo | Evitar |
|---|---|---|---|
| 1 | GA4 + sheets | BQ export + 1 mart receita | CDP enterprise |
| 2 | BQ + Fivetran/ELT | dbt + tests funil | 40 conectores |
| 3 | dbt + Looker | Lineage + RBAC | Kafka sem caso uso |
| 4 | + reverse ETL | Analytics ops 24/7 | Replatform tudo |
BI, semantic layer e self-service?
Looker/LookML, Power BI dataset ou Metabase sobre marts aprovados — não sobre raw. Semantic layer define métrica uma vez (revenue, SQL, CAC). Marketing self-service em filtros de campanha/data, não SQL livre.
Dashboard sprawl mata confiança. Catálogo oficial: ≤15 tiles gold para operação; exploratório fica sandbox.
Reverse ETL e ativação: quando entrar?
Quando CRM/ads precisam de audiências ou scores do warehouse com consistência — ex.: LTV segment, churn risk, offline conversions reconciliadas. Census/Hightouch/Octolis scheduled batch frequentemente bastam.
Antes de reverse ETL, garanta identidade e metric definition no warehouse. Sync lixo amplifica lixo em todas plataformas.
Custos sob controle: o que monitorar?
BigQuery: bytes scanned, slot se reserva. Fivetran: MAR por connector. Looker: user licenses. Human: horas eng/analytics. TCO mensal review — arquitetura boa tem previsibilidade.
FinOps de dados mid-market: marts agregados, partition discipline, desligar sandbox, negociar retentão raw. Crescimento 2× tráfego não deve significar 5× custo se arquitetura escala linear.
- Budget alert BQ por projeto
- Inventário conectores ELT ativos
- Custo por dashboard crítico (opcional)
- Retenção raw 90d vs agregado 24m
- Review semestral build vs buy
Como evoluir arquitetura sem big bang?
Roadmap trimestral: Q1 receita unificada, Q2 CAC/LTV cohort, Q3 product+marketing identity, Q4 governança/lineage. Cada entrega usable — não migration year-long. Mantenha legado read-only até cutover validado.
Contrate/consulte para acelerar estágio específico, não para desenhar castelo. DataScroll desenha proporcional: próximo degrau claro, critério de saída, donos internos capacitados.
Checklist prático
- Estágio de maturidade diagnosticado honestamente
- Fontes prioritárias conectadas (GA4, ads, CRM, orders)
- Warehouse com staging + marts documentados
- Semantic layer / métricas gold definidas
- dbt ou equivalente com tests em KPIs norte
- RBAC e custos monitorados mensalmente
- Roadmap trimestral com entregáveis usable
- Critério explícito antes de CDP/stream/reverse ETL
Erros comuns
- Comprar CDP antes de identidade no warehouse
- Conectar todo SaaS sem modelo de receita
- Self-service SQL raw para marketing junior
- Ignorar custo BQ até fatura surpresa
- Big bang migration UA→GA4→BQ→Looker same quarter
- Arquitetura desenhada por vendor, não por decisão negócio
Stack de dados crescendo no caos?
A DataScroll desenha arquitetura proporcional ao estágio — escala, governança e custo sob controle.