Geo experimentos: testar mídia quando user-level não basta

Experimentos geo em mídia medem incremento real por região — úteis quando cookie e plataforma não dão causalidade limpa. Bem desenhados, separam lift de coincidência; mal desenhados, confundem sazonalidade local com vitória de campanha. O método pede mercados comparáveis, calibração prévia e disciplina para não “olhar o mapa” até achar verde.
Quando geo experimento é a ferramenta certa?
Quando você precisa de lift causal em canais difíceis de randomizar por usuário (OOH, TV, alguns formatos digitais amplos), quando privacy limita tracking, ou quando holdout de usuário é impraticável. Também serve para validar incremento de brand paid ou campanhas always-on.
Se o tráfego digital permite A/B limpo por usuário com sticky assignment, geo pode ser overkill. Escolha o desenho pela pergunta e pela unidade de interferência.
Como escolher mercados tratamento e controle?
Busque similaridade pré-período em KPI (vendas, leads, sessões), sazonalidade parecida, e isolamento razoável (menos spillover de mídia e deslocamento de clientes). Evite tratar capital e controle interior sem calibração — ou modele explicitamente.
Mais mercados pequenos e comparáveis costumam ser melhores que um único par frágil. Documente critérios de inclusão/exclusão antes do go-live.
- Séries históricas alinhadas
- Critérios de pareamento definidos a priori
- Mapa de spillover (viagem, mídia nacional, e-commerce)
- Power/sensibilidade: lift mínimo detectável
- Calendário sem choques conhecidos (feriado local, greve)
Quais desenhos geo são comuns e seus trade-offs?
Matched markets, synthetic control, geo switchback (ligar/desligar no tempo), e designs em grade. Matched markets são intuitivos; synthetic control usa peso de vários controles; switchback exige estabilidade operacional.
Não existe desenho universal. Há restrição de mídia (consegue geo-targetear?), de produto (estoque regional?) e de política interna (aceita holdout?).
| Desenho | Ideia | Força | Risco |
|---|---|---|---|
| Matched markets | Pares semelhantes T vs C | Simples de explicar | Mau pareamento |
| Synthetic control | Controle ponderado | Melhor ajuste pré-período | Overfit / opacidade |
| Switchback geo | Alterna no tempo | Menos mercados necessários | Efeito arrasto |
| Holdout nacional parcial | Regiões sem verba | Lift de always-on | Spillover e política |
| Ghost ads / PSA | Controle com placebo | Melhor isolamento digital | Custo e complexidade |
Como definir métrica, janela e spillover?
Métrica primária deve ser de negócio (receita, orders, SQL) agregável por geo. Janela inclui warm-up e cool-down se a marca tem latência. Spillover: mídia nacional, busca brand, deslocamento de compra entre cidades — ignore e o controle “contamina”.
Pré-registre análise: geos, métrica, modelo, período. Peeking no mapa até achar lift é o equivalente geo do peeking em A/B.
O que instrumentar na operação de mídia?
Targeting geográfico confiável, naming de campanhas por célula, exclusões claras, e log de compliance do desenho (ninguém “só um pouco” gasta no controle). Sem integridade de execução, a estatística não salva.
Alinhe estoque, preço e promo entre T e C. Diferença de oferta local mascara lift de mídia.
Como analisar e comunicar resultado com honestidade?
Reporte lift pontual, intervalo de incerteza, checagens de balanceamento pré-período e limites (spillover, eventos externos). Evite vender precisão falsa em amostra pequena de cidades.
Traduza para decisão: escalar, ajustar geo-mix, ou matar. Experimento sem decisão é custo de mídia com slides.
- Análise pré-registrada
- Checagem de pré-tendências
- Sensibilidade a exclusão de geos
- Documentação de violações de execução
- Recomendação de ação explícita
Quais erros matam credibilidade de geo tests?
Escolher controles depois de ver resultado, misturar campanhas nacionais no período, mudar preço só no tratamento, e generalizar lift de uma região atípica para o país. Também: tratar geo digital como se não houvesse VPN/localização imprecisa — conheça a precisão do targeting.
Comece menor, com runbook, antes de declarar “framework de incremento” da empresa.
Checklist prático
- Pergunta causal e MDE definidos antes do spend
- Pareamento ou método synthetic documentado a priori
- Métrica primária agregável por geo
- Plano de spillover e exclusões nacionais
- Integridade de execução (controle realmente limpo)
- Janelas de warm-up/cool-down se necessárias
- Análise pré-registrada sem peeking seletivo
- Decisão pós-teste registrada no playbook
Erros comuns
- Escolher mercados controle depois de ver quem “performou”
- Ignorar mídia nacional que vaza para o controle
- Mudar preço/promo só no grupo tratamento
- Declarar lift com poucas cidades e sem incerteza
- Peeking contínuo até o mapa ficar favorável
- Generalizar um geo atípico para toda a operação
- Não registrar violações de targeting durante o teste
Precisa provar lift sem dados user-level limpos?
A DataScroll desenha geo testes pragmáticos com regiões, métricas e leitura que o negócio consegue usar.