Geo experimentos: testar mídia quando user-level não basta

\"Geo

Experimentos geo em mídia medem incremento real por região — úteis quando cookie e plataforma não dão causalidade limpa. Bem desenhados, separam lift de coincidência; mal desenhados, confundem sazonalidade local com vitória de campanha. O método pede mercados comparáveis, calibração prévia e disciplina para não “olhar o mapa” até achar verde.

Regioes tratamento e controle
Regioes tratamento e controle

Quando geo experimento é a ferramenta certa?

Quando você precisa de lift causal em canais difíceis de randomizar por usuário (OOH, TV, alguns formatos digitais amplos), quando privacy limita tracking, ou quando holdout de usuário é impraticável. Também serve para validar incremento de brand paid ou campanhas always-on.

Se o tráfego digital permite A/B limpo por usuário com sticky assignment, geo pode ser overkill. Escolha o desenho pela pergunta e pela unidade de interferência.

Como escolher mercados tratamento e controle?

Busque similaridade pré-período em KPI (vendas, leads, sessões), sazonalidade parecida, e isolamento razoável (menos spillover de mídia e deslocamento de clientes). Evite tratar capital e controle interior sem calibração — ou modele explicitamente.

Mais mercados pequenos e comparáveis costumam ser melhores que um único par frágil. Documente critérios de inclusão/exclusão antes do go-live.

  • Séries históricas alinhadas
  • Critérios de pareamento definidos a priori
  • Mapa de spillover (viagem, mídia nacional, e-commerce)
  • Power/sensibilidade: lift mínimo detectável
  • Calendário sem choques conhecidos (feriado local, greve)

Quais desenhos geo são comuns e seus trade-offs?

Matched markets, synthetic control, geo switchback (ligar/desligar no tempo), e designs em grade. Matched markets são intuitivos; synthetic control usa peso de vários controles; switchback exige estabilidade operacional.

Não existe desenho universal. Há restrição de mídia (consegue geo-targetear?), de produto (estoque regional?) e de política interna (aceita holdout?).

DesenhoIdeiaForçaRisco
Matched marketsPares semelhantes T vs CSimples de explicarMau pareamento
Synthetic controlControle ponderadoMelhor ajuste pré-períodoOverfit / opacidade
Switchback geoAlterna no tempoMenos mercados necessáriosEfeito arrasto
Holdout nacional parcialRegiões sem verbaLift de always-onSpillover e política
Ghost ads / PSAControle com placeboMelhor isolamento digitalCusto e complexidade

Como definir métrica, janela e spillover?

Métrica primária deve ser de negócio (receita, orders, SQL) agregável por geo. Janela inclui warm-up e cool-down se a marca tem latência. Spillover: mídia nacional, busca brand, deslocamento de compra entre cidades — ignore e o controle “contamina”.

Pré-registre análise: geos, métrica, modelo, período. Peeking no mapa até achar lift é o equivalente geo do peeking em A/B.

O que instrumentar na operação de mídia?

Targeting geográfico confiável, naming de campanhas por célula, exclusões claras, e log de compliance do desenho (ninguém “só um pouco” gasta no controle). Sem integridade de execução, a estatística não salva.

Alinhe estoque, preço e promo entre T e C. Diferença de oferta local mascara lift de mídia.

Como analisar e comunicar resultado com honestidade?

Reporte lift pontual, intervalo de incerteza, checagens de balanceamento pré-período e limites (spillover, eventos externos). Evite vender precisão falsa em amostra pequena de cidades.

Traduza para decisão: escalar, ajustar geo-mix, ou matar. Experimento sem decisão é custo de mídia com slides.

  • Análise pré-registrada
  • Checagem de pré-tendências
  • Sensibilidade a exclusão de geos
  • Documentação de violações de execução
  • Recomendação de ação explícita

Quais erros matam credibilidade de geo tests?

Escolher controles depois de ver resultado, misturar campanhas nacionais no período, mudar preço só no tratamento, e generalizar lift de uma região atípica para o país. Também: tratar geo digital como se não houvesse VPN/localização imprecisa — conheça a precisão do targeting.

Comece menor, com runbook, antes de declarar “framework de incremento” da empresa.

Checklist prático

  • Pergunta causal e MDE definidos antes do spend
  • Pareamento ou método synthetic documentado a priori
  • Métrica primária agregável por geo
  • Plano de spillover e exclusões nacionais
  • Integridade de execução (controle realmente limpo)
  • Janelas de warm-up/cool-down se necessárias
  • Análise pré-registrada sem peeking seletivo
  • Decisão pós-teste registrada no playbook

Erros comuns

  • Escolher mercados controle depois de ver quem “performou”
  • Ignorar mídia nacional que vaza para o controle
  • Mudar preço/promo só no grupo tratamento
  • Declarar lift com poucas cidades e sem incerteza
  • Peeking contínuo até o mapa ficar favorável
  • Generalizar um geo atípico para toda a operação
  • Não registrar violações de targeting durante o teste

Precisa provar lift sem dados user-level limpos?

A DataScroll desenha geo testes pragmáticos com regiões, métricas e leitura que o negócio consegue usar.

Desenhar geo experimento Falar com a DataScroll

Perguntas frequentes

Geo experimento substitui A/B de site?

Não. A/B de site responde a mudanças de experiência por usuário; geo responde a incremento de mídia/mercado. São complementares.

Quantas cidades preciso?

Depende do ruído da métrica e do lift mínimo. Mais unidades comparáveis aumentam robustez, mas a qualidade do pareamento importa tanto quanto a quantidade. Sem cálculo de sensibilidade, você está adivinhando.

Funciona para e-commerce nacional com estoque único?

Sim, se conseguir geo-targetear mídia e atribuir pedidos por região com regra estável (IP, CEP, fatura). Spillover digital existe — modele e seja conservador.

Como lidar com sazonalidade regional?

Pareamento pré-período, controles sintéticos e evitar janelas com choques locais assimétricos. Se um feriado afeta só o tratamento, pause ou re-desenhe.

Posso usar só Google Trends / proxies?

Como diagnóstico auxiliar, talvez. Para decisão de budget grande, prefira KPI de negócio. Proxy fraco gera lift teatral.

Holdout permanente de regiões vale a pena?

Para always-on de marca, holdouts rotativos ou parciais ajudam a medir incremento contínuo. Custo político e de oportunidade precisam estar no cálculo.

Qual papel do data science?

Em desenhos synthetic/switchback, ajuda bastante. Em matched markets simples com boa disciplina, um analista sênior com playbook pode operar — desde que o método esteja escrito.

Como a DataScroll usa geo experiments?

Quando causalidade por usuário é fraca ou impossível: desenhando mercados, integridade de mídia e análise pré-registrada para falar de lift com limite claro — não com certeza fabricada.