Custo de LLM na automação: onde o modelo caro entra

Custo de LLM na automação explode quando todo passo chama o modelo grande. Classificar com regra, reservar o modelo caro para a exceção e medir a conta por fluxo muda o desenho. O preço unitário do token não salva um processo que chama o modelo à toa.
Baratear o modelo não é o primeiro controle. O primeiro controle é não chamá-lo. Extração de um campo com formato fixo, roteamento por palavra já conhecida e validação de obrigatório são regra. O modelo entra onde a regra não alcança, com um teto de gasto.

O que realmente compõe a conta?
A conta é chamada vezes tamanho do contexto vezes preço do modelo, mais a chamada que o retry repetiu. Um fluxo de dez passos que manda o histórico inteiro em cada passo custa dezenas de vezes o que parecia no teste de um exemplo.
Contexto inútil pesa tanto quanto modelo caro. Colar o manual inteiro, o e-mail com anexo e a conversa anterior “por garantia” aumenta token sem aumentar acerto. Mande o trecho que a tarefa usa. O resto fica no sistema, recuperado só se o passo pedir.
Qual passo merece o modelo grande?
Merece o modelo grande o passo em que a variação de linguagem muda a decisão e uma regra estoura em exceção demais. Não merece o passo cujo campo já tem máscara, lista ou cálculo. Também não merece o passo que uma pessoa vai revisar de todo jeito por alçada: aí um rascunho de modelo menor basta.
Separe os passos num quadro antes de escolher fornecedor. Se quase todos os passos estão na coluna “regra”, o projeto não é um problema de modelo. Se um passo está na coluna “modelo grande”, ele tem teto diário e fila quando o teto estoura.
| Tipo de passo | Caminho | Por quê |
|---|---|---|
| Campo com máscara ou lista | Regra | Não há linguagem para interpretar |
| Roteamento por assunto conhecido | Regra, modelo pequeno só no resto | A maior parte já tem palavra estável |
| Texto livre de cliente | Modelo menor, com corte | Variação real, efeito ainda interno |
| Exceção ambígua de alto valor | Modelo maior e parada humana | O erro custa mais do que a chamada |
| Retry do mesmo texto | Cache da resposta | Repetir a chamada não muda o caso |
Como colocar teto sem parar a operação no escuro?
Cada fluxo tem orçamento por dia e por caso. Ao chegar no teto, o fluxo não chama o modelo grande: cai para a regra, para o modelo menor ou para a fila humana, conforme o que foi desenhado. Estourar e continuar chamando “até o financeiro ver” é como não ter teto.
O alerta chega antes do corte, para o dono do fluxo, com o passo que mais gastou. Cortar no fim do mês, olhando a fatura, só explica o passado. O controle útil é diário e está no mesmo lugar em que o erro de negócio aparece.
Cache, lote e modelo menor mudam o desenho?
Cache serve quando a mesma entrada volta: a mesma política, o mesmo anúncio, o mesmo tipo de chamado. A chave do cache é a entrada relevante, com prazo curto o bastante para não servir resposta vencida. Cache eterno de uma política que mudou é economia que vira erro.
Lote ajuda classificação de volume, porque o preço fixo da chamada se dilui. Não ajuda o caso que o cliente espera agora. Modelo menor no primeiro passo, e modelo maior só quando a confiança cai, costuma cortar a conta sem esperar negociação comercial.
Como ler a fatura de um jeito que a operação entenda?
A fatura do fornecedor mostra valor. A operação precisa ver valor por fluxo, por passo e por caso. Sem essa quebra, o debate vira “a IA está cara” e ninguém acha o passo que manda o PDF inteiro a cada retry.
Inclua no painel o que não é token: hora de pessoa corrigindo erro do modelo, e chamada repetida por retry sem cache. Às vezes o token é barato e o retrabalho é a conta de verdade. Os dois entram na decisão de subir ou descer o modelo.
Um exemplo de fluxo que deixa de queimar modelo
Um e-mail de fornecedor pede atualização de cadastro. A regra vê se o remetente é conhecido e se o anexo é um tipo aceito. O modelo menor extrai os campos. Só o campo com confiança baixa vai para uma pessoa. O modelo grande não é chamado. O retry do mesmo anexo devolve a extração guardada, em vez de pagar de novo.
Antes desse corte, o fluxo mandava assunto, corpo, assinatura e anexo para o modelo maior em toda tentativa. A mudança não foi negociar desconto. Foi tirar do modelo o que a regra já sabia e parar de reenviar o mesmo arquivo.
Checklist prático
O custo fica gerenciável quando cada chamada tem um motivo e um teto.
- Passos separados em regra, modelo menor e modelo maior
- Contexto reduzido ao trecho que o passo usa
- Teto diário por fluxo, com queda para fila ou regra
- Alerta antes do corte, para o dono do fluxo
- Cache de entrada repetida, com prazo alinhado à vigência
- Retry não recoloca a mesma chamada no modelo
- Custo visível por fluxo e por passo, não só na fatura
- Retrabalho humano entra na conta, junto com o token
Erros comuns
A fatura surpresa quase sempre repete estes padrões.
- Chamar o modelo grande em passo que uma máscara já resolve
- Enviar manual, histórico e anexo inteiro em todo passo
- Retry sem cache, pagando a mesma leitura várias vezes
- Olhar o custo só na fatura mensal do fornecedor
- Não ter teto, e descobrir o pico pelo financeiro
- Usar modelo maior porque “a qualidade importa” sem amostra que mostre diferença
- Cache sem prazo, servindo política que já foi substituída
- Esconder retrabalho humano fora da conta do fluxo
Onde o teto entra no desenho?
Num projeto de inteligência artificial, o modelo caro é a exceção com orçamento. A regra continua dona do passo que já tem formato.