Custo de LLM na automação: onde o modelo caro entra

Um motor pequeno tratando cartões simples e um motor grande reservado a um documento de exceção, com moedas e medidor

Custo de LLM na automação explode quando todo passo chama o modelo grande. Classificar com regra, reservar o modelo caro para a exceção e medir a conta por fluxo muda o desenho. O preço unitário do token não salva um processo que chama o modelo à toa.

Baratear o modelo não é o primeiro controle. O primeiro controle é não chamá-lo. Extração de um campo com formato fixo, roteamento por palavra já conhecida e validação de obrigatório são regra. O modelo entra onde a regra não alcança, com um teto de gasto.

Medidor de custo quase no limite porque todos os cartões passaram pelo motor grande
A conta estoura quando o passo simples também chama o modelo caro.

O que realmente compõe a conta?

A conta é chamada vezes tamanho do contexto vezes preço do modelo, mais a chamada que o retry repetiu. Um fluxo de dez passos que manda o histórico inteiro em cada passo custa dezenas de vezes o que parecia no teste de um exemplo.

Contexto inútil pesa tanto quanto modelo caro. Colar o manual inteiro, o e-mail com anexo e a conversa anterior “por garantia” aumenta token sem aumentar acerto. Mande o trecho que a tarefa usa. O resto fica no sistema, recuperado só se o passo pedir.

Qual passo merece o modelo grande?

Merece o modelo grande o passo em que a variação de linguagem muda a decisão e uma regra estoura em exceção demais. Não merece o passo cujo campo já tem máscara, lista ou cálculo. Também não merece o passo que uma pessoa vai revisar de todo jeito por alçada: aí um rascunho de modelo menor basta.

Separe os passos num quadro antes de escolher fornecedor. Se quase todos os passos estão na coluna “regra”, o projeto não é um problema de modelo. Se um passo está na coluna “modelo grande”, ele tem teto diário e fila quando o teto estoura.

Tipo de passoCaminhoPor quê
Campo com máscara ou listaRegraNão há linguagem para interpretar
Roteamento por assunto conhecidoRegra, modelo pequeno só no restoA maior parte já tem palavra estável
Texto livre de clienteModelo menor, com corteVariação real, efeito ainda interno
Exceção ambígua de alto valorModelo maior e parada humanaO erro custa mais do que a chamada
Retry do mesmo textoCache da respostaRepetir a chamada não muda o caso

Como colocar teto sem parar a operação no escuro?

Cada fluxo tem orçamento por dia e por caso. Ao chegar no teto, o fluxo não chama o modelo grande: cai para a regra, para o modelo menor ou para a fila humana, conforme o que foi desenhado. Estourar e continuar chamando “até o financeiro ver” é como não ter teto.

O alerta chega antes do corte, para o dono do fluxo, com o passo que mais gastou. Cortar no fim do mês, olhando a fatura, só explica o passado. O controle útil é diário e está no mesmo lugar em que o erro de negócio aparece.

Cache, lote e modelo menor mudam o desenho?

Cache serve quando a mesma entrada volta: a mesma política, o mesmo anúncio, o mesmo tipo de chamado. A chave do cache é a entrada relevante, com prazo curto o bastante para não servir resposta vencida. Cache eterno de uma política que mudou é economia que vira erro.

Lote ajuda classificação de volume, porque o preço fixo da chamada se dilui. Não ajuda o caso que o cliente espera agora. Modelo menor no primeiro passo, e modelo maior só quando a confiança cai, costuma cortar a conta sem esperar negociação comercial.

Como ler a fatura de um jeito que a operação entenda?

A fatura do fornecedor mostra valor. A operação precisa ver valor por fluxo, por passo e por caso. Sem essa quebra, o debate vira “a IA está cara” e ninguém acha o passo que manda o PDF inteiro a cada retry.

Inclua no painel o que não é token: hora de pessoa corrigindo erro do modelo, e chamada repetida por retry sem cache. Às vezes o token é barato e o retrabalho é a conta de verdade. Os dois entram na decisão de subir ou descer o modelo.

Um exemplo de fluxo que deixa de queimar modelo

Um e-mail de fornecedor pede atualização de cadastro. A regra vê se o remetente é conhecido e se o anexo é um tipo aceito. O modelo menor extrai os campos. Só o campo com confiança baixa vai para uma pessoa. O modelo grande não é chamado. O retry do mesmo anexo devolve a extração guardada, em vez de pagar de novo.

Antes desse corte, o fluxo mandava assunto, corpo, assinatura e anexo para o modelo maior em toda tentativa. A mudança não foi negociar desconto. Foi tirar do modelo o que a regra já sabia e parar de reenviar o mesmo arquivo.

Checklist prático

O custo fica gerenciável quando cada chamada tem um motivo e um teto.

  • Passos separados em regra, modelo menor e modelo maior
  • Contexto reduzido ao trecho que o passo usa
  • Teto diário por fluxo, com queda para fila ou regra
  • Alerta antes do corte, para o dono do fluxo
  • Cache de entrada repetida, com prazo alinhado à vigência
  • Retry não recoloca a mesma chamada no modelo
  • Custo visível por fluxo e por passo, não só na fatura
  • Retrabalho humano entra na conta, junto com o token

Erros comuns

A fatura surpresa quase sempre repete estes padrões.

  • Chamar o modelo grande em passo que uma máscara já resolve
  • Enviar manual, histórico e anexo inteiro em todo passo
  • Retry sem cache, pagando a mesma leitura várias vezes
  • Olhar o custo só na fatura mensal do fornecedor
  • Não ter teto, e descobrir o pico pelo financeiro
  • Usar modelo maior porque “a qualidade importa” sem amostra que mostre diferença
  • Cache sem prazo, servindo política que já foi substituída
  • Esconder retrabalho humano fora da conta do fluxo

Onde o teto entra no desenho?

Num projeto de inteligência artificial, o modelo caro é a exceção com orçamento. A regra continua dona do passo que já tem formato.

Perguntas frequentes

▸Trocar para um modelo mais barato resolve a conta?

Só se o número de chamadas e o tamanho do contexto também estiverem sob controle. Um modelo barato chamado em todo passo, com o PDF inteiro, continua caro. Primeiro tire do modelo o que é regra.

▸Vale cachear toda resposta?

Vale cachear entrada repetida e estável, com prazo. Não vale cachear decisão que depende de dado que mudou no dia, nem resposta de uma política que tem versão nova. A chave do cache é a entrada que de fato define o caso.

▸Onde colocar o teto?

No fluxo, por dia e por caso, com uma saída quando estoura: regra, modelo menor ou fila humana. Teto que só avisa e continua chamando não controla a fatura. O dono do fluxo vê o alerta antes do corte.

▸Como justificar um modelo maior?

Com a mesma amostra de casos, comparando acerto e retrabalho, não com uma demonstração bonita. Se o modelo maior não muda a decisão no passo, ele não entra. O custo por caso faz parte dessa comparação.

▸Retry conta como custo à parte?

Conta, e costuma ser o furo. Se a resposta se perdeu e o fluxo chama o modelo de novo com o mesmo arquivo, a conta dobra sem caso novo. Cache e idempotência da chamada existem para isso.

▸Dá para prever a conta antes de ligar o fluxo?

Dá uma faixa: casos por dia, chamadas por caso, tamanho médio do contexto e preço. Rode uma semana em volume limitado e compare com a faixa. Se a realidade vier muito acima, o contexto ou o retry estão diferentes do desenho.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *