Fine-tuning: quando o ajuste do modelo não é o caminho

Fine-tuning ajusta um modelo com exemplos para ele repetir um comportamento. Isso tem custo, prazo e um modelo novo para versionar. Na maior parte dos fluxos de operação, a tarefa se resolve com instrução clara, exemplos no prompt e, quando a resposta depende de documento, busca no texto vigente.
O ajuste fino parece sofisticado e esconde a regra dentro do peso do modelo. Quando a política muda, o modelo continua respondendo a versão antiga até alguém retreinar. Por isso o caminho padrão é não fazer fine-tuning até esgotar o desenho que dá para editar de dia.

Qual problema o fine-tuning realmente ataca?
Ataca estilo ou formato estável, difícil de obter só com instrução, quando existem exemplos suficientes e a resposta não depende de um documento que muda. Classificar um vocabulário fechado da empresa, num volume alto, com rótulo estável, pode ser candidato. Ainda assim, a amostra de regressão continua obrigatória.
Não ataca falta de fonte, regra nova da semana ou caso raro que ninguém rotulou direito. Nesses, o modelo ajustado inventa com mais confiança. O sintoma que levou ao pedido de treino costuma ser tarefa aberta ou contexto ausente, e treino não escreve a tarefa.
O que tentar antes de retreinar?
Fechar a tarefa: entrada, saída e recusa. Colocar dois ou três exemplos bons no prompt. Buscar o trecho vigente quando a resposta cita regra. Validar a saída com esquema. Medir na amostra fixa. Se a nota já fecha, o treino não tem o que melhorar que justifique um modelo paralelo.
Se a nota falha por falta de exemplo de um tipo, o primeiro conserto é incluir o tipo na amostra e no prompt. Fine-tuning com a mesma lacuna de rótulo só cristaliza o buraco. Dado de treino ruim produz modelo confiante no erro.
| Sintoma | Caminho | Por que não treinar ainda |
|---|---|---|
| Resposta sem fonte | Busca no documento vigente | O peso não acompanha a versão nova |
| Formato inválido | Esquema e exemplo | Parser é determinístico |
| Regra que muda | Prompt e ficha versionados | Retreino chega atrasado |
| Estilo estável e volume alto | Amostra medida, aí sim avaliar treino | Só depois de esgotar o prompt |
Qual custo entra na conta além da fatura?
Entra o conjunto rotulado, a versão do modelo, o teste de regressão a cada retreino e o risco de o modelo antigo continuar no ar num fluxo esquecido. Dois modelos para a mesma tarefa dividem o incidente: ninguém sabe qual atendeu o caso.
O modelo ajustado também não cita por que respondeu. Se a operação precisa de fonte, o treino não cria citação verdadeira. No máximo imita o estilo de uma citação. A busca continua necessária, e o treino não a substitui.
Como decidir com uma amostra, não com uma demo?
A mesma amostra fixa roda no prompt atual e no modelo ajustado. Publica o treino só se o caso crítico não piora e a nota sobe o bastante para pagar a manutenção. Demo com cinco exemplos escolhidos por quem treinou não é decisão.
O caso que não pode errar tem veto, como em qualquer troca de modelo. Fine-tuning que melhora a média e erra a recusa jurídica não entra. O número geral esconde exatamente o dano que a operação não aceita.
O que versionar se um dia o treino for adotado?
O conjunto, a data, a versão base e o resultado da amostra. O fluxo aponta para essa versão, com volta para o modelo anterior no mesmo dia. Caso atendido guarda qual versão respondeu. Sem isso, o ajuste vira um endpoint sem dono.
Retreino periódico só existe se a distribuição mudou e a amostra mostra ganho. Retreinar todo mês por calendário, sem nota melhor, acumula modelo. A política de aposentar a versão anterior faz parte da adoção.
Um exemplo de classificação interna
O time quer que o modelo classifique chamados no vocabulário da empresa. Os erros vêm de rótulo ambíguo e de classe rara sem exemplo. O conserto é fechar o glossário, rotular a classe rara e colocar exemplos no prompt, com a amostra de veto. A nota sobe. O fine-tuning sai da pauta.
Meses depois, se o volume justificar e o prompt estourar de tamanho, aí o conjunto já rotulado serve para avaliar um ajuste. A decisão usa a mesma amostra. O treino não é o primeiro experimento. É o que sobra quando o editável não cabe mais.
Checklist prático
O fine-tuning só entra na fila depois que prompt, busca e esquema foram medidos.
- Tarefa fechada em entrada, saída e recusa
- Exemplos no prompt testados na amostra fixa
- Busca no documento quando a resposta depende de regra vigente
- Esquema de saída antes de qualquer treino
- Diagnóstico de que o erro não é rótulo ruim
- Comparação na mesma amostra contra o desenho sem treino
- Veto do caso crítico, separado da média
- Se adotar: versão, volta no mesmo dia e caso apontando o modelo
Erros comuns
O modelo ajustado crava o erro quando a tarefa ainda estava aberta.
- Treinar para não precisar escrever a tarefa
- Usar fine-tuning no lugar de citar o documento vigente
- Rotular mal e achar que o treino corrige o glossário
- Aceitar demo de cinco exemplos como prova
- Ignorar o caso crítico porque a média subiu
- Manter dois modelos sem saber qual atendeu o caso
- Retreinar por calendário, sem ganho na amostra
- Não ter volta para o modelo anterior no dia da publicação
Onde o ajuste entra no projeto?
Num projeto de inteligência artificial, fine-tuning é exceção medida. A regra editável, o exemplo e a fonte vigente vêm antes do peso do modelo.