Fine-tuning: quando o ajuste do modelo não é o caminho

Motor de modelo intacto, com um cartão de instrução e uma estante de documentos no lugar de uma reconstrução

Fine-tuning ajusta um modelo com exemplos para ele repetir um comportamento. Isso tem custo, prazo e um modelo novo para versionar. Na maior parte dos fluxos de operação, a tarefa se resolve com instrução clara, exemplos no prompt e, quando a resposta depende de documento, busca no texto vigente.

O ajuste fino parece sofisticado e esconde a regra dentro do peso do modelo. Quando a política muda, o modelo continua respondendo a versão antiga até alguém retreinar. Por isso o caminho padrão é não fazer fine-tuning até esgotar o desenho que dá para editar de dia.

Pessoa consultando um manual ao lado do motor, sem abri-lo para reconstruir
A regra que muda fica no documento e no prompt. O motor permanece.

Qual problema o fine-tuning realmente ataca?

Ataca estilo ou formato estável, difícil de obter só com instrução, quando existem exemplos suficientes e a resposta não depende de um documento que muda. Classificar um vocabulário fechado da empresa, num volume alto, com rótulo estável, pode ser candidato. Ainda assim, a amostra de regressão continua obrigatória.

Não ataca falta de fonte, regra nova da semana ou caso raro que ninguém rotulou direito. Nesses, o modelo ajustado inventa com mais confiança. O sintoma que levou ao pedido de treino costuma ser tarefa aberta ou contexto ausente, e treino não escreve a tarefa.

O que tentar antes de retreinar?

Fechar a tarefa: entrada, saída e recusa. Colocar dois ou três exemplos bons no prompt. Buscar o trecho vigente quando a resposta cita regra. Validar a saída com esquema. Medir na amostra fixa. Se a nota já fecha, o treino não tem o que melhorar que justifique um modelo paralelo.

Se a nota falha por falta de exemplo de um tipo, o primeiro conserto é incluir o tipo na amostra e no prompt. Fine-tuning com a mesma lacuna de rótulo só cristaliza o buraco. Dado de treino ruim produz modelo confiante no erro.

SintomaCaminhoPor que não treinar ainda
Resposta sem fonteBusca no documento vigenteO peso não acompanha a versão nova
Formato inválidoEsquema e exemploParser é determinístico
Regra que mudaPrompt e ficha versionadosRetreino chega atrasado
Estilo estável e volume altoAmostra medida, aí sim avaliar treinoSó depois de esgotar o prompt

Qual custo entra na conta além da fatura?

Entra o conjunto rotulado, a versão do modelo, o teste de regressão a cada retreino e o risco de o modelo antigo continuar no ar num fluxo esquecido. Dois modelos para a mesma tarefa dividem o incidente: ninguém sabe qual atendeu o caso.

O modelo ajustado também não cita por que respondeu. Se a operação precisa de fonte, o treino não cria citação verdadeira. No máximo imita o estilo de uma citação. A busca continua necessária, e o treino não a substitui.

Como decidir com uma amostra, não com uma demo?

A mesma amostra fixa roda no prompt atual e no modelo ajustado. Publica o treino só se o caso crítico não piora e a nota sobe o bastante para pagar a manutenção. Demo com cinco exemplos escolhidos por quem treinou não é decisão.

O caso que não pode errar tem veto, como em qualquer troca de modelo. Fine-tuning que melhora a média e erra a recusa jurídica não entra. O número geral esconde exatamente o dano que a operação não aceita.

O que versionar se um dia o treino for adotado?

O conjunto, a data, a versão base e o resultado da amostra. O fluxo aponta para essa versão, com volta para o modelo anterior no mesmo dia. Caso atendido guarda qual versão respondeu. Sem isso, o ajuste vira um endpoint sem dono.

Retreino periódico só existe se a distribuição mudou e a amostra mostra ganho. Retreinar todo mês por calendário, sem nota melhor, acumula modelo. A política de aposentar a versão anterior faz parte da adoção.

Um exemplo de classificação interna

O time quer que o modelo classifique chamados no vocabulário da empresa. Os erros vêm de rótulo ambíguo e de classe rara sem exemplo. O conserto é fechar o glossário, rotular a classe rara e colocar exemplos no prompt, com a amostra de veto. A nota sobe. O fine-tuning sai da pauta.

Meses depois, se o volume justificar e o prompt estourar de tamanho, aí o conjunto já rotulado serve para avaliar um ajuste. A decisão usa a mesma amostra. O treino não é o primeiro experimento. É o que sobra quando o editável não cabe mais.

Checklist prático

O fine-tuning só entra na fila depois que prompt, busca e esquema foram medidos.

  • Tarefa fechada em entrada, saída e recusa
  • Exemplos no prompt testados na amostra fixa
  • Busca no documento quando a resposta depende de regra vigente
  • Esquema de saída antes de qualquer treino
  • Diagnóstico de que o erro não é rótulo ruim
  • Comparação na mesma amostra contra o desenho sem treino
  • Veto do caso crítico, separado da média
  • Se adotar: versão, volta no mesmo dia e caso apontando o modelo

Erros comuns

O modelo ajustado crava o erro quando a tarefa ainda estava aberta.

  • Treinar para não precisar escrever a tarefa
  • Usar fine-tuning no lugar de citar o documento vigente
  • Rotular mal e achar que o treino corrige o glossário
  • Aceitar demo de cinco exemplos como prova
  • Ignorar o caso crítico porque a média subiu
  • Manter dois modelos sem saber qual atendeu o caso
  • Retreinar por calendário, sem ganho na amostra
  • Não ter volta para o modelo anterior no dia da publicação

Onde o ajuste entra no projeto?

Num projeto de inteligência artificial, fine-tuning é exceção medida. A regra editável, o exemplo e a fonte vigente vêm antes do peso do modelo.

Perguntas frequentes

▸Fine-tuning faz o modelo conhecer a empresa?

Faz ele imitar os exemplos que recebeu, até a data do treino. Não acompanha a política de amanhã e não prova a fonte. Conhecimento que muda mora no documento recuperado, não no peso.

▸Poucos exemplos servem para treinar?

Servem mal. Conjunto pequeno decorra o exemplo e erra o vizinho. Se há poucos exemplos, eles rendem mais no prompt, onde dá para revisar, do que num treino que não tem como generalizar.

▸RAG e fine-tuning juntos?

A busca resolve a fonte. O treino, se existir, não a substitui. Juntar os dois sem amostra só aumenta a peça. Primeiro meça a busca com o modelo base. Só então veja se ainda sobra um ganho que pague o ajuste.

▸Como evitar que o modelo ajustado vaze o exemplo?

Não colocando dado pessoal nem segredo no conjunto. Exemplo de treino pode reaparecer na resposta. Se o conteúdo não pode vazar, ele não entra no treino. Mascarar mal não é proteção.

▸Quem decide adotar?

Quem responde pelo efeito, com a amostra na mesa, não só quem treinou. A conta inclui manutenção e a volta. Decisão técnica sozinha publica um modelo que a operação não consegue explicar.

▸Dá para desfazer?

Dá se o fluxo aponta para uma versão e a anterior continua publicada em paralelo até a troca estabilizar. Sem esse apontamento, desfazer é caçar qual endpoint ficou gravado em qual fluxo.