3 formas de reduzir custos de IA sem piorar as respostas
Você pode estar pagando para sua IA ler lixo.
Isso parece exagero, mas é uma forma bem direta de descrever um problema que aparece cada vez mais quando usamos agentes de IA para programar: muito token é gasto com informação que não ajuda a resolver a tarefa.
Não estou falando só de prompt grande. Estou falando de histórico de conversa crescendo sem controle, output gigante de terminal, logs repetidos, git diff bruto, schemas de ferramentas sendo reenviados, respostas longas demais e agentes que explicam o óbvio quando você só precisava de uma ação objetiva.
Token não é apenas custo financeiro. Token também é contexto, velocidade e qualidade da resposta. Quando o contexto fica cheio de ruído, o agente pode ficar mais caro, mais lento e menos confiável.
O problema não é só o tamanho do prompt
Uma chamada para um modelo de linguagem parece simples: você manda uma mensagem e recebe uma resposta. Mas, por baixo, existem várias coisas entrando na conta.
Tem tokens de entrada, tokens de saída, histórico da conversa, ferramentas disponíveis, schemas, chamadas de função, retries, outputs de terminal, arquivos lidos, diffs, logs e respostas intermediárias.
Em muitos modelos, os tokens de saída custam mais do que os tokens de entrada. Então o problema nem sempre é escrever um prompt grande. Às vezes o problema é pedir uma resposta enorme quando você precisava de três linhas.
Por isso, a primeira mudança de mentalidade é parar de tratar token apenas como detalhe técnico. Token é o painel da sua conta de luz. Se você não olha para usage, input tokens e output tokens, você está dirigindo sem painel.
1. Meça antes de acreditar
Tem muita dica de IA que parece verdade porque soa técnica.
“Prompt em inglês economiza token.”
“JSON é caro.”
“Output longo é o problema.”
“Ferramenta X corta 70%.”
Algumas dessas coisas podem ser verdade. Mas o jeito certo de lidar com isso não é transformar dica em religião. É medir.
Palavra não é token. Uma palavra pode virar vários tokens. Código pode custar mais do que parece. JSON e schema de ferramenta podem custar mais do que parecem. Idioma pode mudar a contagem dependendo do tokenizer.
Antes de mudar todo o seu fluxo de trabalho para escrever tudo em inglês, pegue exemplos reais do seu uso e compare em um tokenizer. Compare prompt em português e inglês. Compare resposta curta e resposta longa. Compare schema simples e schema inchado. Compare uma conversa curta e uma conversa cheia de histórico.
O objetivo não é virar contador profissional de token. É criar instinto.
Depois que você enxerga algumas vezes onde o custo aparece, começa a escrever melhor, pedir melhor e desenhar melhor o fluxo do agente.
2. Pare de jogar lixo de terminal dentro do contexto
Essa é uma das partes mais práticas para quem usa agente de programação.
Quando um agente roda git status, git diff, testes, linters, tree, Docker ou Kubernetes, ele pode receber uma quantidade enorme de texto.
Parte desse texto é útil. Mas muita coisa é ruído: boilerplate, linhas repetidas, logs duplicados, outputs gigantes e informações que fazem sentido para um humano bater o olho, mas não para um LLM raciocinar.
Uma ferramenta interessante nessa linha é o RTK, Rust Token Killer. A proposta dele é funcionar como um proxy de CLI que filtra e compacta saídas antes de elas chegarem ao contexto do agente.
No README, o projeto fala em redução de 60% a 90% em comandos comuns de desenvolvimento. Como toda métrica desse tipo, isso depende do projeto, do comando e do fluxo. Mas o princípio é muito bom: filtrar, agrupar, truncar e deduplicar.
Em vez de mandar tudo, mande o que importa.
Se o teste falhou, talvez o agente precise dos erros, não de 500 linhas de testes passando. Se o git diff é gigante, talvez ele precise primeiro de um resumo por arquivo. Se o log repete a mesma exceção 200 vezes, talvez ele precise saber que repetiu 200 vezes, não ler as 200 cópias.
Mesmo que você não use RTK, o princípio continua valendo: não alimente o agente com output bruto quando uma versão resumida, filtrada ou focada resolve.
3. Crie agentes e skills menos falantes
Durante um tempo, muita gente tentou resolver agentes de IA com instruções gigantescas.
“Você é um engenheiro sênior com 35 anos de experiência, especialista em arquitetura, clean code, DDD, SOLID, café coado e organização de gaveta.”
Instrução boa ajuda. Mas instrução grande demais também pode virar custo fixo.
Se a skill, o system prompt ou o arquivo de instruções é reenviado ou relido com frequência, ele entra na conta. E se ele manda o agente sempre explicar tudo, sempre justificar tudo, sempre criar plano enorme e sempre ser verboso, ele também aumenta output.
Para algumas tarefas, você não precisa de um agente palestrinha. Você precisa de um agente operacional.
Em vez de “explique detalhadamente tudo que você vai fazer”, talvez a regra seja: se a tarefa for simples, execute e responda com o resultado.
Em vez de “sempre mostre um plano completo”, talvez seja: planeje só quando houver risco, ambiguidade ou múltiplos passos.
Em vez de “leia tudo”, talvez seja: procure primeiro, leia só os arquivos necessários e evite despejar conteúdo irrelevante no contexto.
Isso não é deixar o agente burro. É dar restrição boa.
Bônus: use modelos mais baratos para tarefas corriqueiras
Nem toda tarefa precisa do melhor modelo disponível.
Gestão de arquivos, organização de repositório, renomear coisas, classificação simples, resumo mecânico de output, transformação de formato e tarefas repetitivas podem não exigir o modelo mais caro.
Uma habilidade cada vez mais importante vai ser roteamento de tarefa: saber quando usar o modelo caro, quando usar o modelo barato, quando usar um modelo local, quando usar uma ferramenta determinística e quando nem chamar IA.
Usar modelo premium para tudo é como usar uma Ferrari para comprar pão. Funciona, mas talvez não seja a melhor gestão de recurso.
O ponto não é economizar por economia
O objetivo não é virar pão-duro de token. O objetivo é trabalhar melhor.
Menos fricção. Menos custo. Menos contexto desperdiçado. Mais previsibilidade.
Quando todo mundo tiver acesso a ferramentas parecidas, o diferencial vai mudar. Não vai ser apenas quem usa IA. Vai ser quem sabe operar bem o sistema inteiro: modelo certo, tarefa certa, contexto certo, custo certo.
No fim, não é sobre ser contra IA, nem sobre usar IA para tudo. É sobre conhecer bem as ferramentas e usar bem.
Recursos citados
- Vídeo: https://youtu.be/1zmIhJ9wmIQ
- RTK: https://github.com/rtk-ai/rtk
- OpenAI Tokenizer: https://platform.openai.com/tokenizer
- Explicação visual de chamada de API com LLM: https://dev.to/jasmin/an-llm-api-call-in-4-gifs-33b1