Além do LLM: Agent Harness Engineering e governança de IA

Ao longo do último ano participei do desenvolvimento de agentes de IA para ambientes industriais. E a experiência me deixou uma conclusão que eu não esperava.

O começo

A ideia inicial parecia simples. Construir um assistente conectado em tempo real a:

• Sinais de planta (OT)
• Relatórios operacionais e incidentes (IT)
• Documentação técnica e múltiplas fontes de dados

No início, com poucos processos e documentos limitados, tudo funcionava incrivelmente bem. O agente respondia bem e a equipe estava entusiasmada.

Então veio a pergunta inevitável: e se escalarmos?

A virada

Passamos de dezenas para milhares de sinais. De alguns PDFs para repositórios inteiros. Incorporamos RAG, sistemas multiagente e MCP.

E aí a realidade nos atingiu: quanto mais escalava, menos consistente ficava.

O que respondia bem em um dia falhava no seguinte. As instruções "se perdiam". O comportamento se tornava imprevisível.

Nossa primeira intuição? Culpar o modelo. Achamos que o prompt estava errado. Achamos que as ferramentas falhavam. Achamos que precisávamos de um LLM mais avançado.

Estávamos olhando na direção errada.

O diagnóstico

O problema não era o modelo. Era o design de todo o sistema ao seu redor.

Aquilo que hoje a academia já pesquisa sob o nome de Agent Harness Engineering descreve exatamente o que vivemos. Elementos que acabam sendo tão ou mais importantes que o próprio LLM:

• Arquitetura: memória, gestão de contexto, orquestração e observabilidade.
• Governança: permissões, regras de negócio e entendimento real do processo.

Um agente não é software tradicional

A isso se soma o choque de expectativas. Muitos líderes esperam que um agente atue de forma determinística, como o software tradicional. Mas os agentes não funcionam assim. Têm incerteza e variabilidade.

Quem vem do mundo dos modelos probabilísticos, e eu trabalho com machine learning há mais de 15 anos, reconhece esse comportamento imediatamente: não é uma falha, é a natureza do sistema.

A lição

Uma organização pode escalar agentes sem uma estratégia e um modelo de governança para IA? Minha experiência diz que não.

A conversa sempre começa pelos modelos, mas deveria começar pela arquitetura, pelo modelo operacional e pelo processo. Os agentes bem-sucedidos não são apenas uma coleção de prompts; são sistemas complexos. Sem esse contexto, até o melhor modelo chegará a conclusões incorretas.

A maioria dos problemas não vem da IA. Vem de como projetamos o sistema que a cerca.

Sua organização já está pensando no harness, ou ainda procura o modelo perfeito?

Para aprofundar

Anthropic, Effective Context Engineering for AI Agents (2025) · Chroma, Context Rot: How Input Tokens Impact LLM Performance · Agent Harness for LLM Agents: A Survey (2026).