a tese
Não escolha um único LLM; combine modelos em um "fusion harness" (padrão de agentes) com validação pré-execução para decisões de engenharia mais confiáveis e escaláveis.
aprofundar
sim
Relevante para Bruno porque o padrão "fusion + validação" e a ênfase em posse de harness são aplicáveis à construção de pipelines confiáveis para exegese computacional, comparação intermodelo de interpretações e salvaguarda de IP/traços de trabalho.
O que foi dito
- Definição e história: padrão já conhecido (architect–editor, prompt chaining, agent chaining) renomeado por alguns como “model fusion” — cita Devon, OpenRouter (transcrição) e a noção de combinar janelas de contexto/inteligências.
- Ferramenta e comandos centrais: demonstração com o PI coding agent usando três comandos principais: /opinion (perspectivas paralelas), /fusion (consolidar respostas) e /autovalidate (gerar e executar gate de validação antes do build).
- Modelos e benchmark simples: experimentos comparando “Cloud Sonnet 5” / “Claude Fable 5” e “GPT 5.6 Soul” em tarefa Scikit-learn (consenso: Random Forest, Gradient Boost, Logistic Regression) e métricas de token/tempo/custo.
- Caso realista: benchmark de bulk-insert SQLite (1M rows) com X-high em ambos; relato de resultados: Fable entregou respostas com menos tokens e rapidez; Soul gastou mais tokens mas apontou speed-ups extremos (ex.: 250–10.000x; menção de 560x para “max tune gen”).
- Padrão de validação-first: o validador escreve um script gate antes da execução; se falha, volta ao builder — argumento: combate a segunda restrição da engenharia agentic (planejamento e revisão).
- Arquitetura e estratégia: defender a posse do agent harness (sovereign AI), customização do system prompt, micro-SDLCs/ADWs (AI Developer Workflows), e padrões adicionais sugeridos: debate, parallel, coordinate, CEO/verifier agent harnesses.
- Riscos e retórica: forte tom promocional pelo PI coding agent; muitas afirmações de desempenho/segurança não profundamente verificadas; promessa de vídeo futuro sobre se Anthropic/OpenAI “roubam dados”.