a tese
Matthew Berman avalia o Gemini 3.8 Flash como um modelo genuinamente bom e barato, forte no benchmark de engenharia DeepSWE e no jurídico Harvey, mas com desempenho desigual entre benchmarks, o que o torna competitivo em nichos, não no topo geral.
aprofundar
talvez
Comentário de indústria ancorado em números, com tom empolgado típico do canal; útil como leitura do tabuleiro de modelos, mas os nomes e versões soam a período futuro e os benchmarks pedem conferência na fonte antes de citar.
O que foi dito
- Berman recapitula que o Google perdeu terreno para o ChatGPT, reagiu com o Gemini 2.5 Pro e depois emplacou modelos de bons benchmarks mas desempenho aquém; o 3.8 Flash chega poucas semanas após o 3.7.
- No DeepSWE (engenharia de software de longa duração, o benchmark que ele mais valoriza), o Flash marca 73,7%, praticamente empatado com o topo da concorrência, incluindo os modelos que ele chama de Claude Opus 5 e GPT 5.6.
- No GDPVal (trabalho de conhecimento real, com PDFs e dados) o Flash fica “apenas ok”, atrás dos concorrentes de ponta.
- Preço é o grande trunfo: 0,75 e 3,75 dólares por milhão de tokens de entrada e saída em tarifa introdutória até o fim de 2026 (depois dobra para 1,50 e 7,50), uma fração do custo dos rivais premium; Berman critica a Google por não destacar o preço real pós-introdução.
- Lidera o Harvey Legal Benchmark com 61,4%, o que leva Berman a dizer que hoje é o melhor modelo do planeta para trabalho jurídico, e o Humanity’s Last Exam com 55,9%.
- Em codificação, é 1º no Terminal Bench 2.1 (já saturado) com 89,4%, mas despenca para 19,1% no Terminal Bench 4.0, onde o topo domina com 51%; em uso agêntico de computador (OSWorld) faz 59%, atrás do líder com 75%.
- Há a variante Gemini 3.8 Flash Cyber, restrita a “trusted defenders”, que lidera um benchmark interno de cibersegurança testado só contra si mesmo.
- Nos testes práticos dele o modelo vai de razoável (biomas 3D, páginas de produto fracas) a excelente (mapa topográfico 3D interativo do Everest, recriação simplificada de Doom).
- Recomendação final: não é o melhor no geral, mas é imbatível pelo preço, sobretudo para escritórios de advocacia; sugere que empresas montem benchmarks internos em vez de trocar de modelo a cada lançamento.