Radar

radar · IA & agentes

Why smarter AI models could drive up compute prices 10x

a tese

Dwarkesh Patel argumenta que, se a receita dos labs de IA seguir crescendo 10x ao ano enquanto o compute só cresce 3x, o preço do compute tende a disparar (potencialmente 10-15x), porque modelos mais inteligentes monetizam melhor o mesmo hardware.

aprofundar

talvez

raciocínio econômico denso e original sobre a economia dos labs (interessa ao Bruno por IA/agentes e pela menção recorrente à Anthropic/Claude); é opinião especulativa, mas bem estruturada.

O que foi dito

  • Narra um post do próprio blog: a receita da Anthropic cresceu 10x ao ano por três anos (US$ 9 bi no ano passado, projeta US$ 100-150 bi este ano); manter o ritmo exigiria US$ 1 tri no ano que vem, conclusão “selvagem” que depende das capacidades da IA.
  • O compute dos labs cresce só 3x ao ano; para fechar o vão com receita 10x, uma de três coisas precisa ocorrer (ou uma combinação): margens subirem, o preço do compute subir, ou a fração gasta em inferência (vs. treino) subir; e diz que as três já ocorrem.
  • Dados: as margens de inferência da Anthropic teriam ido de 40% (meados do ano passado) para mais de 80%; o preço spot do compute está 40% acima do vale de fevereiro; a parcela de inferência da OpenAI teria ido de 25% (2024, segundo a Epoch) para 50% ou mais.
  • Os labs resistem a gastar mais em inferência porque isso sinaliza que viraram “provedor de nuvem” e que o progresso estagnou; eles apostam que em um ano terão modelos que farão os atuais parecerem “péssimos”.
  • Restam então duas válvulas de escape: margens maiores (acima de 90%, que ele acha improvável não serem competidas) ou o preço do compute subindo.
  • Estudo de caso: o Google paga US$ 900 mi/mês por 110 mil GPUs (GB200/GB300) alugadas da SpaceX, 2x o preço spot; conclusão-chave: se um engenheiro de software humano rodasse num H100, aos preços atuais o H100 deveria alugar por mais de US$ 250 mil/ano (15x o spot), sem contar que a IA trabalha noites e fins de semana.
  • Discute se 10 milhões de engenheiros extras derrubariam o valor marginal (a falácia do “lump of labor”); pela economia padrão, imigração qualificada não derruba salários no longo prazo, então o valor marginal do compute permaneceria altíssimo.
  • Efeito Alchian-Allen: com compute caro, é burro usar modelo fraco ou ineficiente; os labs que treinarem o modelo mais eficiente cobrarão prêmio, e aplicações de “AI slop” seriam precificadas para fora do mercado.
  • Compara com a aposta Simon-Ehrlich sobre escassez: admite que sua análise pode errar como erraram os malthusianos, mas argumenta que a oferta de compute é muito menos elástica que a extração de metais.
  • Detalha o 3x: 1,4x da Lei de Moore, 1,2x de novas fabs (gargalo das máquinas EUV da ASML até 2030) e 1,8x de wafers migrando de smartphones/PCs para IA (o nó N3 da TSMC indo de 60% para 86%); nenhum acelerável.
  • Ressalva: no longo prazo (pós-singularidade, com robôs fabricando chips) o compute barateia; e a economia de escala do modelo (custo único de treino compartilhado por todos os usuários) o preocupa pela concentração de poder.

Mais de Dwarkesh Patel

3 no radar
11/08Ryan Greenblatt – What happens once AI can automate AI research?aprofundar: sim07/088 Predictions for the Era of Continual Learningaprofundar: sim