Radar

radar · IA & agentes

8 Predictions for the Era of Continual Learning

a tese

Dwarkesh Patel argumenta que o aprendizado contínuo (continual learning), em que os modelos atualizam pesos a partir das próprias sessões de trabalho em vez de reter contexto só em arquivos markdown, é pré-requisito para IA que faça trabalhos humanos inteiros, e disso ele deriva oito previsões sobre regulação, alinhamento, economia dos laboratórios e estrutura de mercado.

aprofundar

sim

é o Dwarkesh no seu melhor registro analítico sobre a fronteira, e as previsões sobre moat, aprisionamento por pesos personalizados e alinhamento de pesos não congelados rendem insight real e não hype para quem, como o Bruno, pensa em agentes e na economia dos laboratórios.

O que foi dito

  • Abre com a analogia do saxofone: uma fila infinita de alunos que só passam anotações escritas ao seguinte nunca produzirá um que toque de primeira, porque certas habilidades exigem acumular experiência no cérebro, e o mesmo valeria para IA que apenas escreve markdown entre sessões.
  • Primeira previsão: a regulação de segurança baseada em testar um modelo antes do deploy perde sentido se o modelo melhora todo dia a partir de milhões de sessões, e ele se diz preocupado em travar agora um regime regulatório arcaico, propondo inspeções de risco mensais ou trimestrais em vez de um “momento especial” entre treino e deploy.
  • Segunda previsão: o alinhamento técnico teria de mudar, pois a pesquisa atual foca em pesos congelados, e falta trabalho sobre como impedir que um sistema com atualização constante de pesos caia em jailbreaks, adote uma persona enganosa/maligna, ou receba backdoors injetados por usuários, aproximando o problema do alinhamento humano (comparação com criar filhos que aprendem de modo autodirigido).
  • Terceira previsão: a diversidade de “mentes de IA” aumentaria, pois hoje há menos de cinco modelos-base servidos a centenas de milhões de usuários e todos são parecidos por terem sido treinados nos mesmos dados, ao passo que aprender de experiências distintas (entre empresas e até entre instâncias do mesmo modelo) evitaria o “singleton monolítico” e o mode collapse atuais.
  • Quarta previsão: quando o deploy vira parte do treino, o retorno de estar na frente na corrida acelera, porque mais usuários fazendo trabalho mais complexo geram mais feedback integrável além da janela de sessão, tornando o melhor modelo ainda mais inteligente.
  • Quinta previsão: a pressão para lançar cedo os modelos mais fortes aumenta; ele cita que a Anthropic teria usado o “Mythos” internamente desde fevereiro e só o lançou ao público em junho, e afirma que um gap de quatro meses entre uso interno e externo seria insustentável sob aprendizado contínuo.
  • Sexta previsão: o aprendizado contínuo criaria o fosso (moat) que os laboratórios hoje não têm; ele lembra que perguntou a Dario Amodei no podcast como os laboratórios ganhariam dinheiro e Dario comparou a provedores de nuvem (Amazon, Google) com margens altas por causa dos custos de troca, e Dwarkesh nota que hoje nada o impede de começar um projeto no Codex, seguir no Cursor e terminar no Claude Code, mas com um modelo que aprende com você a troca passa a custar como demitir um funcionário com meses de contexto e treinar um estagiário novo.
  • Sétima previsão: como as empresas tentarão evitar esse aprisionamento, os laboratórios podem subsidiar usuários que deixem treinar em suas sessões (como já ocorre em ofertas a novos usuários de produtos de código, análogo ao Google dar busca de graça) e negar os melhores modelos a quem recusar, usando cenoura e porrete; ele reconhece a dificuldade técnica de fundir os vários “forks” de pesos de volta ao modelo principal, mas prevê que será resolvida.
  • Oitava previsão: o treino já tem economias de escala (amortiza custo entre mais usuários, e a receita dos laboratórios cresce mais rápido que o compute), e o aprendizado contínuo traria economia de escala também na inferência via batching; cita cálculo de que o batch ótimo para um modelo esparso como o DeepSeek V3 seria mais de 2.400 sequências concorrentes, e que servir pesos personalizados favorece organizações grandes, pois um usuário individual em batch size 1 sofre mais de duas ordens de magnitude de perda de eficiência (remete ao episódio com Ryne Pope sobre economia de inferência).
  • Encerra dizendo que é a narração de um post do próprio blog (menciona borokash.com, grafia incerta pela legenda automática).

Mais de Dwarkesh Patel

3 no radar
11/08Ryan Greenblatt – What happens once AI can automate AI research?aprofundar: sim03/08Why smarter AI models could drive up compute prices 10xaprofundar: talvez