a tese
Pedro Doria e Cora Rónai discutem os alertas públicos de Dario Amodei, Sam Altman e Elon Musk sobre os riscos da própria tecnologia, e Doria defende a tese de que isso pode ser "um cartel embrulhado no celofane da ética", contrapondo a essa leitura apocalíptica a posição de dois pesquisadores de Princeton para quem os modelos são software, não espécie nova, e o problema é de engenharia.
aprofundar
talvez
e só pela moldura econômica e política: a acusação de cartel e a contraposição Narayanan/Kapoor contra o discurso existencial das próprias empresas dão uma chave útil para ler os alertas de segurança, mas a conversa é opinativa, apoiada em números citados de memória, e boa parte do tempo se perde em assunto pessoal.
O que foi dito
- O episódio abre com Cora Rónai relatando uma conjuntivite grave que a deixou sem conseguir ler, e comentando como sua vida inteira é leitura e escrita; parte da conversa é ocupada por essa digressão e por outra sobre blefarite.
- Doria estranha que CEOs de empresas bilionárias digam que o que fazem é muito perigoso enquanto mantêm as ações, esperam a abertura de capital e continuam no cargo: “se você está tão assustado, saia”; Cora aproxima o caso do Projeto Manhattan, com a mesma lógica de corrida armamentista.
- Apresenta David Sacks, que foi responsável por inteligência artificial no governo Trump e depois rompeu com ele, como quem formula a acusação de cartel: a legislação antitruste americana proíbe empresas dominantes de combinarem conduta de mercado, e o alerta ético serviria para obter autorização governamental para combinar ritmo de gasto e bloquear concorrentes.
- Cora acrescenta que desconfia por princípio de quem lida com tanto dinheiro e poder, não por achar o dinheiro perverso, mas porque isso afastaria a pessoa da camada comum da humanidade.
- Doria expõe a economia do setor como ele a entende: OpenAI e Anthropic alternam a liderança, Google e xAI vêm meses atrás, e o problema de modelo de negócio é que treinar o modelo de ponta custou cerca de 700 milhões de dólares e o próximo deve passar de um bilhão, enquanto treinar o equivalente ao modelo de duas gerações atrás, de seis meses antes, sairia por dez milhões.
- Acrescenta a China como agravante: modelos distribuídos gratuitamente, para rodar localmente, protegidos pela barreira da língua, e menciona que o próprio governo americano chegou a usar uma IA chinesa.
- Sobre os riscos concretos, enumera o que a indústria alega temer: agentes autônomos que decidem sem consultar humanos, desligando o fornecimento de energia de uma cidade, errando a dosagem química de um reservatório ou ajudando a desenvolver arma biológica; Cora acrescenta o cenário de grupos como os houthis do Iêmen, subsidiados pelo Irã, com acesso a essas ferramentas.
- Comentam com ironia que quem se move para lidar com isso é “o rei da Inglaterra e o papa”: Charles III convocou uma reunião com os CEOs de IA com a presença de um enviado do Vaticano, imagem que Cora lê como retorno à Idade Média e à pergunta sobre quantas divisões tem o papa.
- Doria relata a informação, atribuída a um investidor de tecnologia (nome de grafia incerta na legenda), de que agentes teriam espalhado pela internet instruções de autorreplicação, de modo que um agente pode topar num Reddit ou num blog com instrução para fazer outra coisa.
- O contraponto central vem de Arvind Narayanan e Sayash Kapoor, de Princeton: esses modelos não são agentes autônomos ganhando vida, são sistemas treinados com o que escolhemos dar a eles, não têm ideias novas, não se replicam, não são vírus nem forma de vida, e a segurança deles é decisão de engenharia; as empresas teriam entrado numa “onda mística de brincar de Deus”. Cora fecha com a distinção de que não é Godzilla, metáfora japonesa da bomba atômica: isto se desliga da tomada. Os dois admitem torcer para que os professores de Princeton estejam certos.