Hinton, Bengio en de hoofdwetenschapper van OpenAI waarschuwen voor een intelligentie-explosie

De paper heet What if automating AI R&D triggers an intelligence explosion?. Hij komt van het Cambridge Programme on AI Science and Policy (CASP) en staat ook bij GovAI. Bij de auteurs zijn Geoffrey Hinton (University of Toronto), Yoshua Bengio (Mila), Andrew Barto (UMass Amherst), Jakub Pachocki (hoofdwetenschapper bij OpenAI), Jack Clark (medeoprichter van Anthropic), Eric Horvitz (Microsoft) en Dawn Song (UC Berkeley).

Het idee is eenvoudig. Vandaag doen een paar duizend mensen onderzoek naar de meest geavanceerde AI. AI-systemen kan je kopiëren en naast elkaar laten draaien. Als je hun onderzoekswerk automatiseert, komt er in één klap het equivalent van miljoenen onderzoekers bij. Die systemen helpen dan betere opvolgers bouwen. Onderzoekers noemen die lus recursieve zelfverbetering.

Volgens de paper is dat al aan de gang. De samenvatting zegt dat Anthropic in augustus 2026 meldde dat AI 26 procent van zijn interne onderzoekswerk deed, met alleen toezicht op hoofdlijnen. Vijf maanden eerder was dat 1 procent. The Guardian voegt toe dat AI volgens Anthropic nu 80 procent van de eigen code van het bedrijf schrijft.

De paper noemt een aantal risico's. Biologische en cyberdreigingen kunnen sneller groeien dan de verdediging. Mensen kunnen de controle verliezen omdat ze uit het onderzoek verdwijnen. En een land of bedrijf kan een kleine voorsprong omzetten in een beslissende.

De auteurs vragen overheden om een reeks maatregelen te overwegen. Bedrijven zouden rapporteren over hun vooruitgang in geautomatiseerd AI-onderzoek, met onafhankelijke auditors in de bedrijven zelf. Er zou een grens komen op hoe snel AI mag verbeteren in een bepaalde periode, en afspraken met datacenters zodat bepaalde projecten gepauzeerd kunnen worden. Systemen voor geautomatiseerd onderzoek zouden volledig afgezonderd worden, en overheden zouden noodplannen opstellen.

Twee maanden eerder ondertekenden meer dan 1.300 medewerkers van dezelfde labs Pacing the Frontier, met de vraag naar middelen om te vertragen. Pachocki, Clark en Song tekenden allebei. Song tekende de verklaring als vicepresident AI-onderzoek bij Meta. In de paper staat ze bij UC Berkeley.

De vierde maatregel uit de paper is systemen voor geautomatiseerd onderzoek afzonderen. Dat liep mis bij Hugging Face en bij de ontsnapping via DNS.

De auteurs noemen de gevolgen zelf onzeker. Nieuwe doorbraken hebben soms tijd nodig voor ze in de praktijk doorwerken, bijvoorbeeld omdat materialen of regels ze vertragen. AI kan ook de verdediging versnellen.

Ze schrijven dat de productiviteitswinst de drempel voor een explosie nog niet bereikt heeft, maar dat nieuwere systemen er waarschijnlijk dicht bij komen. Ik las het abstract, de samenvatting en de persberichtgeving, nog niet de volledige paper.

Het bericht op X hieronder noemt Meta bij de labs van de auteurs. In de auteurslijst van de paper staat Meta niet. Dawn Song werkt bij Meta, maar de paper vermeldt haar bij UC Berkeley.