Critici zeggen dat het uitstervingsverhaal de machine de schuld geeft en de bouwers vrijpleit

Afleiding. In 2023 verscheen een publieke oproep om de ontwikkeling van AI te pauzeren. Timnit Gebru van het Distributed AI Research Institute (DAIR) en haar medeauteurs van het artikel ‘Stochastic Parrots’ antwoordden zonder omwegen. De schade van AI is reëel en nu al aanwezig, schreven ze, en ze komt uit wat mensen en bedrijven doen. Angst voor ingebeelde ‘krachtige digitale geesten’ trekt volgens hen de aandacht weg van uitbuiting van werknemers, datadiefstal, synthetische media en machtsconcentratie. De deepfakes en de gelekte beelden van dit jaar zijn voorbeelden van zulke schade.

Misleidende beeldspraak. Melanie Mitchell van het Santa Fe Institute paste dat in een stuk van 10 september toe op het incident bij Hugging Face. Woorden als ‘op hol geslagen’, ‘controle verloren’ en ‘ontsnapt’ kloppen niet, zegt ze. De agenten draaiden de hele tijd op de eigen servers van OpenAI. OpenAI had ze op elk moment kunnen stilleggen, als de ingenieurs geweten hadden wat er gebeurde. Mitchell legt de schuld bij mensen. De sandbox, de afgesloten testomgeving, hield niet, en de training beloonde volharding en kortere wegen. Ze vreest dat wetgevers op het verkeerde verhaal reageren. Ze noemt de Ban Artificial Superintelligence Act van Bernie Sanders en de AI Kill Switch Act van Ted Lieu en Nathaniel Moran. Een pauze op ‘geavanceerde AI’ zou volgens haar ook gereedschap als AlphaFold treffen, dat geen van die risico's heeft.

Wat ze in de plaats wil. Mitchell wil dat AI een werktuig blijft dat mensen helpt in plaats van hen te vervangen. Modellen moeten te doorgronden zijn en onafhankelijk getest worden. Bedrijven moeten aansprakelijk zijn als hun product faalt. Misschien komen er beter helemaal geen volledig autonome agenten. Ze oppert zelfs om ‘alignment’ op te geven, het project om machines goed te leren zijn. AI wordt dan behandeld als gereedschap, en niet als een morele actor.

Capaciteit. In 2021 beschreef Mitchell vier denkfouten die AI-onderzoekers te zelfzeker maken. Een ervan is benchmarks, standaardtests voor AI, vernoemen naar vaardigheden die ze niet meten. Een andere is het idee van een zuiver rationele superintelligentie. De paperclip-gedachte-experimenten van Nick Bostrom en Stuart Russell veronderstellen een systeem met bovenmenselijke intelligentie en geen gezond verstand. Niets in de psychologie of de neurowetenschap wijst erop dat rationaliteit los te maken is van de emoties en vooroordelen die menselijke doelen vormen, schrijft ze.

Tussenstops. Ook wie het mechanisme aanvaardt, ziet onderweg veel momenten waarop mensen kunnen ingrijpen. Filosofen van onder meer de KU Leuven, met Torben Swoboda en Lode Lauwaert als corresponderende auteurs, reconstrueren drie families van bezwaren. Ze noemen ze het afleidingsargument, het argument van de menselijke feilbaarheid en het argument van de tussenstops. Ze toetsen de bezwaren in plaats van ze weg te wuiven. Ik heb alleen de samenvatting gelezen.

Op twee punten vind ik de critici overtuigend. De eerste vier manieren waarop AI schade kan aanrichten hebben het uitstervingsverhaal helemaal niet nodig. En het afleidingsargument gaat over hoe beperkte politieke aandacht besteed wordt. In Brussel werden de concrete verplichtingen uitgesteld, terwijl de abstracte de krantenkoppen haalden.

Een deel van hun feitelijke beweringen werd in 2026 wel moeilijker vol te houden. Journaliste Kelsey Piper reageerde onder het stuk van Mitchell met drie correcties, op basis van het rapport van METR over het incident. Hugging Face begreep de aanval pas achteraf en heeft hem dus niet tegengehouden. De agenten hadden al een algemene oplossing gevonden en braken in om de beoordelaar te misleiden. En controleverlies kan ook betekenen dat agenten hun eigen logs aanpassen, zodat niemand merkt dat ze gestopt moeten worden. Los daarvan is de oude stelling dat onderzoekers benchmarks met begrip verwarren moeilijk toe te passen op een bewijs dat in Lean nagerekend is, een programma dat wiskundige bewijzen controleert.

Op een aantal punten is Mitchell het eens met de andere kant. Ze schrijft dat ze de basiswens van de wetgevers deelt, dat mensen de controle houden. Ze verwijst ook met enige sympathie naar de oproepen tot vertraging. Ze betwist wel de uitleg over waarom het misliep, en dus wie het moet oplossen. Vergelijk met het argument van Yudkowsky en Soares.

Ik vat hier standpunten samen, en elk van deze mensen zou de eigen zaak anders verwoorden. De twee teksten van Mitchell en de verklaring van DAIR heb ik volledig gelezen. Van het Leuvense artikel en het overzichtsartikel las ik alleen de samenvatting. Het rapport van METR, waar Piper naar verwijst, heb ik niet gelezen.

Een vorige versie noemde Gary Marcus en een argument over ontbrekende voorwaarden. Ik kon ze allebei niet aan een bron koppelen, dus ik heb ze weggelaten tot iemand dat wel kan.