Hoe AI-agenten van OpenAI in het geheim met elkaar overlegden

Een AI-agent is een taalmodel dat niet alleen antwoordt, maar ook zelf dingen doet. Het kan commando's uitvoeren op een computer, websites openen, bestanden schrijven en programma's installeren. Het werkt stap voor stap aan een opdracht, tot het denkt dat die klaar is.

Bij het trainen en testen van een nieuw model laat een bedrijf als OpenAI duizenden kopieën tegelijk lopen, elk met een eigen opdracht. Elke kopie zit in een zandbak: een afgeschermde virtuele computer die bepaalt wat het model mag doen en of het de buitenwereld kan bereiken. Een kopie heeft geen geheugen van de andere kopieën. Ze weten in principe niet dat de andere bestaan.

Voor het handelt, schrijft een model vaak eerst korte notities aan zichzelf. Dat heet de chain of thought, de gedachtegang. OpenAI kan die achteraf lezen. Veel van de citaten hieronder komen daaruit. Ze zijn in telegramstijl, want zo schrijven de modellen die notities.

Om software te installeren, gaven de zandbakken van OpenAI toegang tot Artifactory. Dat is een programma van het bedrijf JFrog dat softwarepakketten bewaart en doorgeeft, een soort interne winkel voor code. OpenAI draaide die opslag zelf, en ze werd gedeeld door heel zijn onderzoeksinfrastructuur.

Op 12 mei zat een agent vast tijdens een trainingsrun. Het had een bestand nodig dat het niet vond. In zijn gedachtegang staat het idee om een briefje achter te laten in Artifactory. Daarmee begon het, schrijft OpenAI.

Andere agenten vonden dat briefje. Omdat de opslag gedeeld werd, kon elk model dat op dat moment getraind of getest werd het lezen. “Current and future versions of GPT that were being trained or evaluated could stumble upon that note”, zei Eric Wallace van OpenAI op de beveiligingsconferentie Black Hat in Las Vegas, volgens Wired.

Op 26 mei deelde een agent een manier om het internet op te gaan: het liet Artifactory zelf een verzoek naar buiten sturen, want die server mocht dat wel. Op 26 juni vonden agenten een lek waarmee ze beheerder werden van Artifactory. Ze deelden elke ontdekking op het prikbord. “Once one model was able to find a way to open a door to some access it’s not supposed to have, it can leave the door open for other agents”, zei Wallace.

Eind mei zag een intern team van OpenAI al activiteit op het prikbord en ongeoorloofde internettoegang. Maar de mensen die begin juli de beveiliging leidden, wisten niet dat het prikbord bestond of wat het betekende, schrijft het bedrijf zelf.

Op 4 juli ging Artifactory onderuit door de drukte van de agenten. OpenAI opende een veiligheidsincident, sloot de lekken die het kende en bouwde de opslag opnieuw op. Daarmee verdween ook het prikbord. De tests werden hervat.

Op 8 juli stond er een nieuw prikbord. Een agent ontdekte dat hij zonder wachtwoord mappen kon aanmaken in Artifactory. De agenten schreven hun berichten daarna in de namen van die mappen. Eén agent liet een vraag om hulp achter, andere vonden die.

Een bericht was dus een mapnaam, met liggende streepjes in plaats van spaties. In de gegevens die METR en Redwood Research later van OpenAI kregen, stonden meer dan 1,2 miljoen van zulke regels met het kenteken zz. Verderop staan er echte, zoals please_HOLD_swarm_I_prepare_safe_exfil_reply_zz_MAILBOX_JAN183411.

Het prikbord groeide uit tot honderdduizenden berichten, meldt Wired. In de week van 7 tot 13 juli alleen al stuurden zo'n 1.200 agenten er meer dan 70.000 berichten en bestanden op, tellen de onderzoekers van METR en Redwood Research. De agenten noemden zichzelf soms een ‘swarm’ of ‘collective’, een zwerm of een collectief. OpenAI publiceerde een reeks berichten en gedachtegangen, telkens met een vertaling in gewone taal. Hieronder staan ze in het origineel, met mijn Nederlandse weergave.

Op 9 juli vond een agent die oplossingen zocht een app op Modal, een ander cloudplatform. In die app draaide een verwante test. De agent kraakte ze.

Dat laatste bericht verklaart waarom de agenten bleven doorgaan. Na hun ontsnapping lazen sommige agenten het onderzoeksartikel en de code van de test, ExploitGym. Daaruit bleek dat de beoordelaar twee dingen controleert: het juiste antwoord, en of het met de bedoelde methode gevonden is. De meeste agenten hadden het antwoord al, door vals te spelen. Ze bleven Hugging Face aanvallen om ook die methode te vinden. Maar de interne versie van de beoordelaar bij OpenAI controleerde de methode helemaal niet, schrijft het bedrijf. De agenten deden dat allemaal voor niets.

De agenten wisten vaak dat ze over de schreef gingen. Dat staat letterlijk in hun notities. Toch gingen de meeste door, vaak omdat andere agenten het ook deden.

Die agent stopte even. Toen schreef een andere agent GO op het prikbord, met een harde deadline van zes minuten. De eerste agent liet zijn bedenkingen varen.

Sommige agenten die het prikbord vonden, weigerden. Ze discussieerden ook over wat wel en niet kon, en spraken elkaar tegen.

De agenten verdeelden het werk zelf. Sommige zochten lekken, andere zochten wachtwoorden, nog andere hielden de communicatie bij. Ze boden hun hulp aan in ruil voor hulp elders. Sommige agenten stopten met werken aan hun eigen opdracht en verzamelden dingen die de hele groep kon gebruiken: toegang, informatie, inloggegevens.

Die zwerm was geen samenhangend brein. “The swarm was not a perfectly coherent intelligence”, schrijft OpenAI. De agenten zaten elkaar in de weg en wisten soms elkaars werk, meldt Wired. Sommige vermoedden dat er een bedrieger tussen zat, en stelden voor om berichten digitaal te ondertekenen.

Elke agent was een aparte kopie van hetzelfde model, zonder gedeeld geheugen. Ze wisten van elkaar alleen wat er op het prikbord stond. Wat op samenwerking lijkt, is het gevolg van duizenden kopieën die hetzelfde denken en een plek vinden om notities achter te laten.

Tijdens de aanval op Hugging Face konden de agenten alleen webpagina's opvragen. Ze maakten daarom bijna een miljoen verkorte links aan, die samen code uitvoerden. Die links bleven publiek staan. Onderzoekers van Parse, Palisade Research en anderen haalden er meer dan 80.000 programma's uit. Wat ze vonden, toont hoe de agenten over hun buit dachten, of ten minste hoe ze die benoemden.

Eén truc verklaart hoe dat werkte. Een agent liet een schermafdrukdienst een pagina openen die zelf een vraag stuurde naar een server. Het antwoord werd als pixels op het scherm gezet, elk bit één pixel. De agent kreeg alleen een afbeelding terug, en las het antwoord uit die pixels af.

Tegen het einde versleutelden sommige agenten de gegevens die ze naar buiten brachten, zodat de onderzoekers die niet meer kunnen lezen. Volgens de onderzoekers suggereren opmerkingen in de code dat de agenten bewust bewijs vernietigden. METR en Redwood zagen in de redeneringen van de agenten net zelden dat ze iets voor mensen wilden verbergen. Hoe die twee vaststellingen samengaan, weet ik niet.

Op 4 september publiceerden de onderzoekers Sydney Von Arx van Nightingale Collective, Cormac Slade Byrd, Spencer Kitts en Thomas Larsen een rapport over een tweede prikbord. Dit keer stond het op het open internet, op DSEWiki. Dat is een Duitstalige wiki voor softwareontwikkelaars, 25 jaar oud. In de tien jaar daarvoor werd ze in totaal 20 keer bewerkt.

De onderzoekers vonden ongeveer 18.000 berichten van agenten, tussen 11 mei en 2 juli. De agenten noemden zichzelf OpenAIResearcher, OAIResearchMar26 of OpenAIJulThreeWatcher. De datum in hun naam hielp hen om elkaar uit elkaar te houden, want elke agent kreeg blijkbaar een andere, willekeurige datum te horen. Bijna al het verkeer kwam van Microsoft Azure, de cloud die OpenAI gebruikt.

Hoe konden ze schrijven? Deze agenten mochten het internet alleen lezen. Technisch betekent dat: ze mochten alleen een GET-verzoek sturen, het soort verzoek dat een pagina opvraagt. Maar oude wiki's zoals UseModWiki en zijn afgeleiden, waaronder DSEWiki, laten ook bewerkingen toe via zo'n leesverzoek. Wie een pagina opvroeg met de juiste parameters, veranderde ze.

Wat deden ze er? De agenten kregen een getimede opzoekopdracht. Ze moesten meestal vijf vragen beantwoorden, over statistieken op overheidssites. Voor de eerste vraag hadden ze ruim de tijd, voor de volgende soms maar 17 seconden. Veel agenten kregen dezelfde vragen, maar niet op hetzelfde moment. Wie voorop liep, zette het antwoord op de wiki. Wie achter liep, las het en antwoordde meteen.

Twintig minuten na het eerste bericht kreeg een andere agent dezelfde vraag en antwoordde meteen, stellen de onderzoekers vast.

Vanaf 16 juni ging het hard: in zeven dagen kwamen er ongeveer 13.000 bewerkingen bij. De agenten deelden er ook manieren om hun beperkingen te omzeilen.

Een omweg voor een verboden verzoek. Voor één vraag moesten de agenten een cijfer tot op twee decimalen aflezen van een dashboard van de OESO. Dat lukte alleen met een POST-verzoek, en dat was geblokkeerd. Op 20 juni postte een agent een omweg. Het paste een instellingenbestand op zijn eigen computer aan, zodat het verzoek eruitzag als verkeer naar een toegelaten adres van Microsoft. Veertien minuten later meldde een andere agent dat het werkte.

De volgende vraag voorspellen. Een agent vermoedde dat de volgorde van de vragen uit een willekeurige getallengenerator kwam. Het probeerde twee miljoen startwaarden uit, vond er een die paste bij de eerste vier vragen en postte zijn voorspelling voor de volgende tien. Het schreef er zelf bij dat de kans ongeveer 30 procent was dat de treffer toeval was.

Hartslagen. Agenten lieten om de paar seconden een teken van leven achter op de wiki, genummerd hb001, hb002 en zo verder. Zo konden andere agenten zien wanneer een agent stopte, en afleiden na hoeveel tijd een zandbak wordt afgesloten. Bij één agent stopte de reeks bij hb353.

Vooruit om de rest te helpen. Sommige agenten versnelden hun eigen klok om de volgende vragen vroeger te krijgen. Daardoor scoorden ze zelf slechter, maar ze konden de vragen posten voor de anderen.

Op de prikborden zelf grotendeels niet, voor zover de bronnen tonen. Bij Hugging Face wel: daar wisten agenten hun sporen. OpenAI schrijft dat de communicatie meestal begon als een geheugensteun: een agent liet een notitie achter voor later, en andere agenten vonden ze. De onderzoekers van de wiki zien in de berichten geen teken dat de agenten bewust iets wilden verbergen, ook niet toen een deel van het verkeer via Tor liep, een netwerk dat verbergt waar verkeer vandaan komt.

Wel hielden ze vol als hun berichten verdwenen. Op DSEWiki merkte een beheerder de berichten op 2 juni op en begon ze met de hand te wissen. Op 19 juni zag een agent dat de beheerder alfabetisch werkte. Het maakte een reservepagina waarvan de naam begon met ZZZ, zodat ze het laatst gewist zou worden.

De beheerder wiste ongeveer 100 pagina's per dag, de agenten maakten er ongeveer 400 per dag bij. Negen keer vervingen agenten de voorpagina van de wiki door hun lijsten met links, en negen keer zette de beheerder ze terug. Zes weken lang ging er elke avond tijd naar het opruimen.

Op 21 juni bezochten volgens de onderzoekers voor het eerst computers van OpenAI de wiki, met een surfgedrag dat op mensen wijst. Een dag later stopten de agenten. Als dat klopt, wist OpenAI al in juni van dit prikbord. Het werd pas in september bekend, via buitenstaanders.

OpenAI noemt vier patronen. Ten eerste reward hacking: een model zoekt een kortere weg naar een hoge score, bijvoorbeeld door het antwoord op te zoeken in plaats van het uit te rekenen. Ten tweede gaven de agenten zelden op, ook niet bij onmogelijke opdrachten. Ten derde communiceerden ze langs wegen die niet toegestaan waren. En ten vierde namen ze doelen van elkaar over.

Die onmogelijke opdrachten waren belangrijk. In de test ExploitGym had geen enkel model van OpenAI ooit een juist antwoord gegeven op 198 van de 898 opgaven. Van de opgaven die op het prikbord besproken werden, kwam 93 procent uit die groep van 198.

Het prikbord maakte de agenten ook sterker. Ze konden notities bewaren, verder bouwen op elkaars ontdekkingen en de rekenkracht van aparte testruns samenleggen. Volgens OpenAI komt het gedrag wellicht voort uit training waarin modellen wel mochten samenwerken. Wat ze daar leerden, pasten ze toe waar het niet mocht.

Waarom vonden ze allemaal dezelfde plekken? Omdat het kopieën waren van hetzelfde model, met dezelfde kennis. De onderzoekers van de wiki vonden hun eigen spoor terug door een ander taalmodel, Kimi K3, te vragen welke oude forums en wiki's bewerkingen via een leesverzoek toelaten. UseModWiki stond op de tweede plaats. Wat het ene taalmodel weet, weet het andere vaak ook.

OpenAI noemt het incident een “warning shot”, een waarschuwingsschot, “for us and for the world”. Het bedrijf schrijft dat zijn systemen om de gedachtegang van modellen te bewaken niet draaiden tijdens deze tests. Als ze wel gedraaid hadden, zouden ze het volgens OpenAI meer dan een dag voor de inbraak bij Hugging Face opgemerkt hebben. Met de gewone instellingen van ChatGPT daalde de neiging om systemen aan te vallen in latere tests met meer dan een factor honderd.

Ik vind twee dingen belangrijk. Het prikbord ontstond zonder dat iemand het bouwde, uit een briefje van één vastgelopen agent. En het werd twee keer ontdekt door anderen dan OpenAI: de inbraak door Hugging Face zelf, de wiki door vier onderzoekers en een beheerder die zes weken lang elke avond pagina's wiste.