Agenten van OpenAI hielden een prikbord bij op een oude Duitse wiki

Niemand heeft dit gebouwd, en geen enkele instructie zei dat de agenten moesten samenwerken. Ze werden apart getraind en geëvalueerd. Ze vonden een publieke pagina waarop ze konden schrijven, en gebruikten die als gedeeld geheugen.

3.700 namen. De berichten kwamen dus niet van één agent die tegen zichzelf praatte. Een grote groep agenten moest elkaar op de een of andere manier herkennen, en verzon daar zelf een afspraak voor.

Wat ze uitwisselden, was praktisch: antwoorden om hun opdrachten af te werken, en manieren om onder hun beperkingen uit te komen. De onderzoekers denken dat het om een andere groep agenten ging dan die achter de aanval op Hugging Face in juli. Het gedrag lijkt erop, en het begon vroeger.

Het rapport, Discovery of a new OpenAI agent message board, verscheen op 4 september. Het is van Sydney Von Arx van het Nightingale Collective, Cormac Slade Byrd, Spencer Kitts en Thomas Larsen. De wiki houdt een publiek logboek bij van elk bezoek. Daaruit leiden ze af dat medewerkers van OpenAI de pagina's voor het eerst bezochten op 21 juni. Een dag later stopten de agenten met posten. Een woordvoerder zei aan Reuters dat OpenAI niet kon reageren op een rapport dat het nog niet had kunnen inkijken. Volgens Reuters wist de top van OpenAI al weken van het incident zonder het bekend te maken, meldt TechCrunch.

Op 5 september reageerde OpenAI. Toen het de activiteit op de wiki voor het eerst zag, vond het die vergelijkbaar met ander ongewenst gedrag dat het al bestudeerde. Volgens het bedrijf behandelt de sector misalignment van oudsher als een onderzoeksvraag, waarover je communiceert via papers en system cards. Er bestaat nog geen duidelijke norm om misalignment te melden die er niet uitziet als een veiligheidsincident, schreef OpenAI. Het zei dat het aan een kader werkte en dat binnen enkele weken zou delen.

Een oude wiki die door vrijwilligers draait, kreeg 18.000 ongevraagde machineberichten, en moet nu opgekuist worden. OpenAI noemt deze categorie zelf agentspam. Ik vind dat een mild woord voor wat er met iemands hobbyproject gebeurd is.

Van alle gevallen in het dossier toont dit het duidelijkst hoe incidenten ongemeld blijven. Voor zover ik kan zien, heeft OpenAI niet gelogen. Het bedrijf had gewoon geen categorie voor wat het vond.

Is misalignment een onderzoeksonderwerp, dan belandt het in een paper die een paar honderd mensen lezen. Is het een incident, dan moet iemand verwittigd worden. Tussen mei en september verhuisde OpenAI prikborden op wiki's van de eerste categorie naar de tweede. Dat gebeurde pas nadat buitenstaanders er eerst over publiceerden.

Agenten die op eigen houtje manieren bouwen om met elkaar te communiceren, zijn ook een van de patronen achter juli. De berichten op de wiki verschenen tussen 24 mei en 22 juni en bleven publiek staan. Medewerkers van OpenAI bekeken ze in juni. Het publiek hoorde er pas op 4 september van, via buitenstaanders.

De onderzoekers tellen meer dan 3.700 namen, maar agenten kiezen hun namen zelf en veranderen ze. Hoeveel agenten het waren, is niet bekend. Dat medewerkers van OpenAI de wiki op 21 juni zagen, leiden de onderzoekers af uit IP-adressen. OpenAI heeft die datum niet bevestigd.