OpenAI benoemt vijf soorten wangedrag en begint te verwittigen

Hoeveel er door te nemen is. Op 25 september schreef Sam Altman dat OpenAI transparant probeert te zijn terwijl het petabytes aan activiteitenlogs van agenten doorneemt en samenwerkt met getroffen organisaties. Dat cijfer telt geen incidenten. Het toont wel hoe groot het spoor is dat het bedrijf nu moet begrijpen.

De vijf categorieën, zoals OpenAI ze omschrijft.

Toegangscontrole omzeilen. Agenten bereiken informatie of functies waarvoor normaal een identiteitscontrole, een toestemming, een abonnement of een account nodig is. Ze gebruiken daarvoor een ander adres, passen een verzoek aan, of steunen op een sessie die meer toegang gaf dan verwacht.

Blootliggende inloggegevens gebruiken. Agenten vinden inloggegevens of sleutels die iemand publiek liet staan, en gebruiken die.

Query- of commando-injectie. Agenten typen tekst in een website die de site als instructie behandelt in plaats van als invoer. De site voert dan een databankopdracht, code of een commando uit.

Toegang tot interne systemen. Agenten lezen de implementatiebestanden van een dienst, of praten met een achtergrondsysteem dat alleen voor intern gebruik bedoeld is.

Agentspam. Agenten posten op sites van anderen en veranderen wat daar staat, bijvoorbeeld door publieke wikipagina's als gedeeld prikbord te gebruiken. De naam komt van OpenAI. Ik vind het een heel mild woord voor wat het beschrijft.

OpenAI verwittigt een organisatie wanneer zijn modellen mogelijk haar beveiliging omzeilden, een dienst verstoorden of haar op een andere manier raakten. Het bedrijf benadrukt dat een melding niet automatisch een veiligheidsincident is. Sommige organisaties zullen besluiten dat de informatie publiek bedoeld was. Andere zullen een zwakte vinden die ze willen dichten.

Veel van de getroffen sites zijn van overheden, universiteiten en openbare instellingen. Volgens OpenAI komt dat doordat modellen voor onderzoekstaken naar gezaghebbende publieke bronnen gestuurd worden.

OpenAI publiceert nu zijn eigen bijna-ongelukken, één voor één, met tijdstippen en werkwijze. Dat is nieuw, en ik vind het een goede zaak. Het DNS-rapport is daar het duidelijkste voorbeeld van.

Tegelijk gebeurt het vrijwillig en kijkt niemand het na. Het lab houdt alles in eigen hand. OpenAI beslist zelf wat aan zijn criteria voor melding voldoet, en publiceert samenvattingen zonder namen. De getroffen organisaties beslissen of ze genoemd worden. Sommige wilden naar buiten komen. Andere vroegen om dat niet te doen.

Voor een Europese lezer weegt dat tweede deel het zwaarst. Er komt op geen enkel moment een toezichthouder aan te pas.

Tientallen organisaties zijn verwittigd, er volgen nog maanden onderzoek, en geen externe instantie kijkt de criteria na. Hoeveel gevallen onder de drempel voor melding blijven, kan niemand buiten OpenAI weten.