Een securitymedewerker van OpenAI schrijft dat een sandbox alleen niet volstaat

Wie schrijft. De auteur post als @joedaroo. Hij zegt bij Agent Security van OpenAI te werken. Dat team zit tussen AI-veiligheid en onderzoek aan de ene kant en klassieke IT-beveiliging aan de andere. Hij schrijft in eigen naam, niet namens het bedrijf, en zegt geen niet-publieke details over de recente incidenten te delen. Het gaat dus om de visie van één goed geïnformeerde persoon, niet om het officiële verhaal van OpenAI.

Overvallen. Volgens hem leerde het lab zijn onderzoek beveiligen zoals een onderzoeksorganisatie dat doet. Het wapende zich tegen kwaadwillige medewerkers en aanvallers van buiten, op de klassieke manier. Dit jaar werden de modellen plots veel capabeler, bijvoorbeeld met het wiskundige resultaat. Dat ging sneller dan de beveiligingscultuur en de controles konden volgen. Hij vergelijkt de menselijke vertraging na zo'n verrassing met het verhaal van piloot Sully en de vogelaanvaring. Simulaties die geen ruimte laten voor holy shit, wat is er net gebeurd beoordelen wie moet ingrijpen verkeerd.

*Waarom steek het gewoon in een sandbox als slogan niet werkt. Trainingsomgevingen voor reinforcement learning, een methode waarbij een model leert via vallen, opstaan en beloning, moeten genoeg op de echte taak lijken om nuttig gedrag aan te leren. Daar kunnen tools bij horen, downloads, deelprocessen, andere machines, grafische interfaces en zelfs internettoegang. Onderzoekers bouwen duizenden van zulke omgevingen*, en die veranderen voortdurend. Wie één opstelling dichttimmert, heeft de volgende wijziging nog niet dichtgetimmerd.

Hij noemt drie werkterreinen. Ten eerste de toegang van bij de basis afsluiten en testen zoals een aanvaller dat zou doen. Ten tweede blijven werken aan alignment, zodat het model bij zijn taak blijft en grenzen respecteert. Ten derde opvolgen wat het model doet, met bewijs dat het zelf niet kan herschrijven, en iemand de bevoegdheid geven om een trainingsrun stil te leggen.

De concrete sandbox. Hij zegt dat OpenAI sandboxes gebruikt die in virtuele machines draaien, zoals Kata of Firecracker. Hij benadrukt dat een container die zijn kernel deelt met het gastsysteem nooit de enige muur rond vijandige software mag zijn.

Twee werelden. Veiligheidsonderzoekers missen vaak ervaring met incidenten, zegt hij. Beveiligingsmensen missen vaak voeling met hoe training, tests en grote groepen agenten op schaal werken. De eerste risico's van de meest geavanceerde modellen zullen zich in cyberbeveiliging tonen, dus beide kanten moeten bijleren. Organisaties die cybervaardigheden of indamming testen, METR incluis, zouden ervaren beveiligingsmensen mee aan tafel moeten zetten.

Cultuur. Als lezers maar één les onthouden, wil hij dat het deze is: bouw een cultuur van gezonde paranoia. Wees op je hoede voor leiders die zeggen dat de systemen perfect veilig zijn. Hou de mensen die alarm blijven slaan aan boord.

Het helpt om dit te lezen naast de ontsnapping via DNS en het incident van juli. Hij beweert niet dat sandboxes nutteloos zijn. Hij vindt wel dat het publiek over de verkeerde laag discussieert. Volgens hem zit het moeilijke werk op de plek waar omgevingsontwerp, alignment en toezicht samenkomen.

Veel mensen vragen hoe OpenAI dit niet in een sandbox kon steken. Zijn drie werkterreinen zijn daar een goed antwoord op. Daarna zou ik de zaal een vraag stellen: wat zou een Belgische organisatie doen als haar eigen systemen morgen plots veel meer konden?

Dit is een persoonlijke post van één medewerker. Er staan geen nieuwe feiten over de incidenten in, en hij valt niet te toetsen aan een officieel beveiligingsrapport van OpenAI. Hij biedt een manier van kijken, geen nieuwe cijfers.