OpenAI vertraagt zijn eigen training

OpenAI zette zelf op een rij wat het veranderde. Isolatie van werklasten: stevigere sandboxen, afgesloten omgevingen, voor alles wat code draait die door modellen geschreven is of die niet te vertrouwen is. Hetzelfde geldt voor software die besmet kan raken terwijl ze uitvoer van een model verwerkt. Netwerkisolatie: controles die ervoor moeten zorgen dat wie één werklast kraakt, daarmee nog geen toegang krijgt tot het internet of tot interne netwerken. Doorlopende beveiligingstests: kwetsbare gedeelde diensten zijn weggehaald, vaste toegangsrechten zijn teruggeschroefd, en OpenAI zet zijn eigen modellen in om die grenzen voortdurend aan te vallen.

OpenAI breidde ook het toezicht op de gedachtegang uit, de redeneerstappen die een model neerschrijft, voor al zijn geavanceerde modellen. Het versterkte de training en evaluaties voor alignment. Het Preparedness Framework, het interne veiligheidsbeleid, wordt bijgewerkt zodat toezicht, alignment en afscherming samenkomen.

Op 7 augustus had OpenAI al toezicht op risicovolle acties en ongewenst gedrag ingesteld voor elk gebruik waarbij Astra zelfstandig als agent optreedt. Nog voor de release zei het bedrijf ook publiek dat het niet kon uitsluiten dat Astra cyberkritisch was.

In september, na een reeks meldingen, legde OpenAI de training van zijn sterkste modellen stil. Het bedrijf zei die pas te hervatten als het zeker is dat er extra beveiligingen en verbeteringen aan de alignment zijn (only when we are confident that we have additional safeguards and alignment improvements in place).

Sommige mensen zeggen dat er niets gebeurt. Daartegen vind ik dit het beste argument in het dossier: een bedrijf dat zichzelf publiek afremt en opsomt wat het veranderde.

Maar OpenAI legde zichzelf die pauze op, en koos zelf het moment. Niets verplichtte het bedrijf om te pauzeren, en niets houdt het tegen om weer te beginnen. Vergelijk met de Amerikaanse wetsvoorstellen, die van een pauze een wettelijke verplichting zouden maken, en met de Europese koers, die in mei de andere kant op ging.