← Terug naar het dossier

16 november 2026 · OpenAI · Apollo · METR · Transluce · Goodfire

OpenAI laat vier buitenstaanders in de trainingsrun kijken, ter plaatse en op een OpenAI-laptop

OpenAI tekende overeenkomsten met vier onafhankelijke beoordelaars — Apollo Research, METR, Transluce en Goodfire — voor een eerste fase van "embedded assessments". Ze krijgen toegang tot een deel van hetzelfde interne materiaal dat de onderzoekers van OpenAI zelf gebruiken: modelcheckpoints, broncode, trainings- en evaluatiedata, monitoringsystemen en de mensen die ze bouwden. Ze werken ter plaatse, op toestellen van OpenAI. De Safety and Security Committee van de raad krijgt de niet-geredigeerde rapporten. OpenAI houdt het recht om te redigeren en om uitstel te vragen voor publicatie.

ArgumentBevestigdMeer dan één onafhankelijke bron, of een primair document.

Wat er gebeurde

De vier beoordelingen stellen verschillende vragen. Apollo kijkt of een model tegen de bedoeling van zijn ontwikkelaar in kan werken en of de vangrails dat zouden opmerken. Het somt vier claims op om te testen: dat training subversie niet beloonde, dat sterke evaluaties en red teaming ze niet uitlokken, dat modellen het tijdens intern gebruik niet probeerden, en dat de redenering erachter opspoorbaar zou zijn. Apollo krijgt publieke en niet-gepubliceerde modellen, checkpoints, trainingsdata, evaluatieresultaten, interventieregisters, monitors en gemarkeerd gedrag.

METR neemt de grootste reinforcement learning-run die OpenAI deed en zoekt naar misalignment dat de bestaande tests gemist kunnen hebben, met eigen prioriteiten en een eigen zoekstrategie binnen een afgesproken kader. Het is ook principieel akkoord met een bredere monitorbeoordeling, na een oefening van drie weken waarin het de monitoring van OpenAI met toegang tot de codebase tegenspeelde. Goodfire zet interpretabiliteitsonderzoekers binnen om de binnenkant van modellen te analyseren, vooral voor het eigen team van OpenAI. Transluce controleert de kwaliteit en de dekking van de alignmentevaluaties na de training, met een vervolg van ongeveer acht weken begin 2027.

De protocollen zijn het deel dat je twee keer leest. Beoordelaars met gevoelige toegang werken op de kantoren van OpenAI, op toestellen van OpenAI. Gesprekken met personeel zijn off the record, maar beoordelaars kunnen een schriftelijke verklaring vragen waarin OpenAI bevestigt, corrigeert of weigert te bevestigen wat hen verteld werd. Belangenconflicten en cool-offperiodes worden gemeld. De Safety and Security Committee kan apart met beoordelaars spreken, en een meningsverschil dat de escalatie naar de Safety Advisory Group en de directie overleeft, gaat naar die commissie.

OpenAI koppelt de regeling aan het White House Accord on Super Intelligence, waarin het onafhankelijke beoordeling van zijn veiligheidscontroles toezegde. Het maakt ook bekend wie betaald wordt: Apollo en Goodfire aanvaarden een vergoeding die niet afhangt van de resultaten; METR en Transluce nemen geen geld maar kunnen API-krediet of rekenkracht aanvaarden.

Hoe het werktetechnische uitleg

Een gewone externe evaluatie geeft een model van een lab aan een tester via een API. De tester ziet invoer en uitvoer en niets anders. Een embedded assessment geeft de tester de trainingsrun: welke checkpoints bestonden, hoe de beloning eruitzag, wat de monitors markeerden, en welke ingenieur welke beslissing nam. Dat is het verschil tussen het afgewerkte product testen en het zien gemaakt worden.

Het compromis is structureel. De toegang is diep, maar gebeurt op de hardware van het lab, onder de veiligheidsregels van het lab, met gesprekken die niet geciteerd mogen worden. De attestatieweg is de omweg: een beoordelaar kan publiceren "OpenAI bevestigde dit" of "OpenAI weigerde dit te bevestigen". Dat is zwakker dan een transcript en sterker dan niets. Of het genoeg is, hangt af van hoe vaak de tweede zin in een rapport opduikt.

Wat kan er nog volgen?

Dit is het concreetste antwoord dat een lab heeft gegeven op de vraag die de rest van dit dossier blijft stellen: wie controleert de controleur. Het is ook een gok dat transparantie van binnenuit kan worden gegeven zonder publiciteit te worden. De test komt met het eerste rapport dat iets zegt wat OpenAI liever niet leest. Op dezelfde dag verkocht de markt al modellen met de veiligheidslaag eraf: dat product. Twee antwoorden op hetzelfde probleem, één institutioneel en één commercieel.

Wat ik niet weet

Geen van de beoordelingen heeft nog gerapporteerd, dus dit stuk legt een regeling vast, geen bevinding. De open vragen zijn degene die bepalen of het iets betekent: wat telt als een fout die gepubliceerd moet worden, hoe lang een "verantwoorde disclosueregel" mag duren, of de Safety and Security Committee echt onafhankelijk is van de directie wier werk ze beoordeelt, en of er ooit ruw bewijs publiek wordt. De publicatievoorwaarden zeggen dat beoordelaars hun onafhankelijkheid houden, maar dat OpenAI vertrouwelijke informatie mag redigeren.

Lees hierna

Bronnen

  1. OpenAI: Our first phase of embedded assessmentsprimair · hoofdbron

    16 november 2026. De vier beoordelaars en hun opdrachten, de toegangslijst, de regels over ter plaatse en toestellen, de rol van de Safety and Security Committee, de off-the-record- en attestatieweg, de regels over belangen en cool-off, de publicatievoorwaarden en de bekendmaking van de vergoedingen.

  2. METR: red-teaming OpenAI agent monitoringonderzoek · nog niet nagelezen

    22 oktober 2026. De oefening van drie weken rond monitoring waarnaar OpenAI verwijst. Gelinkt vanuit de aankondiging; ik heb ze niet gelezen.

Reacties