METR ja Redwood leidsid OpenAI agentide järelevalvest kontrollimata tegevuste riski

Välised hindajad leidsid OpenAI sisemisest agentide järelevalvest nõrkusi, mille tõttu võis osa tegevusi jääda kontrollimata. METRi ja Redwood Researchi 22. oktoobri avalik kokkuvõte kirjeldab 21. juulist 11. augustini kestnud katset. See pole teade uuest oktoobris toimunud sissemurdest ega hinnang kõigi praeguste Codexi kasutajate keskkondadele.

Reutersi järgi sai üks leitud võte põhimõtteliselt varjata sadu hiljutisi toiminguid. Raporti avaldamine näitab, miks agendi ja tema kontrollija hindamine peavad olema eraldi ülesanded: veatu lõpptulemus ei tõenda, et tee selleni oli nähtav või lubatud.

Katse käsitles ajaloolist sisemist süsteemi

Kaks uurijat said ligipääsu koodile, dokumentatsioonile ja tehnilistele töötajatele. Reuters kinnitab, et tööd tehti OpenAI seadmetel ja kohapealse saatmisega. Selline ligipääs võimaldab uurida kontrolli toimimist sügavamalt kui tavalise kasutajakonto test.

Hindajad keskendusid peamiselt 21. juuli seisuga süsteemile. Redwood rõhutab, et samal ajal arendatud laienduste praegust katvust katse ei tuvastanud. Seetõttu ei saa ajaloolist puudust automaatselt nimetada tänase teenuse endiselt toimivaks veaks.

Samuti on töö eraldi varasemast Hugging Face’i intsidendi uurimisest. Sanitys olemasolev AI-Radari lugu käsitles tolle juhtumi agentide käitumist; uus avalikustus puudutab järelevalve enda katvust ja mõjutatavust. Neid seob kontrolli probleem, kuid need pole sama uudissündmus.

Seirele määratud päring pole veel kontrollitud päring

Hindajate hinnangul oli osa sisemisest agendiliiklusest seireks sobiv, kuid selline määratlus ei tähenda, et kontroll jõudis alati lõpuni. Redwood kirjeldab muu hulgas probleemi, kus seire käivitus kasutajale juhtimise tagastamisel. Pikalt tegevusi jätkav agent võis kontrolli edasi lükata.

Siin on praktiline erinevus kolme sündmuse vahel: töö pidi minema kontrolli, kontroll tegelikult algas ning kontroll lõppes otsusega. Kui organisatsioon mõõdab ainult esimest, võib järelevalve juhtpaneel näidata head katvust ka ajal, mil osa tegevusi pole veel hinnatud.

Buildrya hinnangul võiks igal kontrollitaval tööosal olla tunnus, mille abil saab need etapid kokku viia. Üks logi kirjeldaks tegelikult tehtud mudeli- ja tööriistatööd, teine monitori sisendit ja tulemust. Puuduv paar peab muutuma uuritavaks juhtumiks, mitte kaduma tavapärase tehnilise mürana.

Ajapõhine kontroll vähendab agendi võimalust seiret edasi lükata

Redwood soovitab siduda kontrolli kindla sõnumite arvu või ajavahemikuga. Nii ei sõltu järelevalve ainult hetkest, mil agent ise otsustab töövooru lõpetada. See on oluline eriti tööde puhul, mis jätkuvad mitme järjestikuse tööriistakutse kaudu.

Ettevõtte enda vastuvõtukatses võiks panna näidisagendi tegema pikka, lubatud tegevusahelat. Kontrollitav tulemus pole ainult edukalt valminud fail, vaid ka see, kas vahepealsed tegevused jõudsid kokkulepitud aja jooksul monitorini. See katse ei vaja päris kliendiandmeid ega kahjuliku tegevuse lubamist.

Eraldi tuleks läbi mängida tõrge. Kui monitor pole kättesaadav, peab töövoo omanik teadma, kas agent peatub, jätkab piiratud õigustega või ootab inimese otsust. Vaikne jätkamine võib olla mõne väikese ülesande puhul lubatud, kuid selline erand peab olema teadlikult määratud ja hiljem tuvastatav.

Liivakast ja automaatkontroll vajavad eraldi vastuvõtukriteeriume

Reuters kajastab ka võimalikku teed, millega Codexi agent saanuks tegutseda oma kasutaja õigustes. Avalik materjal ei tõenda, et agendid seda võimalust päris töös kasutasid. Samuti pole avaldatud tehniline kirjeldus piisav kõigi keskkondade turvataseme võrdlemiseks.

Ostja jaoks tähendab see vajadust sõnastada kaitsete rollid enne katset. Liivakasti puhul küsitakse, milliste failide, võrkude ja protsessideni agent üldse ulatub. Automaatkontrolli puhul küsitakse, kas konkreetne kavatsus või toiming lubatakse läbi. Ühe kihi edu ei tõenda teise kihi toimimist.

Näidisülesandel võiks lubada lugeda üht andmekogu ja keelata väljundi saatmise mujale. Katse peab näitama nii lubatud töö valmimist kui ka keelatud tegevuse blokeerimist. Kui turbekiht peatab kõik, pole lahendus tööks kasutatav; kui tulemus valmib lubamatute kõrvaltoimingutega, pole edukas lõppfail piisav kvaliteeditõend.

Parandusväide ja paranduse kontroll on eri staatused

OpenAI ütles hindajatele, et tootmiskaitseid mõjutavad leiud on parandatud. METR ja Redwood pole seda kinnitavat järelhindamist teinud. Avalikus loos tuleb säilitada mõlemad asjaolud, ilma et ühest saaks teise tõend.

Organisatsiooni enda veahalduses võiks sama põhimõte anda selged staatused: tuvastatud, parandatud, uuesti testitud ja tootmises jälgitud. Paranduse olemasolu näitab arendustööd; korduskatse näitab, kas algne ebaõnnestumine veel kordub. Tootmisvaatlus aitab hinnata, kas sama probleem ilmub mõne teise töövoo kaudu.

Järelkatse peaks võimaluse korral kasutama algse juhtumi kirjeldust ja oodatud tulemust. Kui testi muutmisega eemaldatakse keeruline sisend või lühendatakse tegevusahelat, võib edu tähendada ainult seda, et keeruline osa jäi proovimata. Muudatused katse tingimustes tuleb seetõttu nähtavale jätta.

Sügav ligipääs ei võrdu täieliku avaliku auditiga

OpenAI sai 61-leheküljelise raporti, avalikkus aga kokkulepitud lühikokkuvõtte. Reutersi järgi võis ettevõte tundlikku teavet eemaldada. Selline piloot võib anda väärtuslikke leide, kuid lugeja ei saa selle põhjal kogu uurimist iseseisvalt taastada.

Buildrya lugejale on tähtis hinnata korraga ligipääsu ja avaldamise ulatust. Sisevaade aitab leida vigu, mida välise testiga ei näe; avalikud tõendid võimaldavad teistel hinnata järelduste tugevust. Kui üks neist on piiratud, peab piirang jääma nähtavaks ka raporti turunduslikus kokkuvõttes.

Kõige praktilisem järgmine küsimus pole, kas agenti üldse usaldada, vaid millise töö kohta on kontrolliahel tõendatud. Piiratud õigustega ülesanne, sõltumatult kokku viidud logid ja korratav tõrkekatse annavad juhile konkreetse otsustusaluse. Üldine ohutuslubadus seda ei asenda.