Anthropic avas METRile sisemised tööriistad, kuid auditi sõltumatus vajab tõendeid

Anthropic laiendas sõltumatu hindaja METRi võimalust uurida ettevõtte mudeleid ja riskijuhtimist seestpoolt. Tavapärase API-konto asemel töötab kuueliikmeline meeskond ettevõtte keskkonnas, kasutades sisemisi tööriistu. Programmi käivitamine avalikustati 15. oktoobril; see on järelevalve korralduse muutus, mitte uus tõend mõne mudeli ohutuse kohta.

Reutersi parandatud kajastus kinnitab programmi ning toob esile keskse pinge: labori ärisaladuseks peetav info võib olla hindaja jaoks riskijärelduse alus. METR ütles agentuurile, et tema raport kirjeldab töö ulatust, ligipääsu ja muid piiranguid. Seega peab lugeja nägema ka seda, mida hindaja ei saanud kontrollida.

Buildrya hinnangul on uus korraldus oluline samm, kuid täielikku sõltumatust ei saa tuletada tööruumist ega sisekontost. Otsustav on, kas hindaja saab ise valida küsimusi, jälgida süsteemi tegelikku käitumist ning avaldada põhjendatud järelduse ka siis, kui see on arendajale ebamugav.

Sisemine ligipääs võib muuta uurimisküsimust

Avaliku API abil saab hinnata, mida mudel antud päringule vastab. Sisemise keskkonna uurimine võib võimaldada küsida ka seda, kuidas katse koostati, milliseid versioone võrreldi ja millised katsed ebaõnnestusid. Need on erinevad tõendid, mida üks koondhinne ei pruugi näidata.

Agentide puhul lisandub tööriistade ja õiguste kiht. Risk võib tuleneda mudeli, täitmiskeskkonna ja väliste teenuste koosmõjust. Kui hindaja näeb ainult lõppvastust, võib oluline vahepealne tegevus jääda varju ka näiliselt korrektse tulemuse korral.

Seetõttu oleks hea raporti juures kasulik teada testitud süsteemi terviklikku kirjeldust. Milline mudeliversioon töötas, millised õigused talle anti ja millist tegevust logiti? Need küsimused on toimetuse hindamisraamistik, mitte kinnitus, et METRile on juba antud iga nimetatud logi või süsteemi piiramatu kasutusõigus.

Avaldamisõigus ja teabe eemaldamine mõjutavad eri asju

Anthropic ütleb, et ei saa METRi analüüsi avaldamist vetostada, kuid võib nõuda teatud teabe eemaldamist. Ettevõte otsustab lõplikult, mis kuulub kaitstud kategooriatesse. METR saab ligipääsu ja piirangute kohta teatud avalikke seisukohti esitada, avaldamata kaitstud sisu ennast.

See eristus on sisuline. Avaldamise täielik keelamine ja konkreetse tehnilise detaili eemaldamine ei ole sama sekkumine, kuid ulatuslik eemaldamine võib samuti vähendada raporti kontrollitavust. Lugeja peab suutma hinnata, kui palju järelduse tõendusest avalikuks jäi.

Praktiline läbipaistvus võiks seetõttu sisaldada piirangute registrit: millist tüüpi info jäi välja, kes seda nõudis ja kas hindaja pidas piirangut oma järelduse jaoks oluliseks. Register ei pea avaldama saladust ennast. Selle eesmärk on näidata, millise tõendipiiriga avalik hinnang töötab.

Teiste hindajate õigusi ei saa METRilt üle kanda

Anthropic kirjeldab mitut ligipääsutaset, mille avaldamisõigused on erinevad. Reutersi 19. oktoobri parandus eemaldas varasema viite SecureBio kuulumisele esimesele tasemele. SecureBio ja Faculty koostööd ei tohiks seetõttu kirjeldada automaatselt METRiga samaväärsena ega määrata neile kontrollimata taset.

Ostja või avaliku asutuse jaoks tähendab see, et „sõltumatult hinnatud” on liiga üldine kirjeldus. Tuleb küsida hindaja nime, töö ulatust ja lepingulisi õigusi. Vastasel juhul võivad kaks väga erineva ligipääsuga uuringut paista sama kvaliteedimärgisena.

Ka hindaja organisatsiooni maine ei asenda konkreetse töö piire. Sama asutus võib ühes projektis uurida terviklikku riskiprotsessi ja teises ainult üht kitsast testikomplekti. Järeldusi tuleb lugeda selle järgi, mida tegelikult uuriti.

Lähedus arendajale annab teadmisi ja loob sõltuvuse

Ettevõtte sees töötav hindaja võib saada kiiremini vastuseid ja märgata probleeme enne avalikku väljalaset. Samas sõltub tema igapäevane töö ligipääsu säilimisest ja koostööst hinnatava organisatsiooniga. Seda pinget ei kõrvalda üksnes hindaja juriidiline eraldiseisvus.

Reutersi kajastus tõstatab ka selle, et laborid valivad ise hindajad. Seetõttu tuleb sõltumatust hinnata mitme tunnuse järgi: rahastussuhted, võimalus ise katseid valida, töötajatega vestelda ning tulemused mõistliku aja jooksul avaldada. Need küsimused peaksid olema nähtavad enne raporti kasutamist ostu- või poliitikaotsuse alusena.

Samas ei ole piiratud ligipääs iseenesest tõend ebaausast hindamisest. Kliendiandmete ja turvakriitilise teabe kaitsmine võib olla vajalik. Hindamise kvaliteeti näitab see, kas piir on põhjendatud, dokumenteeritud ja järeldustes arvesse võetud.

Eesti asutusele sobib üle võtta kontrollitav lepingumudel

Kriitilist AI-süsteemi telliv asutus võiks hinnangu ulatuse lepingus kokku leppida enne juurutust. Vajalik on eristada mudeli üldvõimekust süsteemi käitumisest konkreetsete tööriistade ja õigustega. Tarnija ohutusraport ei pruugi katta asutuse enda ülesehitust.

Hindamise tellimuses võiks määrata ligipääsu toorlogidele, kontrollitavad mudeliversioonid ja õiguse teatada leitud olulistest puudustest. Samuti tuleb kokku leppida, kuidas tundlik info avalikust raportist eemaldatakse ja kuidas erimeelsus dokumenteeritakse. Nii ei teki avaldamisõiguse üle vaidlust alles pärast probleemse tulemuse leidmist.

Anthropicu–METRi programmi järgmine tõend on raport, millest selguvad järeldused ja töö piirid. Programmi väljakuulutamine ei kinnita, et riskid on kõrvaldatud. Selle väärtus seisneb võimaluses saada arendaja enda selgitusest paremini kontrollitav pilt.