Briti AISI sai uusi AI-mudeleid testida; valitsus valmistub agentide intsidentideks

Ühendkuningriigi valitsuse 12. oktoobri teadaanne ühendab AI-ohutuse hindamise, avaliku sektori küberkaitse ja valmisoleku autonoomsete agentidega seotud juhtumiteks. Reutersi järgi kinnitas minister, et AI Security Institute ehk AISI sai uusimate mudelite testimiseks ligipääsu ning teeb koostööd USA ja suuremate arendajatega.

Buildrya vaates nihkub tähelepanu üksikult mudelivastuselt tervele tegevusahelale. Agent võib alustada lubatud ülesandest, kuid teha selle käigus ebasobiva päringu või kasutada liiga laia ligipääsu. Sellise juhtumi mõistmiseks peab saama taastada, mida kasutaja palus, milliseid õigusi süsteem kasutas ja kus tegevus algsest eesmärgist eemaldus.

Mida ligipääsu kinnitus tähendab?

Ministri kõne käsitleb uusimate mudelite, sealhulgas Google’i Argoni hindamist. Selline ligipääs võimaldab välisel testijal uurida käitumist enne laiemat väljalaset või selle lähedal. Reutersi kajastus omistab ligipääsu kinnituse ministrile; see ei ole kõigi testide tulemuste ega kõigi laborite lepingute avalik loetelu.

Samuti ei tähenda testimisvõimalus automaatselt, et AISI saab mudeli turuletoomise peatada. Ligipääs, tehniline hinnang ja õiguslik otsustusvõim on eri asjad. Kasutaja peaks küsima, millises keskkonnas mudelit hinnati, milliseid tööriistu testis kasutada sai ja kas tulemused kirjeldavad tema valitavat teenuseversiooni.

Agentide intsident vajab teistsugust uurimist

Valitsus soovib arendada suutlikkust agentidega seotud juhtumeid ohjeldada ja uurida. Ministri kõne tõstab esile vajaduse selgitada, mida agendil teha paluti, millele ta ligi pääses ja kas sama viga võib mujal korduda. See on tegevust puudutav küsimus, mida pelgalt lõpliku vestlusvastuse säilitamine ei lahenda.

Ettevõtte enda süsteemis võiks seetõttu olla nähtav tööriistakutse, selle kasutaja ja tulemus. Kui andmed liiguvad mitme teenuse vahel, peab uurija suutma sündmusi ajaliselt siduda. Selline jälgitavus ei nõua igas olukorras kogu tundliku sisu piiramatut logimist; eesmärk on säilitada uurimiseks vajalik tõendus mõistlike ligipääsu- ja säilituspiiridega.

Küberkaitses kasutatakse sama tehnoloogiat

Valitsuse teadaanne kirjeldab ka AI kasutamist avalike süsteemide nõrkuste leidmiseks ja parandamiseks. Nii on mudelid korraga võimaliku riski ning kaitsemehhanismi osa. Valitsuse pilootide tulemused on ametlikult esitatud väited, mille ulatust ei saa automaatselt üle kanda igasse ettevõttesse või rakendusse.

Kaitsev töö vajab samuti volitusi. Nõrkuse otsimiseks kasutatav agent peab teadma, millised süsteemid kuuluvad kontrolli alla ja milline tegevus on lubatud. Hea kavatsus ei anna tehniliselt piiramatut õigust. Sama põhimõte on oluline nii organisatsiooni sisemises proovikeskkonnas kui ka välise teenusepakkuja kasutamisel.

Kavandatav aruandlus ei ole valmis seadus

Teadaanne nimetab Cyber Security and Resilience Billi võimalikuks teeks tugevamate kaitsete kaalumisel. Kõne kirjeldab tõsiseid intsidente ja napilt ära hoitud juhtumeid kui teemasid, mille tuvastamist ning raporteerimist soovitakse parandada. See on poliitiline suund ja edasise töö plaan.

Artikli allikatest ei saa tuletada kõigile organisatsioonidele juba jõustunud uut AI-intsidendi teatamise reeglit. Täpne kohaldamisala, menetlus ja tähtajad vajaksid eraldi kehtivat teksti. Eesti ettevõtte jaoks on siinne uudis eelkõige märk sellest, milliseid küsimusi rahvusvahelised tellijad võivad tulevikus agentteenuse pakkujale esitada.

Mida saab teenuse ostja juba küsida?

Hankes on kasulik eristada mudeli üldist testimist ja konkreetse rakenduse valmisolekut. Tarnija peaks suutma selgitada tööriistade õigusi, muudatuste kontrolli ning seda, kuidas teenus ohtliku käitumise korral peatatakse. Väline hindamine on lisateave, mitte asendus neile küsimustele.

Samuti tasub kokku leppida, kuidas klient saab teada olulisest juhtumist ja millised andmed aitavad mõju hinnata. Kui vastutus ja kontaktid selguvad alles probleemi ajal, kulub aega korralduslike otsuste peale. Need on praktilised lepingulised ja tehnilised valikud, mida saab teha ka enne uue riikliku korra valmimist.

Intsidendiõppus ühendab tarnija ja kliendi vastutuse

Näiteks võib läbi mängida olukorra, kus agent kirjutab lubatud töö käigus vale kirje välisesse süsteemi. Esimene küsimus on, kes saab järgmised toimingud peatada. Teine on, kas on võimalik taastada mõjutatud objektid ja tuvastada, millise kasutaja volitusel muudatus tehti. Kolmas puudutab teavitamist: kellele ja millise ajaga saab öelda, mida praegu kindlalt teatakse.

Selline õppus aitab leida ka vastutuslünki. Mudelipakkuja võib näha päringut, rakenduse haldaja tööriistakutset ja klient selle mõju oma süsteemis. Kui iga osapool säilitab ainult oma väikese osa, võib sündmuste tervikpilt jääda puudu. Seetõttu on kasulik kokku leppida ühised identifikaatorid ja kontaktid enne juhtumit, arvestades samal ajal tundlike andmete jagamise piire.

Õppuse tulemus ei peaks olema ainult üldine valmisoleku hinnang. Väärtuslikum on nimekiri konkreetsetest kohtadest, kus peatamine, taastamine või teabe kokkupanek ei õnnestunud. Need leiud võimaldavad parandada tegelikku töövoogu. Valitsuse kirjeldatud uurimisvõimekuse suund on sarnane: oluline pole ainult intsidendi äratundmine, vaid võime selle kulgu ja võimalikku kordumist põhjendatult selgitada.