Liigu põhisisu juurde
Buildrya

Regulatsioon

ELi nõustajad soovitavad mudelite sõltumatut hindamist

Komisjoni teadus- ja eetikanõustajate 16. novembri avaldus kutsub tugevdama AI hindamist. Eksperdisoovitus ei kehtesta ettevõtetele uut auditikohustust.

Toimetaja Kristjan Krimm · Avaldatud · 6 min lugemist

Olulisus
Sihtrühm
Kõik
Allikaid
2
Esmaallikas
Euroopa Komisjon
Euroopa Komisjoni sümbol Euroopa Liidu lipuga heledal taustal
Pilt: Euroopa Komisjon

Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.

Mis juhtus

Komisjoni teadus- ja eetikanõustajate 16. novembri avaldus kutsub tugevdama AI hindamist. Eksperdisoovitus ei kehtesta ettevõtetele uut auditikohustust.

Miks see loeb

Soovitus suunab tähelepanu hindaja ligipääsule ja kontrollitavale tõendusmaterjalile. Hankija jaoks aitab see täpsustada, mida aruanne tõendab ja milline osa kasutusjuhust vajab oma katset.

Lühidalt

4 põhipunkti
  1. Euroopa Komisjoni teadus- ja eetikanõustajad avaldasid 16. novembril ühise tehisaruteemalise seisukoha.
  2. Nõustajad soovitavad Euroopal arendada mudelite sõltumatu hindamise võimekust.
  3. Avaldus käsitleb ka inimeste otsustusõigust ja tehnoloogia arenguga kohanevat järelevalvet.
  4. Ekspertide soovitus ei muuda iseenesest tehisarumäärust ega loo uut auditikohustust.

Euroopa Komisjoni teaduse peanõustajate rühm ning Euroopa teaduse ja uute tehnoloogiate eetikarühm soovitasid 16. novembril avaldatud ühisavalduses tugevdada tehisarusüsteemide hindamist. Komisjoni ülevaate järgi ei peaks Euroopa jätma mudelite hindamist üksnes nende äriliste arendajate ülesandeks. CASRAI kajastas samuti nõustajate üleskutset sõltumatu võimekuse loomiseks.

Uudise keskne sündmus on nõuandekogude seisukoht. See ei ole uus õigusakt, kohtuotsus ega ettevõttele saadetud järelevalvekorraldus. Eesti asutusele annab avaldus siiski põhjuse küsida, milline tõend mudelihankes tegelikult kontrollitav on. Pakkuja hea testitulemus ja ostja võimalus seda hinnata on kaks erinevat asja.

Mida nõustajad soovitavad?

Komisjoni ülevaade toob esile neli suunda: olemasolevate reeglite tugev rakendamine, arenduse ja kasutuselevõtu tempo seostamine ohuga, sõltumatu hindamisvõimekus ning pidevalt õppiv ohutuse ja turvalisuse korraldus. Need on ekspertide soovitused poliitikakujundajatele. Avaldus ei määra selle põhjal igale ettevõttele uut tähtaega või standardset testi.

Ostja jaoks on kõige praktilisem sõltumatu kontrolli küsimus. Kui hindaja saab ainult tootja koostatud kokkuvõtte, võib ta hinnata selle aruande selgust, kuid tal puudub võimalus mudeli käitumist ise korrata. Hankes tasub seetõttu küsida, mida hindamine hõlmab ja millisele keskkonnale on hindajal ligipääs. Sõltumatu nimi aruande kaanel ei kirjelda veel kontrolli ulatust.

Ligipääs määrab hindamise tegeliku ulatuse

Mudeli testimiseks võib olla vaja versiooniga seotud ligipääsu, kirjeldatud tööriistu ja kokkulepitud kasutuspiire. Kui testimisel kasutatav keskkond erineb ostetavast teenusest, tuleb erinevus nähtavaks teha. Vastasel juhul võib hinnang puudutada teistsugust süsteemi kui see, mille asutus hiljem kasutusele võtab. See piirang peab olema otsustajale arusaadav.

Eraldi küsimus on tõrgete uurimine. Hindaja peaks teadma, milline logi või muu tõend ebaõnnestunud sammust säilib ning millal peab ta küsima lisateavet pakkujalt. Kui tulemus põhineb üksnes lõplikul vastusel, võivad olulised vahepealsed toimingud jääda nähtamatuks. Agentteenuse puhul võib just tööriista kasutamine määrata, kas ülesanne püsis lubatud ulatuses.

Buildrya hankekriteerium: väide peab olema kontrollitav

Näidiskriteerium võiks paluda pakkujal siduda iga oluline võimekusväide konkreetse katse, mudeliversiooni ja piirangutega. Vastus näitaks, kas mõõdeti ette määratud ülesandeid, milline oli vastuvõtutingimus ning kuidas käsitleti ebaõnnestumisi. Ainult koondprotsent ei ütle, kas ostja kõige olulisem kasutusjuht üldse katse hulka kuulus.

Asutus võiks seejärel valida väikese, oma tööd esindava proovikomplekti. Sinna kuuluksid tavapärane ülesanne, ebaselge sisend ja juhtum, kus agent peab tegevusest loobuma või täpsustust küsima. Eesmärk oleks näha käitumist eri olukordades, mitte saada üks muljetavaldav demonstratsioon. Testi jaoks tuleks kasutada selleks sobivaid andmeid ning lubatud keskkonda.

Kriteeriumide koostamisel peab asutus eristama oma soovitud kontrolli õiguslikust kohustusest. Käesolevas loos kirjeldatud näited on Buildrya pakutav hindamisraam. Need ei ole Komisjoni avaldusega kehtestatud uued hankereeglid. Konkreetne hange ja kohaldatavad nõuded vajavad omaette hindamist ning selgelt sõnastatud tingimusi.

Kas hindaja võib ebamugava järelduse avaldada?

Sõltumatusel on praktiline tähendus ka pärast katse lõppu. Tuleks teada, kes valib ülesanded, kes otsustab aruande lõpliku sõnastuse ja millised piirangud kehtivad tulemuse jagamisele. Kui arendaja saab ebasobiva tulemuse avaldamise täielikult peatada, peab lugeja seda teadma. Läbipaistmatu korraldus muudab aruande kaalu raskemini hinnatavaks.

See ei tähenda, et kõik tehnilised üksikasjad peaksid alati avalikuks saama. Piiratud ligipääsuga teabe käsitlemiseks võib olla põhjendatud kord. Oluline on eristada põhjendatud kaitset järelduse sisulisest mõjutamisest. Ostja võiks küsida, kas aruandes saab siiski kirjeldada katse ulatust, avastatud piirangut ja seda, mida tulemuse põhjal järeldada ei saa.

Mudeli uuendus võib muuta ka hinnangu kehtivust

Hindamisaruanne peaks olema seotud testitud versiooniga. Kui teenusepakkuja muudab mudelit, tööriistu või õiguste korraldust, tuleb küsida, kas varasem tulemus endiselt katab kasutatavat süsteemi. Iga väike muudatus ei pruugi nõuda kogu katse kordamist, kuid selle otsuse alus peaks jääma dokumenteerituks. Vaikiv eeldus pole taastatav põhjendus.

Praktiline kokkulepe võiks määrata, milline muudatus käivitab uue kontrolli ja millist teavet pakkuja selleks annab. Näiteks vajab uut tähelepanu olukord, kus agent saab seni puudunud välise toimingu õiguse. See muudab kasutusjuhtu isegi siis, kui mudeli nimi jääb samaks. Hindamine peab jälgima süsteemi tegelikku käitumisvõimalust.

Kontroll peab jõudma parandatava tulemuseni

Leitud vea kohta tuleks säilitada korratav näide, mõju kirjeldus ja vastutaja. Kui pakkuja teeb paranduse, peaks järgmine katse näitama, kas sama probleem kadus ning kas muutus tõi kaasa uue piirangu. Ainult märge, et küsimus on lahendatud, ei anna ostjale piisavat alust kontrolli lõpetamiseks.

Samuti peaks asutus otsustama, milline tulemus takistab kasutuselevõttu ning millise piirangu saab töökorraldusega maandada. Neid otsuseid ei saa usaldusväärselt teha alles pärast demonstratsiooni nägemist. Eelnevalt kirjeldatud lävend aitab hoida eri pakkumiste hindamise võrreldavana. Käesolev lugu ei esita ühegi mudeli tehtud auditi tulemusi ega soovita mudelit ilma oma kontrollita kasutusele võtta.

Mida soovitusest edaspidi jälgida?

Järgmine sisuline areng oleks konkreetne otsus hindamisvõimekuse, ligipääsu või rakendatava menetluse kohta. Sellel oleks oma allikas ja kuupäev. Ekspertide üleskutse ei tohiks hilisemates kokkuvõtetes muutuda märkamatult juba jõustunud nõudeks. Uudise liigi täpne säilitamine aitab nii hanke korraldajal kui ka teenusepakkujal oma tegevust põhjendada.

Hankija saab seni muuta nähtavaks oma olemasoleva tõendivajaduse. Millist otsust raport toetab, millise kasutusjuhu kohta see käib ja kes vastutab lahtise küsimuse lahendamise eest? Need vastused aitavad hinnangu piire mõista ka siis, kui Euroopa tasandi korraldus alles areneb. Üksnes sõna „sõltumatu” lisamine lepingusse ei anna sama selgust.

Hindamiskulusse tuleks arvestada ka asutuse enda aega: testandmete ettevalmistus, tulemuse ülevaatus ja paranduse järelkontroll. Kui see töö jääb kavandamata, võib kontroll piirduda formaalse aruande vastuvõtmisega. Nähtav vastutaja ja eraldatud tööaeg muudavad nõutud tõendi praktiliselt kasutatavaks ning aitavad hiljem selgitada, miks süsteem lubati või ei lubatud kindlasse teenusesse.

Juhtpilt on Euroopa Komisjoni ametlik üldgraafika ega kujuta nõuandekogude kohtumist. Pildikrediit: Euroopa Komisjon.

KKK

Korduma kippuvad küsimused

5 küsimust
Kas avaldus muudab tehisarumäärust?

Ei, käsitletud dokument on ekspertide soovitus. Uus õiguslik kohustus vajaks eraldi alust.

Kes seisukoha avaldasid?

Selle esitasid Komisjoni teaduse peanõustajate ja eetikanõustajate rühmad. Komisjoni ülevaade avaldati 16. novembril.

Mida sõltumatu hindamine siin tähendab?

Nõustajad soovivad Euroopa enda kontrollivõimekust. Konkreetse hindamise ulatus sõltub ligipääsust ja kokkulepitud meetodist.

Kas tootja testiaruandest piisab?

See võib anda vajalikku infot, kuid ei võimalda alati tulemust korrata. Ostja peab teadma, milline tõend tema otsust tegelikult toetab.

Millal võiks kontrolli korrata?

Seda võiks kaaluda süsteemi olulise muudatuse korral. Käesolev lugu ei kehtesta uut kohustuslikku kordushindamise ajakava.

Parandused

Avaldamise järel sisulisi parandusi ei ole.

Teata veast →

Artikli autor

Kristjan Krimm

Nädala viis

Viis olulist signaali sinu postkasti.

Üks kord nädalas: praktilised AI-signaalid, tööriistauudised ja olulised muutused. Ilma mürata.