Anthropic piirab Claude’i mõttekäikude väljavõtmist; kaitsel on ka kliendikulu

Anthropic avaldas 12. oktoobril ülevaate kaitsetest, millega püüab raskendada Claude’i võimekuste loata kopeerimist. Reuters kajastas sama päeva loos ettevõtte väidet, et uued meetmed vähendasid oluliselt distilleerijate saadavat andmemahtu. Uudise keskne arv kirjeldab Anthropicu enda hinnangut, mitte sõltumatut mõõtmist kogu AI-turu kohta.

Buildrya jaoks on praktiline küsimus, kuidas mudeli kaitsmine muudab teenuse kasutamist. Kui API käitumine, konteksti töötlemine või blokeeritud päringu arveldamine muutub, peab arendaja seda teadma ka siis, kui tema rakendus ei tegele mudelite treenimisega. Turvamuudatus võib mõjutada nii töökindlust kui ka ühe lõpetatud ülesande kulu.

Millist tegevust ettevõte piirab?

Distillatsioon tähendab üldisemalt ühe mudeli väljundite kasutamist teise mudeli õpetamiseks. Kõik selle nime alla kuuluvad meetodid ei ole iseenesest sama staatusega. Anthropicu teade keskendub loata ja varjatud kampaaniatele, sealhulgas võltskontode võrkudele, millega püütakse kaitstud võimekusi suures mahus välja võtta.

Ettevõte peab eriti väärtuslikuks andmeks mudeli peidetud mõttekäikude kirjeldusi. Seetõttu suunab ta kaitsed eelkõige nende kättesaadavuse piiramisele. Sellest ei järeldu, et tavaline põhjenduse küsimine või iga suur päringumaht oleks tõend kuritarvitusest. Eristamine sõltub päringute sisust ja laiemast kasutusmustrist.

Kaitse puudutab tervet päringuahelat

Anthropic kirjeldab konteksti ja mõttekäikude kasutamise piiranguid, väljavõtmiskatsete klassifitseerimist ning korduvate katsete takistamist. Üksnes ühe keelatud sõnastuse blokeerimisest ei piisa, kui sama eesmärki saab proovida teise konto, mudeli või vestluse kaudu. Seetõttu vaatab kaitse lisaks üksikpäringule ka nende seoseid.

Arendaja jaoks tähendab see, et integratsioon peab järgima teenuse toetatud konteksti käsitlemise viise. Kui töövoog muudab varasemaid mõttekäiguplokke või liigutab neid toetamatul viisil, võib varasem tehniline lahendus vajada kohendamist. Muudatuse mõju tuleks kontrollida esindusliku päringukoguga, enne kui seda peetakse mudeli üldiseks kvaliteedilanguseks.

Mida 90–99 protsenti tegelikult mõõdab?

Ettevõte hindab, kui palju tema platvormil Claude’i mõttekäigutokeneid distilleerijatel välja võtta õnnestus. Vähenemine ei ole sama mis kõigi ründajate kadumine, kogu kopeerimise lõpp või mudeli võimekuste samaväärne kaitse igas kanalis. Mõõdiku ulatus on selle tõlgendamisel määrav.

Anthropic möönab ka ise, et vastased võivad kohaneda ja kaitsete pikaajaline püsivus pole teada. Seetõttu oleks eksitav kirjeldada tulemust lahendatud probleemina. Tegu on tootja hinnanguga kindla kaitsekihi mõjule, mille tulemuslikkus võib aja, mudelite ja kasutuskanalitega muutuda.

Ka blokeeritud päring võib arvele jõuda

Anthropic ütleb, et on teatud kaitsevaldkondades taastanud blokeeritud päringute eest tasu võtmise. Ettevõtte järgi on neis valdkondades valepositiivsete määr alla 0,1 protsendi. See on tootja näitaja ning ei tähenda, et ühe konkreetse kliendi ebatavaline töövoog oleks tingimata mõjutamata.

Kliendil tasub seetõttu eristada vastuseta jäänud päringut tasuta päringust. Arvestuses peab olema näha, kas tõrge tekkis sisendi, õiguse, kvoodi või turvakaitse tõttu. Kui rakendus proovib automaatselt sama päringut aina uuesti, võib see kasvatada kulusid ilma töö lõpptulemust parandamata. Korduskatsete piir ja kasutajale arusaadav veateade on siin rakenduse enda otsused.

Mudelivalik hõlmab teenuse käitumist

API-d ostes ei osteta ainult keelemudeli vastamisoskust. Komplekti kuuluvad ka lubatud kasutus, sisendi ja konteksti reeglid, blokeerimine ning arveldamine. Seetõttu võib turvamuudatus olla integratsiooni jaoks sama oluline kui uus mudeliversioon või hinnakirja muudatus.

Mõistlik kontroll vaatab läbi tavapärased ülesanded ja nende ebaõnnestumise harud. Kas süsteem oskab katkestada, säilitada kasutajale vajaliku selgituse ning vältida tarbetut kordamist? See ei kõrvalda tootja kaitsete mõju, kuid aitab eristada teenuse piirangut enda rakenduse veast. Lõplik tasuvus tuleb arvutada vastuvõetud töö, mitte lihtsalt saadetud päringute järgi.

Veaharud tuleb mõõta sama hoolikalt kui edulood

Näiteks võib dokumente töötlev rakendus saada turvabloki sisendile, mida kasutaja peab tavaliseks tööks. Automaatne kordamine sama sisuga ei selgita põhjust ega taga teistsugust tulemust. Rakendus peaks suutma sellise olukorra eristada ajutisest võrguveast ning suunata kasutaja vajaduse korral sisendit või tööviisi muutma. See on töökindluse küsimus isegi siis, kui enamik päringuid läbib teenuse probleemideta.

Kulukontrollis tasub eraldi mõõta esimest katset, korduskatseid ja lõplikult katkestatud töid. Kui arve näitab ainult kogutokeneid, jääb ebaõnnestumise põhjus nähtamatuks. Parema pildi annab seos konkreetse ülesande ja selle katsete vahel. Samas ei pea logi sisaldama kogu tundlikku dokumenti: vea liigi, mudeliversiooni ja päringu identifikaatori säilitamine võib uurimist toetada ka väiksema andmemahuga.

Ka integratsiooni uuendamisel peaks olema tagasipöördumise plaan. Kui uus konteksti käsitlus rikub olemasoleva töö, peab saama eristada enda muudatuse mõju teenuse poolel tehtud muudatusest. Väike esinduslik proov enne laiendamist aitab seda teha. Nii saab turvapiiranguga arvestada ilma, et iga ootamatut blokki tõlgendataks kas rünnaku või mudeli üldise rikkega.