Anthropic avas Claude Dueti eelvaate: taustaagendi väärtus sõltub otsustusvigadest

Anthropic tutvustas 21. oktoobril Claude Dueti, mis võtab ühendatud rakendustes toimuvast ise järje üles. Reuters kinnitas toote väljakuulutamist ja piiratud ligipääsu. Eesti kasutajale pole see teade kohaliku saadavuse kinnitus: esimene programm on suunatud USA tellijatele.

Buildrya hinnangul on otsustav küsimus, kas kasutaja tähelepanu juhtiv agent vähendab tema töökoormust. Hästi sõnastatud kokkuvõte ei aita, kui kiireloomuline asi jääb märkamata või teavitused sunnivad kogu postkasti uuesti üle vaatama. Selle eristamiseks on vaja tegeliku töövoo võrdlust.

Pilves jätkuv töö vajab selget ülesande piiri

Anthropicu järgi kasutab Duet Opus 5.5 mudelit, oma virtuaalmasinat ja brauserit. Ühendatud rakendusi kontrollitakse mõnetunniste vahedega. Seega pole mõistlik ehitada selle peale töövoogu, mis eeldab iga uue sündmuse viivitamatut märkamist.

Esimene katse võiks piirduda ühe korduva ülesandega: näiteks järgmise tööpäeva kohtumiste ettevalmistamisega. Edu tähendab siis, et vajalik kontekst on õigeks ajaks olemas, osalejad ja ajad on õiged ning puuduv info on nähtavalt välja toodud. Üldine käsk „hoia kõigel silma peal” jätab hindamise liiga ebamääraseks.

Katse alguses tuleks kirja panna, millised andmed on ülesandeks vajalikud ja millise tulemuse peab agent üle andma. Sama tähtis on määrata, kellele ta vea või ebaselguse korral teatab. Nii saab hiljem eristada puudulikku juhist agendi puudulikust täitmisest, ilma et vastutus vestluse sisse kaoks.

Märkamise kvaliteet vajab ka puuduvate teadete kontrolli

Teavituste arvu on lihtne lugeda, nende kasulikkust raskem hinnata. Soovitatav piloot peaks eraldi koguma õiged tähelepanekud, põhjendamatud teated ja vajalikud teated, mida agent ei saatnud. Viimased ilmuvad nähtavale ainult siis, kui inimene võrdleb tulemust algandmetega.

Näiteks võib kohtumisaja vastuolu õigesti märganud agent säästa ühe töökatkestuse. Samal päeval kümne ebaolulise teate kontrollimine võib selle võidu ära kulutada. Üksik õnnestumine ei anna seetõttu piisavat alust laiendada ligipääsu teistele rakendustele.

Mõistlik on hinnata ka vea tagajärge. Madala tähtsusega meeldetuletuse puudumine ja kliendile lubatud tähtaja märkamata jätmine ei ole võrdsed eksimused. Piloodi raportis tuleks anda suurema kaaluga vigadele eraldi kirjeldus, mitte peita neid keskmise täpsusprotsendi sisse.

Kinnitamine ei asenda tegevuse sisulist kontrolli

Anthropic ütleb, et sõnumi saatmine, makse, allkirjastamine ja kustutamine vajavad kasutaja kinnitust. Need on tootja kirjeldatud kaitsemeetmed. Neid ei saa käsitleda sõltumatu tõendina, et ekslik tegevus ei jõua kunagi täitmiseni.

Ettevõtte töövoos peaks kinnitus näitama adressaati, tegevuse täpset sisu ja mõju. Kui kasutaja peab heakskiitmiseks avama algdokumendi, taastama konteksti ning kogu arvutuse uuesti tegema, on automatiseerimise ajavõit väiksem kui valmis vastuse põhjal paistab.

Piloodis tasub proovida ka katkestamist: anda ülesanne, muuta vahepeal tingimust ja kontrollida, kas vana kavatsus jääb täitmata. Katse peaks toimuma pööratavate näidisandmetega. Eesmärk on mõista, kuidas korraldus muutub tegevuseks ning kas inimene saab seda enne tagajärge parandada.

Limiit ühendab taustaagendi ülejäänud Claude'i kasutusega

Dueti taustakontrollid ja suuremad ülesanded kulutavad Anthropicu teatel olemasoleva paketi kasutuslimiiti. See muudab majandusliku hindamise keerulisemaks kui lihtsalt uue rakenduse kuutasu vaatamine: üks töövoog võib võtta ressursi teiselt.

Katse ajal tuleks seetõttu märkida, millal limiit piirab muud vajalikku tööd. Kui hommikune ülevaade on kasulik, kuid hiljem jääb olulisem analüüs ressursipuuduse tõttu pooleli, tuleb mõlemat tulemust koos hinnata. Ilma sellise arvestuseta võib kõrvaltegevus näida odavam, kui see tegelikult on.

Kulutatud limiidi kõrval tuleks koguda inimese minutid: seadistamine, kinnitamine, parandamine ja taastamine. Võrdlus sama ülesande tavapärase täitmisega annab praktilisema tulemuse kui agendi koostatud failide või sõnumite arv.

Ligipääsu laiendamine võiks sõltuda piloodi tulemusest

Ühe eduka nädala järel pole vaja automaatselt kõiki kontosid ühendada. Mõistlik järgmine samm on laiendada ühte selgelt määratletud töövoogu ning korrata mõõtmist. Uus rakendus võib lisada teistsuguseid andmeid, õigusi ja eksimise tagajärgi.

Eesti ettevõtte jaoks on praegu kasutuselevõtust olulisem hindamisraami ettevalmistamine. Avalik teadaanne ei kinnita siinset ligipääsu ega kohalike töövoogude toimimist. Samuti ei järeldu ühenduse tehnilisest olemasolust, et konkreetse organisatsiooni andmete kasutamiseks on vajalikud kokkulepped tehtud.

Edukas tulemus oleks selgelt piiritletud ülesanne, mis saab tehtud väiksema kogutööga ning mille eksimused tulevad õigel ajal nähtavale. Kui seda ei õnnestu näidata, on põhjendatud katset kitsendada. Eelvaate väärtus võibki seisneda selles, et selgub, milliseid otsuseid tuleb veel inimesel hoida.