Meta Muse Wonder lubab pikemat agenttööd ja vestlusteülest mälu

Meta positsioneerib Muse Wonderi perekonda isiklike ja professionaalsete agentide alusena. 12. oktoobri ametlik teade ning Reutersi sama päeva kajastus kinnitavad kahe mudeli avaldamise. Meta uurimisblogi kirjeldab kesksete omadustena mälu, pikema töö jätkamist ja programmeerimisvõimekust.

Buildrya vaates on oluline muutus töö kestuses. Kui agent peab eri vestlustest vajalikku meenutama ja mitme takistuse järel sama eesmärgi nimel jätkama, muutub lisaks mudeli vastuse kvaliteedile oluliseks kogu töövoo juhtimine. Püsivus aitab ainult siis, kui agent jätkab õiget ülesannet õige info ja kehtivate õigustega.

Milline ligipääs päriselt avati?

Meta eristab Wonderit ja Wonder Fulli. Wonder on teate järgi kasutatav API ja Muse Code’i kaudu; Fulli esmane kanal on Muse Code’i tellimus. Muse’i isiklikku agendikogemusse lubatakse Wonder tuua järk-järgult, alustades tellijatest. Seega ei tähenda mudelite avaldamine kõigi kasutajate automaatset üleminekut samal päeval.

Samuti ei kinnita need teated Wonderi kaalude avalikku allalaadimist. API kasutamine, rakenduse tellimine ja mudeli enda kohalik käitamine on erinevad ligipääsuvormid. Ostja peab vaatama just oma kanali tingimusi, et mitte võrrelda teenuse tellimust kaalude omamise või iseseisva haldamisega.

Active Memory vajab parandamise võimalust

Meta kirjeldab Active Memoryt võimena kanda olulist konteksti vestluste vahel ja tuua see sobival hetkel tagasi. Kasutaja jaoks võib see vähendada vajadust eesmärke ja eelistusi uuesti seletada. Pikema projekti juures on väärtuslik, kui süsteem ei kaota kokkuleppeid iga uue vestluse alguses.

Mälu kasulikkus sõltub aga ka sellest, mis juhtub vale või aegunud infoga. Kui kasutaja eelistus muutub, peab agent suutma vana eeldust parandada. Meeskonnas lisandub küsimus, kelle teadmine on ühine ja kelle oma isiklik. Need on rakenduse hindamiskriteeriumid; tootja funktsiooninimi ei tõenda iseenesest, et iga integreerija need piirid õigesti lahendab.

Active Focus ei ole piiramatu tegutsemisõigus

Active Focus kirjeldab Meta järgi tööd keerulise eesmärgi nimel: teise lähenemise proovimist, vigadest taastumist ja vajaduse korral täpsustamist. Programmeerimisel võib selline käitumine aidata läbida mitut muutmis- ja kontrolliringi. Ühe vastuse asemel hinnatakse siis pikemat tegevuste ahelat.

Pikem ahel vajab ka lõpetamise tingimust. Agent peab teadma, millal tulemus on vastuvõetav, millal eelarve lõpeb ja millise sammu eel on vajalik inimese otsus. Vastasel korral võib visa töö muutuda korduvateks katseteks, mis ei paranda tulemust. Töövoo omanik peaks nägema, mida agent juba proovis ja millise uue info põhjal ta jätkab.

Võimekusväited vajavad oma ülesannete katset

Meta esitab Wonderi perekonda oma seniste kõige võimekamate mudelitena ja kirjeldab häid tulemusi agentide, mälu ning koodi hindamisel. Need on tootja avaldatud tulemused. Reutersi uudis kinnitab väljalaset ja konkurentsikonteksti, kuid ei muuda ettevõtte hindamisi sõltumatuks kvaliteedigarantiiks.

Ettevõtte katse võiks sisaldada nii tavapärast edukat ülesannet kui ka olukorda, kus sisend muutub poole töö pealt. Mälu puhul saab kontrollida aegunud eelistuse parandamist; fookuse puhul seda, kas agent reageerib uuele piirangule. Kooditöö puhul peab lõpptulemus läbima samad kontrollid, mida nõutakse meeskonna muudelt muudatustelt. Nii mõõdetakse kasulikku tööd, mitte ainult veenvat tegevuse kirjeldust.

Ohutuse hindamine jätkub pärast tutvustust

Meta teatab, et mudelid on treenitud privaatsust kaitsma ja kahjulikke tegevusi tagasi lükkama. Väljalasketeates lubati täiendavat ohutushindamiste raportit hiljem. Seda ajastust tuleb säilitada: hiljem lubatud materjali ei saa käsitleda avaldamispäeval juba kättesaadava täieliku tõendusena.

Praktiline juurutus võiks seetõttu alata piiratud õigustega. Mälust pärit info peaks olema kontrollitav ja oluline väline toiming kasutajale arusaadav. Kui testid näitavad paremat tulemust ning piirid toimivad, saab kasutust laiendada. Mudeli üldine võimekus ei asenda rakenduse enda andme-, ligipääsu- ja eelarveotsuseid.

Mälu ja püsivust saab katsetada ühe stsenaariumiga

Praktiline võrdlus võiks alata ülesandest, mille nõuded muutuvad poole töö peal. Agent saab esmalt ühe tähtaja ja eelarve, hiljem parandatakse mõlemat. Hindaja saab jälgida, kas mudel kasutab lõpptulemuses uut infot, selgitab vastuolu ning jätab vana kokkuleppe kõrvale. Selline katse ühendab mälu kasulikkuse ja eesmärgi ajakohastamise, ilma et peaks toetuma üksnes tootja demonstratsioonile.

Seejärel võib sama töö katkestada ja uues vestluses jätkata. Kas agent oskab öelda, mis on valmis, mis kontrollimata ja milline otsus vajab kasutajat? Kas ta toob tagasi vajaliku konteksti või ka kõrvalise isikliku info? Vastuste hindamine peaks keskenduma tegevusele ja tulemusele, mitte sellele, kui enesekindlalt mudel oma mäletamist kirjeldab.

Meeskonna jaoks muutub eriti oluliseks konteksti omanik. Ühe inimese isiklik eelistus ei tohiks märkamatult muutuda kogu projekti reegliks. Töömälu parandamine ja kustutamine peab seetõttu olema arusaadav osa teenusest. Need kriteeriumid aitavad eristada kasutajale kasulikku järjepidevust olukorrast, kus agent kannab lihtsalt varasemaid eeldusi liiga kaua edasi.