MiniMax M3.1 Flash langetab agentmudeli tokenihinda, kuid ülesandekulu vajab testi

MiniMaxi uus M3.1 Flash on suunatud ülesannetele, kus mudel kirjutab koodi, kasutab arvutit või juhib mitmest sammust koosnevat töövoogu. Ettevõtte 19. oktoobri teadaanne kinnitab teenuse kättesaadavust, kuid mudelikaalud lubatakse avaldada hiljem. Praegust API-väljalaset ei saa seetõttu käsitleda valmis kohaliku juurutuse võimalusena.

Reuters kajastas väljalaset samal päeval, omistades jõudluse paranemise MiniMaxile. See eristus on ostuotsuse jaoks oluline: uudise sõltumatu kajastus kinnitab teadaannet, mitte tootja testitulemuste sõltumatut kordamist. Avaldatud hinnakirja saab kasutada arve prognoosimiseks; eestikeelse agenttöö edukust sellest tuletada ei saa.

Buildrya hinnangul on selle väljalaske praktiline küsimus, kas odavam mudelikutsung vähendab ka ühe korrektselt lõpetatud ülesande kogukulu. Vastuse leidmiseks tuleb hinnale lisada tööriistad, korduskatsed ja inimese kontroll. Järgnev võrdlusraamistik on toimetuse analüüs, mitte väide M3.1 Flashi mõõdetud tulemustest Eesti ettevõtetes.

Tokenihind on alles kulumudeli esimene rida

Hinnakirjas eristatakse sisendit, väljundit ja vahemälust loetavat sisendit. Agenttöö kuluprognoos peaks tegema sama. Üks keskmine tokenihind võib anda eksitava pildi, kui töövoog loeb korduvalt pikki dokumente või genereerib suure hulga koodi, mida lõpuks kasutusse ei võeta.

Näiteks saab ettevõte arvestada mudeliarvet tegelikult logitud sisend- ja väljundmahu põhjal ning lisada sinna eraldi täitmiskeskkonna arve. See arvutus ei vaja oletust, et odavam mudel on sama võimekas: kvaliteeti mõõdetakse järgmisel sammul. Ka vahemälu võimalik sääst tuleks arvestada tegeliku kasutuse, mitte kogu sisendi mahu järgi.

Odav ebaõnnestunud jooks on endiselt kulu. Kui agent vajab ülesande lõpetamiseks uusi katseid, tuleb nende mudeli- ja tööriistakulu jagada edukalt vastu võetud tulemuste arvuga. Sama kehtib katkestatud tööde kohta, mis ei jõua kasutajale nähtava väljundini.

Edu tuleb defineerida enne mudelite võrdlemist

Eestikeelses klienditoe töövoos võiks vastuvõtukriteerium hõlmata õiget vastust, korrektset keelt, viidet alusdokumendile ja keelatud andmete puudumist. Arveandmete töötlemisel on olulisemad väljade täpsus, summade klappimine ning teadlik loobumine juhul, kui sisend ei võimalda kindlat vastust. Need on erinevad katsed, isegi kui mõlemad kasutavad sama mudelit.

Võrdluse jaoks tuleks valida päris töödest eraldatud testikomplekt ja anda kõigile mudelitele samad tööriistad, õigused ning ajapiirangud. Sisendite hulgas peaks olema nii tavalisi kui ka vigaseid juhtumeid. Vastasel juhul võib hea keskmine tulemus varjata olukordi, kus agent teeb kõige kallimaid eksimusi.

Keelekvaliteeti ei tasu taandada ladususele. Agent võib kirjutada soravalt, kuid valida vale kliendi, tõlgendada kuupäeva valesti või jätta tingimuse arvestamata. Eesti keeles tehtava töö vastuvõtt peab hindama nii sisu kui ka tegevust, mitte ainult vastuse stiili.

Tootja kiirusnäit ei ole töövoo valmimisaeg

MiniMax kirjeldab uut mudelit varasemast ligi kolm korda kiiremana. Pika agenttöö puhul võib kasutaja oodata aga failide lugemist, võrguvastuseid või testi lõppu. Kiirem tekstigenereerimine vähendab ainult seda osa ooteajast, mille põhjustab mudel ise.

Seetõttu võiks võrdluses mõõta eraldi aega esimese vastuseni, kogu töö kestust ja aega inimese lõpliku heakskiiduni. Ühtlasi tuleks märkida, kas agent lõpetas lubatud sammude piires või jäi sama tegevust kordama. Viimane võib muuta väikese tokenihinna juureski töövoo aeglaseks ja ebamugavaks.

Tootja võrdlustestid aitavad valida katsetamise kandidaate, kuid ei asenda sama ettevõtte tööde peal tehtud võrdlust. Avaldatud teadaanne ei anna alust öelda, et M3.1 Flash on eestikeelses klienditoes või raamatupidamises mõnest konkreetsest konkurendist parem. Selle järelduse jaoks on vaja vastavaid tulemusi.

Inimese parandused võivad hinnavõidu ära süüa

Juht peaks küsima lisaks API-arvele, mitu minutit kulus tulemuse kontrollimiseks ja parandamiseks. Kui kontrollija peab iga kord kogu töö uuesti läbi tegema, võib mudeli madal hind mõjutada kogukulu vähe. Kui väljundit saab kiiresti kontrollida objektiivsete reeglitega, on tokenihinna muutusel suurem võimalus tulemuseni jõuda.

Arenduses võiks vastuvõtu aluseks olla ülesande nõuete täitmine, olemasolevate testide läbimine ja muudatuse ülevaatus. Ettevõtte infosüsteemis võiks kontroll hõlmata kirjutatud kirjete võrdlust kavandatud muudatustega. Neid tulemusi tuleb säilitada koos mudeliversiooni ja töövoo seadistusega, et hilisem võrdlus oleks korratav.

Piiratud piloot võiks alata lugemisõigusega või pööratavate tegevustega. Raha liigutamise, andmete kustutamise ja väliste sõnumite saatmise jaoks tuleb hinnata eraldi vea tagajärge. Odavam arvutus ei ole iseenesest põhjus anda agendile rohkem õigusi.

Kohalik käitamine vajab eraldi otsust

Lubadus avaldada kaalud hiljem ei määra veel kasutuslitsentsi, riistvaranõudeid ega kohaliku teenindamise kulu. Kuni neid tingimusi pole kontrollitud, tuleb API ja võimalik tulevane kohalik lahendus hoida ostuplaanis eraldi. Muidu võib ettevõte teha arhitektuuriotsuse funktsiooni põhjal, mida tal veel kasutada ei ole.

Eesti ettevõttele annab väljalase põhjuse lisada M3.1 Flash kontrollitud mudelivõrdlusse. Edasine otsus võiks põhineda vastuvõetud tulemuse hinnal ja kvaliteedil koos selge veapiiriga. Konkurentide tulevasi hinnamuutusi ega selle mudeli tegelikku kokkuhoidu ei saa üksnes praeguse teadaande põhjal kinnitada.