Liquid AI avaldas LFM3 väikesed mudelid; kohalik eestikeelne töövoog vajab katset

Liquid AI LFM3 ühendab ligikaudu kahe miljardi parameetri suurusklassi teksti-, nägemis-, heli-, multimodaalsed ja otsustusmudelid. Ametlik väljalasketeade viitab kaaludele Hugging Face’is, katsekeskkonnale ja ettevõtte API-le. VentureBeat kajastas samuti väljalaset ning kohalikku kasutust.

Keskne praktiline küsimus on, kui suure osa konkreetsest töövoost saab ettevõte enda riistvarale viia. Väiksem mudel võib olla sobiv kandidaat korduva ülesande jaoks, kuid kohalik paigaldus ise ei kinnita kvaliteeti, andmete täielikku paiknemist organisatsioonis ega madalamat kogukulu.

Mudel tuleb valida ülesande järgi

Tekstimudeli LFM3-1.7B dokumentatsioon nimetab tööriistakutseid, struktureeritud väljundit ja kohandamist kasutusjuhtudena. Samal ajal ei soovita tootja seda väikese mahu tõttu keerukaks mitmesammuliseks arutluseks või agendipõhiseks programmeerimiseks. See piirang aitab sõnastada realistliku esimese katse.

Näiteks võiks assistent liigitada siseneva pöördumise, lugeda etteantud dokumendist välju või pakkuda välja lubatud toimingu. Sellise töö edukust saab kirjeldada enne mudeli valimist. Üldine eesmärk kogu kontoritöö automatiseerida ei anna piisavalt selget kriteeriumi, mille vastu tulemust kontrollida.

Eri sisendiliikide toetamine ei tähenda, et kõiki tuleks esimeses rakenduses korraga kasutada. Pildist, kõnest ja tekstist koosnev töövoog vajab iga etapi jälgitavust. Kui lõpptulemus on vale, peab olema võimalik kindlaks teha, kas eksimus tekkis sisendi lugemisel, tähenduse mõistmisel või toimingu valikul.

Eesti keelt tuleb hinnata eraldi

Tekstimudeli avalik spetsifikatsioon loetleb toetatud keeli, kuid eesti keelt nende seas pole. Sellest ei järeldu, et eestikeelne sisend üldse ei töötaks; küll aga puudub alus lubada selle ametlikult kinnitatud kvaliteeti. Helifunktsioonide sobivust ei saa omakorda tuletada tekstimudeli tulemustest.

Eestikeelse piloodi katseandmestik võiks sisaldada päris tööga sarnaseid nimesid, kuupäevi, aadresse ja erialatermineid. Sünteetiliselt lihtsad laused jätavad varju olukorrad, kus assistent peab eristama sarnase kõlaga kliendinimesid või aru saama parandatud korraldusest.

Kõne puhul tasub eraldada transkriptsiooni täpsus käsu täitmise täpsusest. Pildilt lugemise puhul tuleks lisaks ilusale näidisdokumendile proovida halba valgust, pööratud pilti ja puuduvat välja. Eesmärk on leida piir, mille juures süsteem peab töö inimesele üle andma.

Mudeli suurus ei võrdu rakenduse mälukuluga

Liquid kirjeldab tekstimudelit umbes ühe gigabaidisena neljabitise täpsuse korral. See on mudeli kohta käiv suurusjärk, mitte kogu assistendi mälueelarve. Rakendus vajab lisaks töömälu, konteksti hoidmist, sisendi töötlemist ja ühendusi teiste komponentidega.

Praktilises katses tuleks mõõta mälukasutuse tippu koos tavapärase sisendiga. Lühikese käsu tulemust ei tohiks laiendada pikale dokumendile või mitmele samaaegsele kasutajale. Samuti on eraldi küsimused käivitusaeg, esimese vastuse ooteaeg ja kogu ülesande lõpetamiseks kuluv aeg.

Seadme kuumenemine ja muu töökoormus võivad muuta kasutuskogemust ka siis, kui mudel eraldiseisvas katses kiiresti vastab. Seetõttu võiks võrdlus toimuda sellel arvutil või terminalil, millel teenus päriselt tööle hakkab. Tootja mõõtmised annavad lähtekoha, aga otsustamiseks on vaja oma mõõteprotokolli.

Kohalik järeldamine ei taga võrguühenduseta töövoogu

Mudel võib töötada seadmes, samal ajal kui assistendi kasutatav otsing, kliendiregister või kõnekomponent vajab välist teenust. Andmete liikumine sõltub kogu rakendusest. Selle hindamiseks tuleb vaadata tööriistakutseid ja ühendusi, mitte ainult mudelifaili asukohta.

Võrguühenduseta katses võiks ühenduse päriselt katkestada ning kontrollida, millised funktsioonid säilivad. Rakendus peaks kasutajale ütlema, kui toiming on ootele jäänud. Vaikne ebaõnnestumine või teadmata hetkel hiljem saadetud käsk võib muuta muidu mugava assistendi raskesti juhitavaks.

Ka õigused tuleks siduda konkreetse ülesandega. Kohalik mudel, millel on ligipääs kõigile dokumentidele ja muutmisõigus mitmes süsteemis, ei muutu pelga paigalduskoha tõttu usaldusväärseks. Esimene piloot võiks anda assistendile vaid vajaliku lugemisõiguse ning nõuda muutmiste kinnitamist.

Avatud kaaludega kaasnevad kasutustingimused

Ametlik mudelidokumentatsioon viitab LFM Open License v1.0 tingimustele. Tootja litsentsileht seob tasuta ärikasutuse ettevõtte käibest sõltuva piiranguga ning kirjeldab eraldi kommertslitsentsi vajadust selle ületamisel. Seetõttu ei tähenda kaalude allalaaditavus tingimusteta kasutusõigust.

Kogukulu võrdlusse tuleks panna riistvara, haldus, uuendused, vajaduse korral litsents ning inimese tehtav kontroll. API tokenitasu kadumine kohalikus käitamises ei kaota neid kulusid. Otsuse aluseks võiks olla ühe õigesti lõpetatud töö maksumus koos ebaõnnestunud katsete ja parandustega.

AI-Radari soovitatud katse on üks piiritletud eestikeelne töövoog, mille senine tulemus ja tööaeg on teada. Mudeli võiks tootmisse viia alles siis, kui mõõdetud kvaliteet, vajalikud õigused ja hoolduskulu sobivad selle töö riskiga. See on hindamismeetod, mitte selles loos tehtud jõudlustest.