Mistrali Voxtral 3 seob hääleagendi töövoo; eesti keele kvaliteet vajab eraldi katset

Millal Voxtral 3 välja tuli?

Mistrali muudatuste logi märgib 20. oktoobri alla neli uut kõnemudelit ja hallatud Voice Agentsi töövoo. Sama päeva näitavad mudelikaardid. Sõltumatu The Decoder kajastas väljalaset samuti 20. oktoobril. Nende tõendite põhjal on see artikli sündmuse kuupäev; täpset esmast avaldamiskellaaega me ei kinnitanud.

Kuupäevade kontrollis ilmnes vastuolu: turundusblogi struktureeritud metaandmed annavad avaldamise ja muutmise ajaks 22. oktoobri. Seda hilisemat väärtust ei käsitleta mudelite esimese väljalaskepäevana, sest Mistrali enda muudatuste logi ja mudelikaardid kinnitavad varasemat päeva. Süsteemis kasutatav Tallinna südaöö on kuupäeva tehniline esitus, mitte tõend avaldamiskellaajast.

Kättesaadavuse puhul tuleb säilitada teine oluline eristus. Mistrali dokumentatsioon nimetab uusi mudeleid avalikuks eelvaateks. See võimaldab arendajatel katsetada, kuid sellest ei järeldu, et kõigi liideste, hindade ja tootmiskasutuse tingimused jäävad muutumatuks. Konkreetse rakenduse kavandamisel tuleb need üle kontrollida valitud teenuse ja lepingu tasandil.

Mis ühe hääleagendi sisse kuulub?

Väljalaskeperekonda kuuluvad Voxtral Small Transcribe 3, Voxtral Mini Transcribe 3, reaalaja transkriptsiooni variant ja Voxtral TTS 3. Mistrali kirjeldatud SDK ühendab kuulamise, mudeli arutluse, tööriistakutsed ja kõnevastuse. Ettevõtte blogi järgi põhineb see LiveKitil ning komponendid on eraldi mudelitena vahetatavad.

AI-Radari hinnangul seisneb praktiline väärtus kogu vestlusvoo sidumises. Salvestisest teksti tegemine on üks ülesanne. Telefonikõne käigus kasutaja paranduse mõistmine, sobiva tegevuse valimine ja tulemuse arusaadav kinnitamine nõuavad mitme etapi koostööd. Ühe komponendi hea mõõtetulemus ei taga, et kogu ahel toimib sama hästi.

Näiteks võib agent kliendi numbri õigesti kuulda, kuid edastada tööriistale varasema väärtuse. Või võib õige tegevus küll toimuda, ent kõnevastus anda kasutajale vale summa. Need on meie näited testitavatest vigadest, mitte väited Voxtraliga tehtud katsest. Just sellised lahknevused tasub mõõtmises eraldi välja tuua.

Eesti keele kohta on tõend kitsam kui üldlubadus

Mistrali avaldatud transkriptsiooni võrdluste keeleloendites on tähis ET. See näitab, et eesti keel kuulub vastavasse hindamisse. See ei anna iseseisvalt teada, kuidas mudel tuleb toime kohalike nimede, murdelise kõne, telefonikvaliteedi või mõne ettevõtte erialaterminitega. Ka mitme keele keskmine tulemus ei kirjelda ühe keele kõiki kasutusjuhtumeid.

Kõnesünteesi kohta on allikad omavahel ebaühtlased. Turundusblogi räägib enam kui 35 keelest, samal ajal kui TTS 3 mudelikaart nimetab üheksat. Me ei ühenda neid erinevaid kirjeldusi üheks kindlaks toetatud keelte arvuks. Eelkõige ei tuleta me transkriptsiooni eesti keele hindamisest lubadust, et sama perekond oskab sobiva kvaliteediga eesti keeles vastata.

On The Wire juhtis samuti tähelepanu ametlike materjalide lahknevustele. Väljaanne ütleb ise, et seda toodab AI-süsteem. Seetõttu kasutame seda läbipaistvalt lisakajastusena ning kontrollime keskseid väiteid Mistrali materjalidest. Väljalaske sõltumatuks ristkontrolliks on lisatud ka The Decoderi inimautoriga kajastus.

Hinnasilt ja oma taristu vajavad täpset ulatust

Small Transcribe 3 mudelikaardil on hind 0,004 dollarit minuti kohta. TTS 3 kaart annab hinnaks 13 dollarit miljoni märgi kohta. Need on erinevate etappide hinnad erineva mõõtühikuga, mitte ühe lõpetatud teeninduskõne kogukulu. Briefis nimetatud hinnalahknevust ei esitata üldise faktina: kontrollitud Smalli ja TTS-i hinnad kattuvad blogi vastavate ridadega.

Mistral kirjeldab ka oma taristus käitamise võimalust ning suunab kogu lahenduse kohaliku või privaatpilve paigalduse huvilised ettevõtte poole. Sellest ei järeldu, et Voxtral 3 kaalud oleksid vabalt allalaaditavad või et paigaldus oleks kindla avatud litsentsiga. Kohapealse kasutuse õigused, komponendid ja vajalik riistvara tuleb eraldi kokku leppida.

Samuti vajab piirkondliku töötluse lubadus tervet andmevoogu hõlmavat kontrolli. Meie hinnangul ei piisa ühe API asukoha teadmisest, kui telefoniteenus, logid või tööriistaühendused asuvad mujal. Konkreetse juurutuse hindamisel tuleks kaardistada, kuhu heli, transkript ja tegevuslogi liiguvad ning kui kaua neid säilitatakse.

AI-Radari katse: üks eestikeelne teeninduskõne

Soovitame alustada piiratud ülesandest, näiteks aja broneerimise ettevalmistusest testkeskkonnas. Katse võiks sisaldada eesti nimesid, aadresse, kuupäevi ja summasid. Iga kõne puhul tuleks salvestada oodatud lõpptulemus, et hiljem ei hinnataks ainult seda, kas vestlus kõlas meeldivalt. Kasutada saab väljamõeldud andmeid ja tegelikust toimingust eraldatud tööriista.

Järgmises voorus võiks klient ennast parandada: öelda vale number, katkestada agent ning muuta soovitud aega. Kontrollida tuleb, kas tööriist sai viimase kinnitatud väärtuse ja kas agent loobus aegunud plaanist. Katkestusele reageerimise kiirus ning tegevuse õigsus on siin kaks eraldi mõõdikut. Kiire kõnevastus ei korva valet broneeringut.

Seejärel tasub lisada müra ja erinev kõnetempo. Üldise transkriptsioonivea kõrval võiks lugeda valesti mõistetud nimesid ning numbreid. Mõni väike sõnaviga ei muuda ülesande tulemust; üks vale kontonumber võib seda teha. Hindamisviis peaks arvestama sellist erinevat kaalu, mitte käsitlema kõiki vigu võrdselt.

Viimaks tuleks mõõta lõpetatud ja kontrollitud ülesande kogukulu. Selle sisse kuuluvad kasutatud teenused, ebaõnnestunud katsed ja inimesele üleandmine. Eelvaates lahenduse puhul on eriti tähtis säilitada mudeli täpne versioon ja katse aeg. Nii saab hilisema muudatuse mõju võrrelda sama andmestiku ning samade edukuse tingimustega.