Modal valis Nvidia Vera CPU-d: kuni kahekordne läbilase ilmnes koormuse all

Modal plaanib lisada oma agentide liivakastide taristusse Nvidia Arm-ühilduva Vera keskprotsessorid. Ettevõtte 19. oktoobri tehniline ülevaade kirjeldab esimest serverit ja varaseid sisemõõtmisi. Uudis puudutab Modali kasutuselevõtuplaani, mitte Vera esmakordset esitlemist või kogu Modali taristu väljavahetamist.

Mõõtmistulemust tuleb lugeda koos meetodiga. Modal kasutas 50 Terminal-Benchi ülesande valmislahendust ja kontrollijat, eemaldas võrgukutsed ning käivitas töid eelsoojendatud konteinerites. Kümme ülesannet valiti eraldi graafikule, mis näitas üksiktööde latentsust koormuseta masinal.

Ettevõtte järgi avaldus kuni kahekordne eelis just paralleelse koormuse läbilaskes võrreldes x86 GNR süsteemiga. Koormuseta üksiktestides polnud Vera alati kiirem ega olnud vahe alati suur. Reuters kinnitab lisaks, et Modal jätkab segataristuga: Vera kõrvale jäävad Intel ja AMD.

Läbilase ei ole sama mis ühe agendi kiirus

Läbilase mõõdab kindla aja jooksul lõpetatud tööd, latentsus ühe töö kestust. Pilveoperaator võib suuremast läbilaskest võita, paigutades samale hostile rohkem töid. Üksiku kliendi jaoks on aga otsustav, kas tema töö valmib õigeks ajaks ja sobiva hinnaga.

Seetõttu ei saa „kaks korda rohkem tööd” automaatselt ümber kirjutada lubaduseks „iga agent kaks korda kiirem”. Agent võib suure osa ajast oodata mudelit, välist teenust või andmeid. CPU kiirenemine puudutab ainult neid samme, mille kestust protsessor tegelikult piirab.

Buildrya analüüsis on Modali tulemus eelkõige näide sellest, miks agenttaristut tuleb testida realistliku samaaegsusega. Tühja masina tulemus ei kirjelda tingimata jagatud teenust. Samal ajal ei kirjelda ühe teenusepakkuja koormuskatse kõiki teisi keskkondi.

Võrguta test eraldab CPU, kuid kitsendab järeldust

Modali meetod püüdis eraldada protsessoril tehtava töö muust agenttöövoost. See aitab hinnata riistvara mõju, sest võrgu kõikumine ei varja tulemust. Samas tähendab see, et katse ei mõõda terviklikku agenti koos kõigi mudelikõnede ja väliste tööriistadega.

Pilveostja jaoks oleks järgmine samm lisada võrdlusse oma tegelikud sõltuvused. Kui protsessor töötab kiiresti, kuid ülesanne ootab aeglast API-t, võib lõpptulemuse paranemine jääda väikeseks. Kui töö sisaldab palju kompileerimist või kohalikku andmetöötlust, võib CPU-l olla suurem roll.

Samuti tuleb eristada eelsoojendatud täitmiskeskkonda uue keskkonna käivitamisest. Kasutaja kogetud ooteaeg võib sisaldada konteineri loomist, sõltuvuste paigaldust ja failide toomist. Neid samme tuleks mõõta eraldi, et ostja teaks, millist kogemust võrdlus tegelikult kirjeldab.

Jagatud host vajab koormuse ja stabiilsuse võrdlust

Agentide töö ei pruugi protsessorit ühtlaselt kasutada. Katkendlik intensiivne tegevus võib vahelduda ootamisega ning mitu tööd võivad koormuse tippu jõuda korraga. Seetõttu on pilveoperaatori jaoks oluline, kuidas süsteem käitub erineva samaaegsuse juures.

Mõõta võiks nii lõpetatud tööde hulka kui ka aeglasemate tööde kestust. Hea keskmine ei pruugi aidata klienti, kelle päringud venivad koormuse tippudes. Samuti peab võrdlus säilitama samad tööde prioriteedid ja ressursipiirid, et riistvara mõju ei seguneks erineva planeerimisega.

Avalik sisetest ei asenda pikaajalist töökindluse kogemust. Tootmises tulevad juurde katkestused, riistvarahooldus ja klientide ettearvamatu tarkvara. Modali valik on seega praktiline kasutuselevõtu signaal, kuid selle ulatust ei tohiks kirjeldada küpse, kõikjal tõestatud tulemusena.

Katse korratavuse jaoks tuleb säilitada ka tarkvaraversioonid ja hosti seadistus. Kui hiljem muutub planeerija või sõltuvuste komplekt, võib muutuda tulemus ilma protsessorit vahetamata. Selline eristus aitab hinnata järgmiste mõõtmiste tegelikku tähendust.

Arm-tugi tähendab rohkemat kui protsessori vahetamist

Modal ütleb, et Arm-i toetamine nõuab muudatusi tema taristus ja tõmmiste ehitamises. See annab konkreetse näite üleminekukulust: uus protsessor peab sobituma kogu täitmiskeskkonnaga. Mõõdetud läbilaskest üksi ei piisa, kui kliendi sõltuvused uuel arhitektuuril ei tööta.

Rakenduse piloot peaks kontrollima kasutatavaid binaare, teeke ja ehitusprotsessi. Eraldi tähelepanu vajavad tööriistad, mis eeldavad kindlat protsessoriarhitektuuri. Vajalik muudatus võib asuda hoopis sõltuvuses, mida agent oma ülesande käigus kasutab.

Segataristu võimaldab teoreetiliselt suunata erinevad tööd sobivale masinale. Selle väärtus sõltub siiski sellest, kui hästi töökoormus tuvastatakse ja kas ümberpaigutamine säilitab keskkonna omadused. Reutersi kirjeldatud plaan ei tähenda, et kõik Modali kliendid viiakse ühel ajal Verale.

Kogukulu tuleb jagada mudeli ja täitmiskeskkonna vahel

Agentteenuse arve võib sisaldada mudelikutsungeid, CPU-aega, salvestust, võrku ja ootel keskkonna hoidmist. Kui neid ridu ei eristata, on raske öelda, kas uus protsessor vähendas kogu töö hinda. Lühem CPU-aeg ja madalam eurokulu pole ilma hinnata sama väide.

Võrdluse ühik võiks olla kontrollitud lõpptulemus. Selle juurde tuleks logida täitmisaeg, ressursikulu, ebaõnnestunud katsed ja vajadus inimese sekkumiseks. Nii saab eristada riistvara kasutegurit olukorrast, kus kiirem keskkond lihtsalt täidab rohkem tarbetuid samme.

Eesti arendajale annab Modali teade põhjuse vaadata agentide jõudlust mudelist laiemalt. Enne konkreetse protsessori valimist tasub leida oma töövoo kitsaskoht ja teha selle alusel võrdlus. Avalik katse ei anna veel kinnitatud vastust Vera teenuse hinnale, energiakulule ega kohaliku kliendi tegelikule säästule.