Meta avas Muse Spark Openi kaalud ja tõi suure mudeli kahe Mac Studio peale

Meta uus Muse Spark Open annab arendajale võimaluse kaalud alla laadida ja valida mudeli käitamiseks oma keskkond. Ettevõte suunab mudeli kodeerimisele, agentidele ja pikkadele arutluskäikudele. Väljalaske juures on tähelepanuväärne koostöö Apple’iga, kuid „lauaarvutil töötamine” tähendab siin märkimisväärse mälumahuga mitme arvuti lahendust.

Meta tehniline juhend täpsustab konfiguratsiooni: kaks 512 GB M5 Ultra Mac Studiot või neli 256 GB masinat, kokku 1 TB ühismälu. Jutt käib NVFP4-vormingusse kvantitud mudelist, mitte eeldusest, et kõik mudeli versioonid mahuvad samasse konfiguratsiooni. Ühe terabaidi omistamine kummalegi kahest arvutist kahekordistaks ekslikult kirjeldatud mälumahu.

SiliconANGLE kinnitab väljalaset ja kirjeldab Meta kohalikke demonstratsioone. Nendest ei saa veel järeldada, et sama lahendus lõpetab Eesti ettevõtte kodeerimisülesande pilvemudelist odavamalt. Buildrya hinnangul tuleb võrrelda heaks kiidetud koodimuudatuse kogukulu, mitte ainult kaalude allalaadimise võimalust.

Aktiivsed parameetrid ei võrdu kogu mälunõudega

MoE-arhitektuur kasutab iga tokeni töötlemisel ainult osa mudeli parameetritest. See aitab eristada arvutustöö hulka kogu mudeli suurusest, kuid ei tähenda, et ülejäänud kaalud võib käituskeskkonnast lihtsalt eemaldada. Riistvara valikul tuleb arvestada tegelikku mudelifaili, täpsust ja täitmiskeskkonda.

Ka kontekstiaken ja vaba mälu on erinevad mõisted. Miljoni tokeni tugi ei garanteeri, et iga riistvaraseadistus suudab samaaegselt hoida maksimaalset konteksti ja teenindada mitut kasutajat soovitud kiirusega. Seda tuleb mõõta valitud konfiguratsioonis, mitte tuletada mudeli nimest.

Ettevõtte katses võiks fikseerida mudeliversiooni, kvantimise, konteksti pikkuse ja samaaegsuse. Kui neid tingimusi muudetakse, muutub ka võrdluse tähendus. Sama mudeli eri variantide tulemusi ei tohiks esitada üheainsa kvaliteedinäitajana.

Kohalik mudel annab kontrolli, kuid vajab kogu andmevoo ülevaatust

Oma riistvaral töötav mudel võimaldab jätta mudelipäringud organisatsiooni kontrollitud keskkonda. See võib olla oluline lähtekoodi või sisemiste dokumentide puhul. Andmekontrolli tuleb siiski hinnata kogu agendi, mitte ainult mudeli serveri järgi.

Kodeerimisagent võib kasutada paketiregistreid, veebipäringuid, väliseid tööriistu ja diagnostikateenuseid. Kui need ühendused säilivad, ei muuda lokaalne mudel kogu töövoogu automaatselt võrguväliseks. Piloodis võiks eraldi logida mudelisse antud andmed ja tööriistade kaudu välja liikunud info.

Ligipääsude piiramine jääb vajalikuks ka enda serveris. Agent ei vaja igaks ülesandeks kogu lähtekoodi, tootmisandmebaasi ega juurutamisõigust. Kohaliku käituse väärtus kasvab siis, kui ettevõte suudab need õigused kontrollitavalt määrata ja hiljem tegevust taastada.

Riistvara tasuvuse määrab kasutusaste

Pilve-API arve on enamasti nähtav kasutuse järel. Kohaliku lahenduse ostuhind tuleb seevastu jaotada ajale ja töömahule, lisades energia, halduse ning võimaliku hoolduse. Vähese kasutuse korral võib jõude seisev riistvara kaaluda üles mudelikõnede kokkuhoiu.

Võrdluses tuleks kasutada ettevõtte tegelikke hinnapakkumisi ja realistlikku kasutusperioodi. Avaldamata seadistuse lõpphinda ei tasu asendada ühe oletusliku ostusummaga. Samuti peab olema selge, kas kulusse arvestatakse varuseade ja tööseisakud või eeldatakse katkematut teenust ilma reservita.

Arendustöö ühik võiks olla nõuetele vastav, testitud ja üle vaadatud muudatus. Selle kulusse lähevad ka ebaõnnestunud jooksud, kontrollija aeg ning parandusringid. Riistvara tokenikiirus on oluline sisend, kuid ei näita üksi, mitu kasutatavat muudatust meeskond lõpuks vastu võtab.

Litsents eristab oma toodet ja mudeli teenusena müüki

Muse Model License lubab mitmesugust kasutust ja kohandamist, kuid seab tingimused. Litsents nõuab tootes või dokumentatsioonis mudelile viitavat märgistust. Mudelit teenusena pakkuvate ettevõtete puhul sisaldab see 20 miljoni USA dollari kogutulu künnist, mille ületamisel on vaja Metaga eraldi kirjalikku kokkulepet.

Sama punkt välistab sellest erinõudest muu hulgas sisekasutuse ning mudeli kasutamise oma toote funktsioonina, kui toode ei ole mudeliteenus. Seetõttu oleks eksitav kirjeldada künnist üldise piiranguna kõigile suurematele tarkvaraettevõtetele. Otsus sõltub teenuse tegelikust ülesehitusest ja litsentsi sõnastusest.

Kasutuspoliitika lisab oma piirangud, sealhulgas kriitilise taristu käitamisega seotud kasutusele. Ettevõte peaks kavandatava kliendilahenduse lubatavust kontrollima enne müügilubaduse andmist. Avatud kaalud ei tähenda piiranguteta litsentsi ega vabasta edasimüüjat kasutustingimuste järgimisest.

Mõistlik piloot võrdleb üht tööd samade kriteeriumidega

Kohaliku Muse’i ja pilvemudeli võrdlus võiks alata esinduslikust kodeerimisülesannete komplektist. Mõlemale tuleb anda samad lähtefailid, tööriistad ja vastuvõtutingimused. Hindaja võiks näha tulemust enne seda, milline mudel selle koostas, et nimi ei mõjutaks kvaliteediotsust.

Logida tuleks valmimisaeg, ressursikulu, katsete arv ja vigade iseloom. Eraldi võiks kontrollida olukordi, kus ülesanne jääb pooleli või agent muudab midagi väljaspool tellitud ulatust. Need juhtumid näitavad piire paremini kui üks edukas demonstratsioon.

Meta nimetab mudelit USA avatud kaaludega mudelite seas kõige võimekamaks; see on tootja võrdlus. Ettevõte lubab täielikku hindamisraportit hiljem. Seni annab väljalase tugeva põhjuse katsetada, kuid kohaliku kasutuse kvaliteet, energiakulu ja tasuvus vajavad oma mõõtmist.