Mudelid
Moonshot avaldas Kimi K3.1 Pro kaalud: oma taristu tasuvus vajab eraldi mõõtmist
Kimi K3.1 Pro kaalud avaldati 4. novembril, pärast 23. oktoobri API-väljalaset. Mudelipõhine litsents ja taristuvajadus tuleb läbi hinnata enne oma käitamise säästu lubamist.
Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 4
- Esmaallikas
- Moonshot AI / Hugging Face

Arengulugu
Mudelid
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
Kimi K3.1 Pro kaalud avaldati 4. novembril, pärast 23. oktoobri API-väljalaset. Mudelipõhine litsents ja taristuvajadus tuleb läbi hinnata enne oma käitamise säästu lubamist.
Miks see loeb
Allalaaditavad kaalud võimaldavad hinnata mudelit oma kontrollitud taristus. Valiku tasuvus sõltub seadmetest, koormusest, hooldusest ja inimese ülevaatusest, mitte üksnes API-arve kadumisest.
Sisukord
Lühidalt
4 põhipunkti- Moonshot AI avaldas Kimi K3.1 Pro kaalud 4. novembril Hugging Face’is.
- Mudeli rakenduste ja API väljalase toimus juba 23. oktoobril.
- Allalaaditavate kaaludega kaasneb Kimi K3.1-Pro mudelipõhine litsents.
- Oma taristus käitamise tasuvust tuleb mõõta lõpetatud ülesande, hoolduse ja ülevaatuse kogukuluna.
Kimi K3.1 Pro kaalude avaldamine annab arendajale uue valiku: mudelit saab hinnata ka väljaspool Moonshoti hallatud API-t. See on eraldi sündmus mudeli varasemast jõudmisest kasutajarakendustesse. Novembri uudist ei ole seetõttu täpne nimetada mudeli esmaesitluseks.
Hugging Face’i mudelikaart, failid ja litsents annavad aluse oma käitamise kavandamiseks. Need ei tõenda veel, et ettevõttel on vajalik taristu olemas, juurutus on lihtne või sama töö muutub odavamaks. API ja enda hallatud teenus jaotavad kulud ning vastutuse erinevalt.
Kaalude avaldamine muudab kontrolli ulatust
Hallatud API puhul ostab ettevõte ligipääsu teenusele. Oma käitamise korral saab ta valida mudeliversiooni ning korraldada käituskoha ja ligipääsud enda vajaduste järgi. See võib olla oluline andmete paigutuse, katsete korratavuse või teenuse ülesehituse jaoks. Võimaluse tegelik väärtus sõltub sellest, millist probleemi ettevõte lahendab.
Allalaaditavad kaalud ei sisalda automaatselt kogu kasutajarakendust. Tööriistade ühendused, ülesannete juhtimine, vestluste hoidmine ja inimese kinnitused võivad vajada eraldi lahendust. Sama mudelinimega vestlusakna ja iseseisvalt ehitatud agendi erinevus võib seetõttu olla suurem kui lihtsalt teenuse aadressi muutmine.
Mudelikaart kirjeldab suurt mitmemodaalset mudelit ja käitamise võimalusi. Enne ostuotsust tuleb kinnitada, milline tarkvaraversioon toetab soovitud funktsioone ning kuidas valitud seadistus käitub ettevõtte koormusel. Üldine käivitusnäide on tehniline lähtekoht, mitte tõend tootmiskeskkonna jõudluse kohta.
Mudelipõhine litsents vajab kasutusjuhtu
Avalik litsents lubab muu hulgas kasutamist, muutmist ja levitamist, kuid lisab tingimusi. Mudeli teenusena pakkumisega seotud ettevõtetele on teatud käibepiirist alates ette nähtud eraldi kokkulepe. Väga suure kasutajaskonna või kuukäibega kommertstoodetele kehtib eraldi nime kuvamise nõue. Litsents määratleb mõisted ja erandid täpsemalt.
Seetõttu ei piisa hinnangust „kaalud on avalikud, järelikult piiranguid ei ole”. Ettevõttesisene kasutamine, mudelile üldise API kaudu ligipääsu müümine ja kitsasse tooteomadusse põimitud mudel võivad litsentsi järgi erineda. Ka sidusettevõtete roll võib tingimuste kohaldamisel lugeda. Konkreetne ärimudel tuleb võrrelda ametliku tekstiga.
Hankes võiks litsentsi versiooni salvestada koos mudeliversiooni ja allalaadimise kuupäevaga. See aitab hiljem näidata, mille alusel teenus üles ehitati. Tegemist on dokumenteerimisvõttega; see ei asenda ettevõtte kasutusviisi sisulist kontrolli ega muuda litsentsitingimusi.
API-arve ja GPU-arve ei ole veel võrreldavad
API kulu tekib tavaliselt kasutatud teenusest, oma taristu kulu sisaldab ka valmisolekut. Seade võib olla renditud või ostetud, kuid ettevõte maksab selle eest ka ajal, mil ülesandeid ei tule. Koormuse kõikumine võib seetõttu muuta väikese piloodi ja pideva tootmistöö tasuvuse väga erinevaks.
Arvutusse tuleb lisada mudeli laadimine, teenuse hoidmine, seire, uuendused ja tõrgete lahendamine. Samuti vajab ressurssi andmete ettevalmistamine ning ühendamine olemasoleva tarkvaraga. Need ei kao üksnes põhjusel, et kaalude allalaadimise eest eraldi arvet ei tule.
Teiselt poolt ei pea kogu võrdlus taanduma rahale. Ettevõte võib väärtustada kindla versiooni hoidmist või kontrolli andmetee üle. Need eelised tuleks kirjeldada eraldi, et juhtkond näeks, kas suurem kulu ostab vajalikku kontrolli või tuleneb lihtsalt vähesest kasutusest.
Buildrya katse: sama kodeerimisülesanne kahel viisil
AI-Radari katse võiks valida olemasolevas proovirepositooriumis ühe selge veaparanduse. Sisend, tööriistad, ajapiir ja edukriteerium oleksid mõlemas keskkonnas samad. Üks katse kasutaks API-t, teine enda hallatud mudelit. Enne alustamist tuleks fikseerida tarkvaraversioonid ja mudeli seadistus nii täpselt, kui mõlemad teenused võimaldavad.
Tulemust ei hinnataks ainult selle järgi, kas mudel kirjutas usutava paranduse. Kontroll peaks sisaldama käivitatud teste, algse vea kadumist ning võimalikke kõrvalmõjusid. Inimese ülevaatus võiks olla sama põhjalik mõlema tulemuse puhul. Vastasel juhul võib odavamana paista lihtsalt vähem kontrollitud lahendus.
Korduskatsete arv peab samuti arvestusse jääma. Kui esimene muudatus ei tööta ning agent proovib mitut lähenemist, on need kõik selle ülesande lahendamise kulud. Ainult õnnestunud viimase päringu arvestamine moonutaks võrdlust. Sama kehtib inimese paranduste ja käsitsi taastatud keskkonna kohta.
Mõõda koormust ja ooteaega eraldi
Üks kiire vastus ei näita, kuidas teenus käitub mitme samaaegse arendajaga. Piloodis võiks võrrelda eraldi üksikut ülesannet ja väikest järjekorda. Tähtis on nii töö lõpetamise aeg kui ka selle varieerumine: keskmine võib varjata mõnda väga pikka ootejuhtu.
Katsetulemuses tuleks näidata ka kasutamata võimsus. Näiteks võib oma taristu olla töö ajal tõhus, kuid suure osa päevast jõude seista. Seda pole mõistlik peita, jagades kulud ainult aktiivsete minutite peale. Ettevõtte otsus vajab kogu perioodi kulu ja samal perioodil aktsepteeritud tööde arvu.
Pärast esimest võrdlust saab valida järgmise sammu: parandada käitusseadistust, muuta ülesande piire või jätta antud töö API-le. Kaalude avaldamise väärtus ongi võimalus neid valikuid ise uurida. Kindlat säästuprotsenti ei saa avaldamisuudisest tuletada.
Tulemuste juurde tasub lisada ka ebaõnnestumise kirjeldus. Ajapiiri ületamine, vigane tööriistakutse ja sisuliselt vale parandus nõuavad erinevat sekkumist. Nende eristamine aitab mõista, kas järgmine investeering peaks minema kiiremasse riistvarasse, paremasse töövoogu või hoopis ülesande kitsamasse määratlusse.
Pilt: Moonshot AI ametlik Kimi K3.1 tutvustusgraafika. Mägede kujutis on tootja illustratsioon, mitte kasutatud arvutustaristu foto.
KKK
Korduma kippuvad küsimused
Kas Kimi K3.1 Pro ilmus alles novembris?
Rakenduste ja API väljalase oli oktoobris. Novembri sündmus on kaalude avaldamine.
Kas avalikud kaalud tähendavad piiranguteta kasutamist?
Kaaludega kaasneb mudelipõhine litsents. Kasutamise tingimusi tuleb hinnata konkreetse toote ja ärimudeli järgi.
Kas oma käitamine on API-st odavam?
Seda ei saa kaalude avaldamisest järeldada. Tulemus sõltub koormusest, taristust, hooldusest ja inimese tööst.
Kas sama mudel annab mõlemas keskkonnas sama tulemuse?
Tulemust mõjutavad ka seadistus, käitustarkvara ja tööriistad. Võrdluses tuleb need võimalikult hästi fikseerida ning erinevused kirja panna.
Milline on kasulik kuluühik?
Kasulik mõõdik on ühe kontrollitud ja vastu võetud töö kogukulu. See hõlmab ka ebaõnnestunud katseid ning ülevaatust.