Microsoft kinnitas Maia 300 plaani: AI-taristu mõõdupuuks saab megavatt

Microsofti 12. oktoobri teade muudab Maia 300 staatust: varasematest meediaraportitest ja ajakavaoletustest sai ametlikult kirjeldatud süsteem. Ettevõte seob oma kiirendiperekonna laiendamise 2027. aastaga ning soovib kasutada Maiat peamise inferentsisüsteemina enda toodetes ja teenustes. Reuters kajastas plaani kui katset AI käitamise kulusid vähendada.

Buildrya jaoks on tähelepanuväärne mõõtühik. Microsoft rõhutab kasulikke tokeneid vati ja dollari kohta, mitte ainult üksiku kiibi arvutusvõimsust. Kui agent teeb pikki tööahelaid ja kasutab suurt konteksti, sõltub teenuse maht ka mälust, andmete liikumisest ja sellest, kui palju elektrit andmekeskus tervikuna kasutada saab.

Ametlik teade on varasemast kuulujutust eraldi sündmus

AI-Radar on varem kirjeldanud Maia 300 võimalikku esitlemisaega meediaallikatele tuginedes. See lugu ei olnud Microsofti kinnitatud väljalase. Oktoobri teade annab uue avaliku lähtekoha: arhitektuurikirjelduse ja ettevõtte enda kasutuselevõtuplaani. Seetõttu väärib see eraldi kajastust, mille seos varasema looga on nähtav.

Ka nüüd tuleb eristada esitlust ja laialdast tootmiskasutust. Microsoft nimetab 2027. aastat plaani algusena; see ei tähenda, et Maia 300 oleks oktoobris kõigile Azure’i klientidele eraldi tellitav teenus. Teenuste toetamine, konkreetne kättesaadavus ja kasutajate hinnastus on eraldi küsimused.

96 kiirendit on süsteemi, mitte üksiku kiibi näitaja

Ettevõtte teatel on täisräkis 96 kiirendit ning kokku 27,6 TB HBM-mälu. Võimsusraamina nimetatakse 167 kilovatti. Neid arve tuleb lugeda koos: räki mälu või tokeniläbilaset ei tohi omistada ühele kiibile ning eri suurusega konfiguratsioonide võrdlus ei ole automaatselt kiipide otsene võrdlus.

Microsofti arhitektuurikirjeldus keskendub muu hulgas andmete paigutamisele arvutuse lähedale, mälu ribalaiusele ja ühendustele. Rakenduse jaoks võib see olla sama tähtis kui tippjõudlus. Kui töö ootab mälu või suhtlust teiste kiipidega, ei väljendu kogu arvutusvõime kasutajale jõudvas kiiruses.

Mida tähendab tootja efektiivsusväide?

Microsoft lubab täisräki konfiguratsioonis kuni seitsmekordset tokeniläbilaset võrreldes Maia 200-ga. Lisaks ootab ettevõte Maia 300-lt 40 protsenti rohkem tokeneid megavati kohta võrreldes juhtivate GPU-põhiste süsteemidega. Viimase väite avalik lühikirjeldus ei nimeta üheselt kogu võrdluse riistvara- ja töökoormuse komplekti.

Seetõttu peab lugeja säilitama tootja omistuse ja tingimuslikkuse. Sellised näitajad ei tõenda seitsmekordset kiirust igas rakenduses ega sama suurt rahalist kokkuhoidu. Võrdlus muutub ostjale otsustatavaks siis, kui on teada mudel, täpsus, konteksti pikkus, samaaegsus ja nõutud vastuseviivitus.

Taristu kokkuhoid ei võrdu automaatselt odavama API-ga

Kui teenusepakkuja vähendab ühe päringu teenindamise kulu, võib sellest tekkida ruumi hinnalanguseks, suuremaks mahuks või parema võimekusega teenuseks. Millise valiku ta teeb, sõltub tootest ja ärilistest tingimustest. Riistvara tutvustamine üksi ei kinnita ühtegi konkreetset muutust kliendi arvel.

Ettevõtte kasutaja peaks seetõttu jälgima talle nähtavaid mõõdikuid: teenuse hinnakirja, kvoote, viivitust ja kvaliteeti. Samuti tuleb vaadata töö kogukulu. Kui odavam päring nõuab rohkem kordusi või pikemat kontrolli, võib lõpptulemus olla kallim. Seda ei saa otsustada kiibi pressiteate põhjal.

Megavatt toob otsusesse andmekeskuse piirid

Energiatõhusus on praktiline küsimus olukorras, kus olemasolevasse asukohta ei saa piiramatult võimsust lisada. Rohkem kasulikku tööd sama elektrilise piiri sees võib suurendada teenindatavat nõudlust. Samal ajal peavad sobima jahutus, võrk ja tarkvara; üks paranenud komponent ei eemalda kõiki süsteemi piiranguid.

Maia 300 plaani järgmised olulised tõendid on tegeliku kasutuselevõtu edenemine ja kirjeldatud teenuste toimimine. Kliendi jaoks muutub uudis otseseks valikuks siis, kui uus taristu väljendub paremas saadavuses, sobivas hinnas või tõendatult kasulikus jõudluses. Seni on kinnitatud Microsofti plaan ja tootja tehniline kirjeldus, mitte kõigi tulevaste tulemuste garantii.

Töökoormuse kirjeldus peab jõudlusarvuga kaasa tulema

Sama taristu võib anda väga erineva tulemuse lühikese vestluse ja pika agenttöö puhul. Esimeses võib kasutajale kõige tähtsam olla kiire vastuse algus; teises kogu töö lõpetamise aeg ning võime hoida vajalikku olekut mälus. Seetõttu ei kirjelda üks tokenikiiruse arv kõiki teenuse kasutusviise. Ostjal on vaja teada, millist tööd arv üldse esindab.

Võrdluses peaks olema sama väljundi kvaliteedinõue. Kui väiksem arvutuslik täpsus või teistsugune mudel muudab tulemust, ei saa kogu kiiruse kasvu omistada ainult riistvarale. Samuti tuleb eristada ühe kasutaja vastuseaega ja paljude samaaegsete kasutajate koguläbilaset. Mõlemad võivad olla õiged mõõdikud, kuid lahendavad erinevat ärilist probleemi.

Ettevõte ei pea tingimata kõiki räki sisemisi valikuid ise haldama. Hallatava teenuse puhul piisab sageli sellest, et tarnija suudab oma teenusetaseme ja hinna seostada kliendi koormusega. Riistvara teadaanne annab taustteabe, kuid lõplik võrdlus peab jõudma kasutaja jaoks nähtava kvaliteedi, saadavuse ja kuluni. Alles siis saab hinnata, kas taristu tõhusus muutus ka kliendi jaoks kasulikuks teenuseks.