OpenAI Jalapeño kiibi esimene test lubab väiksemat inferentsilaitentsust

01Lühidalt

• OpenAI avaldas 25. augustil Jalapeño kiibi esimesed üksikasjalikud jõudlustulemused; kiip ise kuulutati välja juba 24. juunil.
• Ettevõtte mõõtmises andis kiip võrreldud Nvidia süsteemidest 1,5–1,9 korda rohkem tööd kilovati kohta.
• Otsast lõpuni latentsus oli valitud mudelites ja tööpunktides 1,7–3,6 korda väiksem.
• Test kasutas avalikku InferenceX metoodikat, kuid toimus OpenAI laboris ega ole eraldiseisva sõltumatu labori kordus.

Jalapeño on OpenAI ja Broadcomi arendatud kiirendi, mis on suunatud mudelite käitamisele ehk inference’ile, mitte treenimisele. Uus sündmus ei ole kiibi olemasolu, vaid esimesed avaldatud mõõtmised GPT-OSS 120B, DeepSeek R1 ja Kimi K2.5 mudelitel.

Oma kiip annab mudelifirmale võimaluse optimeerida riistvara, võrku, kompilaatorit ja mudelit ühe süsteemina. Samal ajal muudab see tulemuste võrdlemise keeruliseks, sest tootmise tarkvara ja koormus ei pruugi vastata avalikule testile.

02Latentsus loeb agentides mitu korda

Vestlusmudeli kasutaja tunnetab esimese tokeni aega ja genereerimiskiirust. Agent kutsub mudelit korduvalt: planeerib, kasutab tööriista, loeb tulemuse ja parandab. Iga sammu viivitus liitub kogu ülesande kestuseks.

Seetõttu võib väike paranemine ühe päringu kohta anda pika töövoo puhul suurema ajavõidu. Vastupidine on samuti tõsi: kõrge tippkiirus ei aita, kui järjekord, võrguviivitus või tööriistad moodustavad enamiku ooteajast.

03Energiatõhususe võrdlus sõltub piiridest

OpenAI esitab peamise mõõdikuna läbilaskevõime kilovati kohta. Tom’s Hardware märgib, et pakendi nimivõimsuse ja kogu süsteemi seinast mõõdetud elektri võrdlus annab erineva pildi ning Nvidia mitme tokeni ennustus võib vahet vähendada.

Aus võrdlus peab kirjeldama, kas arvesse lähevad ainult kiibid või ka mälu, võrk, jahutus ja hostprotsessorid. Andmekeskuse ostja maksab kogu süsteemi elektri ja kasutuskoormuse, mitte üksnes kiibipakendi nimivõimsuse eest.

04Avalik metoodika ei tee tulemust automaatselt sõltumatuks

InferenceX on avalik testikomplekt ja SemiAnalysis osales käitamises, kuid katse toimus OpenAI inseneridega ettevõtte laboris. Välisel uurijal pole veel olnud võimalust sama riistvara teises keskkonnas korrata.

Tulemust tuleks käsitleda tugeva tootjapoolse tõendina, mitte lõpliku turuülese paremusena. Korratavus vajab riistvara, tarkvaraversiooni, mudeli seadete, kvaliteedipiiri ja energiapiiri piisavat avalikustamist.

05OpenAI vähendab sõltuvust, mitte ei kaota seda

Jalapeño ei treeni mudeleid ning OpenAI sõltub treeningus jätkuvalt Nvidia ja teiste tarnijate süsteemidest. Ka inference-kiip kasutab HBM-mälu, tootmispartnereid, võrgukomponente ja andmekeskusi, mille tarneahel on globaalne.

Vertikaalne integratsioon võib alandada teenuse ühikukulu, kuid seob OpenAI mudelid ja käitustarkvara tugevamalt ettevõtte enda platvormiga. Kiipi ei plaanita praegu eraldi klientidele müüa.

06Klient peaks mõõtma API tulemust

Eesti ettevõte ei saa Jalapeñot oma serverisse tellida. Tema jaoks muutub uudis oluliseks siis, kui OpenAI API hind, latentsus, läbilaskevõime või töökindlus tegelikult muutub.

Piloodis tuleks logida iga agentetapi latentsus, tokenikulu, tööriistakutsete arv, vead ja inimese parandusaeg. Nii saab eristada, kas pudelikael on mudeli inference, väline süsteem või töövoo enda ülesehitus.

07Mida järgmise 90 päeva jooksul kontrollida

Esimene järelkontroll peab eristama lubaduse, juurutuse ja mõõdetud tulemuse. OpenAI algallikas kinnitab sündmuse ning selle avaldamise hetkel teada olnud tingimused, kuid tootja või tehinguosalise järgmine teade võib muuta ajakava, hinda, ulatust või kättesaadavust. Muudatus tuleb lisada uue kuupäevaga, mitte kirjutada varasemat väidet vaikides ümber. Nii jääb alles kontrollitav ajajoon ja on näha, milline osa oli fakt ning milline prognoos.

Teine kontroll otsib sõltumatut kasutus- või mõõtmistulemust. Selleks peab test kirjeldama sisendit, võrdlusbaasi, versiooni, kvaliteedipiiri ja ebaõnnestumisi, mitte ainult parimat näidet või koondprotsenti. Kui sõltumatut tulemust ei ilmu, jääb vastav võimekus tootja väiteks. Rahastus, partnerlus, eelvaade või tehniline spetsifikatsioon võib olla iseseisvalt oluline uudis, kuid ei muutu selle tõttu tõendiks töökindluse või tasuvuse kohta.

Kolmas kontroll on Eesti kasutusjuhtumi väike kordus. Enne ostu või ulatuslikku integratsiooni tuleb fikseerida praeguse protsessi aeg, kulu ja vead, käitada sama ülesannet uue lahendusega ning arvestada inimese kontrolli ja parandamisega. Otsus peab tuginema lõpetatud ülesande kvaliteedile, kogukulule ja riskile. Kui andmed, õigused või tehniline juurdepääs päristesti ei võimalda, tuleb seda käsitleda teadmata riskina, mitte eeldada turundusmaterjali põhjal head tulemust.

Kontrolli omanik ja järgmise ülevaatuse kuupäev tuleb määrata enne piloodi algust.

08Korduma kippuvad küsimused

Mis on Jalapeño?

OpenAI esimene kohandatud inference-kiip, mis arendati koos Broadcomiga mudelite käitamiseks.

Kas kiip treenib mudeleid?

Ei. Esimene Jalapeño põlvkond on mõeldud inference’iks, mitte treeninguks.

Mida OpenAI mõõtis?

Läbilaskevõimet, latentsust ja energiatõhusust avaliku InferenceX metoodikaga kolmel suurel avatud mudelil.

Kas tulemus on sõltumatult kinnitatud?

Metoodika on avalik ja SemiAnalysis osales, kuid katse tehti OpenAI laboris ning eraldi laborikordust pole.

Kas klient saab Jalapeño osta?

Praegu mitte. OpenAI plaanib kasutada kiipi oma taristus.