NVIDIA Cosmos 3 lubab kiirendada robotite ja isejuhtivate süsteemide arendust

NVIDIA avalikustas Cosmos 3 mudeliperekonna, millega ettevõte soovib anda arendajatele uue tööriistakihi robotite, isejuhtivate sõidukite ja teiste füüsilises maailmas tegutsevate tehisintellektisüsteemide arendamiseks.

Ettevõte kirjeldab Cosmos 3 kui avatud physical AI alusmudelit, mis ühendab ühes süsteemis nägemispõhise arutlemise, maailma simuleerimise ja tegevuste genereerimise. NVIDIA sõnul on tegemist maailma esimese täielikult avatud omnimudeliga, mis suudab töödelda ja luua teksti, pilte, videot, ümbritsevat heli ja tegevusjärjestusi.

Cosmos 3 keskne lubadus on lihtne: kui robotid ja autonoomsed süsteemid peavad pärismaailmas tegutsema, vajavad nad enne füüsilist kasutuselevõttu suuri koguseid treeningandmeid, simulatsioone ja teststsenaariume. NVIDIA tahab Cosmos 3 abil muuta selle arendustsükli kiiremaks, odavamaks ja paremini korratavaks.

Mis on physical AI?

Physical AI ehk füüsiline tehisintellekt tähistab süsteeme, mis ei tööta ainult digitaalses keskkonnas, vaid tajuvad, mõistavad ja mõjutavad füüsilist maailma. Sellised süsteemid võivad olla robotid, isejuhtivad sõidukid, droonid, nutikad tehased, laorobotid, valve- ja ohutuskaamerad või digitaalsed kaksikud, mille abil simuleeritakse pärisobjekte ja protsesse.

Erinevalt klassikalisest tööstusrobotist ei järgi physical AI süsteem ainult kitsalt etteantud käske. Selle eesmärk on tajuda keskkonda, mõista objektide liikumist, hinnata olukorra muutumist ja valida sobiv tegevus. Näiteks peab laorobot aru saama, kuhu kast on kukkunud, kuidas inimene tema trajektoorile liigub ja milline liikumistee on ohutu. Isejuhtiv auto peab mõistma mitte ainult liiklusmärke ja teekattemärgistust, vaid ka teiste liiklejate kavatsusi.

Deloitte’i käsitluses ühendab physical AI sensoorse sisendi, ruumilise arusaamise ja otsustusvõime. See tähendab, et masinad ei vaata enam maailma ainult kaamera või anduri kaudu, vaid püüavad sellest aru saada ning selle põhjal tegutseda. Just selliste süsteemide arendamiseks NVIDIA Cosmos 3 mõeldud ongi.

Cosmos 3 ühendab arutlemise, genereerimise ja tegevuse

NVIDIA sõnul eristab Cosmos 3 varasematest lahendustest mixture-of-transformers arhitektuur. Lihtsustatult tähendab see, et mudelis on ühendatud kaks suuremat kihti: arutlev osa ja genereeriv osa.

Arutlev osa tõlgendab sisendit, näiteks teksti, pilti, videot, heli või tegevusandmeid. Selle ülesanne on mõista, mis olukorras toimub: millised objektid on nähtaval, kuidas need liiguvad, millised on nende suhted ja milline on füüsiline kontekst.

Genereeriv osa kasutab seda arusaama, et luua uusi väljundeid. See võib tähendada video genereerimist, tulevase maailmaseisundi ennustamist või tegevusjärjestuse koostamist. Robotite puhul võib see aidata treenida käitumismudeleid, mis otsustavad, mida masin peaks järgmisena tegema.

Praktiliselt võib Cosmos 3 töötada mitmel viisil. Seda saab kasutada nägemis-keelemudelina, mis mõistab eri tüüpi sisendit. Seda saab kasutada maailmamudelina, mis simuleerib füüsilise keskkonna tulevikku. Samuti saab seda kasutada tegevusmudelite alusena, mille abil õpetatakse roboteid täitma konkreetseid ülesandeid.

Miks see robootikas oluline on?

Robotite ja autonoomsete sõidukite arendamise üks suurimaid takistusi on andmete ja testkeskkondade puudus. Pärismaailmas katsetamine on aeglane, kallis ja mõnikord ohtlik. Kui robot peab õppima haruldast või riskantset olukorda, ei saa arendaja alati loota sellele, et see olukord tekib päris elus piisavalt sageli ja kontrollitud tingimustes.

Simulatsioon aitab seda probleemi vähendada. Arendajad saavad luua virtuaalseid olukordi, testida roboti käitumist ja koguda sünteetilisi andmeid ilma, et peaksid iga stsenaariumi päriselt läbi mängima. Cosmos 3 lubab seda protsessi laiendada, sest mudel saab genereerida füüsikaliselt usutavaid videoid, olukordi ja tegevusjärjestusi.

Näiteks autonoomsete sõidukite arenduses saab sünteetiline andmestik aidata testida haruldasi liiklusolukordi: ootamatut takistust teel, keerulist ristmikku, jalakäija ettearvamatut liikumist või kehva nähtavust. Tootmis- ja laokeskkonnas võib süsteem luua stsenaariume, kus objektid kukuvad, inimesed liiguvad robotite lähedal või seadmed käituvad ebatüüpiliselt.

Kui selliseid olukordi saab usaldusväärselt simuleerida, võib see vähendada vajadust koguda tohutul hulgal pärismaailma andmeid. See ei asenda täielikult füüsilist testimist, kuid võib muuta arenduse varasemad etapid kiiremaks ja odavamaks.

NVIDIA nimetab mudelit täielikult avatuks

NVIDIA rõhutab, et Cosmos 3 on avatud mudeliperekond. Ettevõtte arendajablogi järgi tehakse kättesaadavaks mudelid, treenimisskriptid, juurutustööriistad ja andmestikud. Mudeli kontrollpunktid on saadaval Hugging Face’is ning kood GitHubis.

See on oluline, sest physical AI arenduses on reprodutseeritavus ja kohandatavus eriti tähtsad. Arendajad ei vaja ainult valmis API-teenust, vaid võimalust mudelit oma valdkonna andmetega kohandada. Robot, mis töötab laos, vajab teistsugust arusaamist maailmast kui sõiduk, mis liigub liikluses, või kaamera, mis jälgib tootmisliini kvaliteeti.

Cosmos 3 tuleb mitmes versioonis. Cosmos 3 Nano on väiksem, 16 miljardi parameetriga mudel, mis on mõeldud tõhusamaks järeldamiseks ja tööjaamaklassi riistvarale. Cosmos 3 Super on 64 miljardi parameetriga mudel, mis on suunatud maksimaalse kvaliteedi ja võimekuse poole ning sobib andmekeskuse tasemel kasutuseks.

NVIDIA on teatanud ka Cosmos 3 Edge’i plaanist, mis on mõeldud reaalajas järeldamiseks seadme serval. See on physical AI puhul oluline, sest paljud robotid ja autonoomsed süsteemid ei saa alati sõltuda pilveühendusest. Ohutuskriitilised otsused peavad sageli sündima kohapeal ja väga kiiresti.

Uued andmestikud ja oskused physical AI arenduseks

Koos Cosmos 3-ga laiendab NVIDIA ka Cosmos platvormi andmestikke ja tööriistu. Uued andmestikud puudutavad robootikat, füüsikasimulatsioone, inimliikumist, autonoomset sõitu, laoturvalisust ja ruumilist arutlemist.

Lisaks lisanduvad niinimetatud physical AI agent skills ehk oskused, mis toetavad näiteks närvivõrkudel põhinevat stseenide rekonstrueerimist, defektipiltide genereerimist ja videoandmete täiendamist. Need on praktilised tööriistad valdkondades, kus pärisandmeid on vähe või nende kogumine on kallis.

Tootmises võib defektipiltide genereerimine aidata õpetada süsteeme tuvastama haruldasi kvaliteediprobleeme. Laokeskkonnas võib videoandmete täiendamine aidata testida ohutusstsenaariume. Autonoomses sõidus võib maailmamudel aidata luua olukordi, mida päriselus kohtab harva, kuid mille lahendamine on ohutuse seisukohalt kriitiline.

Jensen Huang: physical AI suur läbimurre on lähedal

NVIDIA asutaja ja tegevjuht Jensen Huang kirjeldas Cosmos 3 avaldamist physical AI järgmise suure arenguetapina. Tema sõnul on physical AI suur pauk lähedal, sest multimodaalne arutlemine, keelemudelid, nägemismudelid ja maailmamudelid arenevad kiiresti.

Huang rõhutas, et Cosmos 3 annab arendajatele uue hüppe robotite, isejuhtivate sõidukite ja nägemispõhiste AI-agentide ehitamisel. Tema sõnul peaksid need süsteemid suutma füüsilises maailmas tajuda, arutleda, planeerida ja tegutseda.

NVIDIA sõnum on selge: ettevõte ei näe tehisintellekti tulevikku ainult vestlusrobotites või kontoritarkvaras. Järgmine suur turg võib olla füüsiline maailm, kus AI juhib masinaid, aitab tööstust automatiseerida ja loob uusi viise pärismaailma protsesside simuleerimiseks.

See sobib NVIDIA laiemasse strateegiasse. Ettevõtte GPU-d ja AI-taristu on muutunud generatiivse AI buumi keskseks komponendiks. Physical AI, robootika ja autonoomsed süsteemid annavad NVIDIA-le järgmise kasvuloo: kui AI liigub tekstist ja pildist robotitesse, autodesse ja tehastesse, kasvab nõudlus arvutusvõimsuse, simulatsiooniplatvormide ja arendusvahendite järele.

McKinsey: robotid peavad ületama pilootprojektide lõhe

McKinsey on kirjutanud, et humanoidrobotid ja laiemalt füüsilised AI-süsteemid seisavad veel suure väljakutse ees: muljetavaldavatest prototüüpidest tuleb jõuda töökindla ja majanduslikult põhjendatud kasutuseni päris töökohtades.

McKinsey hinnangul on lõhe pilootprojektide ja skaleeritava kommertskasutuse vahel endiselt lai. Robotid võivad laborites ja esitluskeskkondades olla muljetavaldavad, kuid suuremahuline kasutuselevõtt nõuab töökindlust, ohutust, hooldatavust, kuluefektiivsust ja selget ärilist väärtust.

Cosmos 3 ei lahenda kõiki neid probleeme, kuid see sihib üht olulist kitsaskohta: arenduse ja testimise keerukust. Kui mudel aitab luua paremaid simulatsioone, sünteetilisi andmeid ja tegevusstsenaariume, võib see aidata robotitel kiiremini jõuda katsetusest päris kasutuseni.

Samas jääb McKinsey vaates oluline hoiatus: tehniline võimekus üksi ei tähenda veel ärilist läbimurret. Robotid peavad töötama usaldusväärselt dünaamilistes keskkondades, kus inimesed, objektid, ruumid ja tööülesanded muutuvad pidevalt.

Deloitte: physical AI liigub eksperimenteerimisest tööstuslikku kasutusse

Deloitte’i physical AI käsitluse järgi on füüsiline tehisintellekt liikumas eksperimenteerimisest suuremahulise kasutuse poole. Deloitte näeb varajaste kasutusvaldkondadena eelkõige tootmist, logistikat ja tarneahelat, kus robotid, sensorid, arvutinägemine ja digitaalsed kaksikud saavad anda mõõdetavat väärtust.

Deloitte’i hinnangul ei tähenda physical AI ainult roboteid. See hõlmab ka nutikaid ruume, kaamerasüsteeme, droone, digitaalseid kaksikuid ja sensoripõhiseid süsteeme, mis aitavad hallata keerukaid füüsilisi keskkondi. See laiendab Cosmos 3 võimalikku kasutusala oluliselt.

NVIDIA Cosmos 3 võiks sobituda just sellesse trendi. Kui ettevõtted hakkavad ehitama rohkem AI-põhiseid tehaseid, ladusid, kvaliteedikontrolli ja ohutussüsteeme, vajavad nad mudeleid, mis mõistavad füüsilist maailma paremini kui klassikalised nägemismudelid.

Deloitte’i järgi on physical AI laiem kasutuselevõtt siiski seotud tehniliste, organisatsiooniliste ja regulatiivsete väljakutsetega. Ettevõtted peavad lahendama andmete kvaliteedi, ohutuse, tööjõu ümberõppe, vastutuse ja juhtimise küsimused. Cosmos 3 võib anda võimsa tehnilise aluse, kuid iga kasutusjuhtum vajab eraldi valideerimist.

Tööstuspartnerid testivad Cosmos platvormi eri valdkondades

NVIDIA sõnul kasutavad Cosmos platvormi mitmed robootika, autonoomse sõidu ja nägemis-AI ettevõtted. Robootika valdkonnas on nimetatud Agile Robotsit, Doosan Roboticsit, LG Electronicsit, Samsung Electronicsit ja Skild AI-d. Autonoomse sõidu poolel on esile toodud Li Auto. Nägemis-AI agentide ja tööstuslike rakenduste puhul on mainitud Centificut, Fogsphere’i, Linker Visionit, Milestone Systemsit ja Yuani.

Selline partnerite nimekiri näitab, et NVIDIA ei positsioneeri Cosmos 3 mudelit ainult teadusprojektina. Ettevõte soovib sellest teha arendusplatvormi, mida saab kasutada eri tööstusharudes: robotkäed, tootmisliinid, laod, isejuhtivad sõidukid, turvaruumid ja nutikad linnakeskkonnad.

Oluline on siiski eristada kasutust ja laiaulatuslikku tootmiskasutust. See, et ettevõte katsetab või arendab Cosmos platvormil, ei tähenda veel, et tehnoloogia oleks suures mahus äriliselt tõestatud. Physical AI turul on palju tugevaid demosid, kuid vähem näiteid püsivast ja kasumlikust kasutuselevõtust.

Cosmos Coalition püüab luua avatud maailmamudelite ökosüsteemi

Koos Cosmos 3-ga kuulutas NVIDIA välja Cosmos Coalitioni. Tegemist on koostöövõrgustikuga, kuhu kuuluvad maailmamudelite arendajad, AI-laborid ja physical AI ettevõtted. Asutajaliikmete seas on Agile Robots, Black Forest Labs, Generalist, LTX, Runway ja Skild AI.

NVIDIA sõnul on koalitsiooni eesmärk edendada avatud maailmamudelite arengut eri tööstusharudes. Liikmed saavad panustada mudelite, teadustöö ja hindamismeetoditega ning kasutada Cosmos 3 tehnoloogiaid, treeningutööriistu ja NVIDIA taristut.

See on strateegiliselt oluline samm. Physical AI vajab standardeid, võrdlusandmestikke ja usaldusväärseid hindamismeetodeid. Kui iga ettevõte arendab oma maailmamudelit eraldi, võib valdkond killustuda. Avatum ökosüsteem võib kiirendada arengut, kuid samal ajal tugevdab see ka NVIDIA rolli physical AI taristu keskse pakkujana.

Mida tähendab omnimudel?

NVIDIA kasutab Cosmos 3 kohta terminit omnimodel ehk omnimudel. Selle mõte on, et üks süsteem ei piirdu ühe sisendi või väljundiga. Klassikaline keelemudel töötleb teksti. Pildimudel loob pilte. Videomudel loob või mõistab videot. Robootika tegevusmudel ennustab tegevusi.

Cosmos 3 püüab need kihid ühendada. Sama mudeliperekond saab töötada teksti, pildi, video, heli ja tegevusandmetega. Physical AI kontekstis on see oluline, sest robot ei ela ühes andmetüübis. Ta näeb, kuuleb, liigub, mõõdab, ennustab ja tegutseb.

Kui omnimudel suudab neid modaalsusi koos käsitleda, võib see vähendada vajadust ehitada keerulisi torusid mitme eri mudeli vahel. Arendaja ei pea eraldi siduma nägemismudelit, videosimulaatorit, tegevusennustajat ja keelemudelit. NVIDIA väitel on Cosmos 3 eesmärk just sellist killustatust vähendada.

Võimalused ja piirangud

Cosmos 3 võib kiirendada physical AI arendust kolmel viisil. Esiteks võib see aidata luua sünteetilisi andmeid olukordadeks, mida päriselus on keeruline või kallis koguda. Teiseks võib see parandada simulatsiooni, võimaldades testida robotite ja autonoomsete süsteemide käitumist eri tingimustes. Kolmandaks võib see anda arendajatele tugevama alusmudeli, mida saab kohandada konkreetsete seadmete, tööülesannete ja keskkondade jaoks.

Samas ei tohiks mudeli võimekust üle hinnata. Füüsiline maailm on keeruline, mürane ja sageli ettearvamatu. Simulatsioon võib olla võimas, kuid see ei ole päris maailm. Kui mudel genereerib füüsikaliselt usutava video, ei tähenda see automaatselt, et robot käitub samas olukorras päriselus ohutult ja õigesti.

Suur küsimus on ka valideerimine. Physical AI süsteemid võivad põhjustada füüsilist kahju, kui nad eksivad. Seetõttu peavad ettevõtted enne kasutuselevõttu hindama mitte ainult mudeli täpsust, vaid ka ohutuspiire, vastutust, andmekvaliteeti ja seda, kuidas süsteem käitub ootamatutes olukordades.

Kokkuvõte

NVIDIA Cosmos 3 on oluline samm physical AI arengus, sest see ühendab ühes avatud mudeliperekonnas nägemispõhise arutlemise, maailma simuleerimise ja tegevuste genereerimise. Ettevõtte sõnul võib see aidata kiirendada robotite, isejuhtivate sõidukite ja nägemis-AI agentide arendust, vähendades sõltuvust killustatud simulatsioonidest ja piiratud treeningandmetest.

NVIDIA positsioneerib Cosmos 3 mudelit physical AI järgmise platvormikihina. See on kooskõlas laiemate turutrendidega: robootika, autonoomsed süsteemid, nutikad tehased ja digitaalsed kaksikud liiguvad kiiresti AI-kesksemaks.

Samas tuleb Cosmos 3 puhul säilitada realistlik vaade. Avatud mudel, tugevad partnerid ja muljetavaldavad demod ei taga veel seda, et robotid liiguvad kiiresti masskasutusse. Physical AI peamine väljakutse ei ole ainult mudeli võimekus, vaid töökindlus, ohutus, kuluefektiivsus ja pärismaailma keerukus.

Kui NVIDIA suudab Cosmos 3 ümber luua tugeva arendajaökosüsteemi ja partnerid leiavad sellele skaleeritavaid kasutusjuhtumeid, võib mudel saada physical AI valdkonnas samasuguseks kiirendiks, nagu suured keelemudelid olid kontori- ja tarkvaratöö automatiseerimisel.

Korduma kippuvad küsimused

Mis on NVIDIA Cosmos 3?

NVIDIA Cosmos 3 on avatud physical AI alusmudelite perekond, mis ühendab nägemispõhise arutlemise, maailma genereerimise ja tegevuste ennustamise. Seda saab kasutada robotite, isejuhtivate sõidukite ja nägemis-AI agentide arenduses.

Mida tähendab physical AI?

Physical AI tähendab tehisintellekti, mis tajub, mõistab ja mõjutab füüsilist maailma. Selle alla kuuluvad näiteks robotid, autonoomsed sõidukid, droonid, nutikad tehased, digitaalsed kaksikud ja sensoripõhised süsteemid.

Miks Cosmos 3 on oluline?

Cosmos 3 võib aidata luua sünteetilisi treeningandmeid, simuleerida füüsilisi olukordi ja õpetada roboteid tegutsema olukordades, mida päriselus on keeruline, kallis või ohtlik testida.

Mis vahe on Cosmos 3 Nano ja Cosmos 3 Super mudelitel?

Cosmos 3 Nano on väiksem ja tõhusam mudel, mis on mõeldud kiireks järeldamiseks ja tööjaamaklassi riistvarale. Cosmos 3 Super on suurem ja võimekam mudel, mis on mõeldud andmekeskuse tasemel kasutuseks, suurema kvaliteedi ja keerukamate physical AI töövoogude jaoks.

Kas Cosmos 3 tähendab, et robotid jõuavad kiiresti masskasutusse?

Mitte tingimata. Cosmos 3 võib kiirendada arendust ja simulatsiooni, kuid robotite laialdane kasutuselevõtt sõltub ka töökindlusest, ohutusest, kuludest, regulatsioonist ja sellest, kas ettevõtted leiavad selge ärilise väärtusega kasutusjuhtumeid.