Enligt material som släppts av NVIDIA är Cosmos 3 världens första helt öppna omnimodala fysiska AI grundmodell. Byggd på NVIDIAs egen hybrida Transformer-arkitektur, integrerar modellen både resonerande och genererande grenar, vilket möjliggör visuell resonemang, världs- generering, och handlingsprognoser inom en och samma modell. Den kan noggrant återskapa verkliga fysiska regler som gravitation, kollision och friktion. Till skillnad från allmänna multimodala modeller som främst är designade för underhållningsinnehåll, stöder Cosmos 3 på ett nativt sätt inmatning och generation av fem modaliteter: text, bilder, video, omgivande ljud, och mänsklig samt robotisk rörelse. Förtränad på stora fysiskt annoterade datamängder kan modellen autonomt generera realistiska scendata och rörelsestrykturer som följer verkliga fysiska lagar.
Officiell information visar att Cosmos 3 är planerad i flera modellnivåer. Super-versionen, med större parametrar, är designad för biltillverkare och humanoida robotikföretag för storskalig datasyntes och avancerad algoritmutveckling. Bas-versionen riktar sig till små och medelstora FoU-team inom olika industrier, medan Tiny-versionen är optimerad för lokal implementering på edge- och inbäddad hårdvara. NVIDIA har helt öppnat modellvikterna, källkoden och stöddatarna, med relaterade resurser som görs tillgängliga på öppna plattformar som Hugging Face och GitHub. Globala utvecklare kan få tillgång till resurserna gratis och finjustera dem vid behov. När det gäller implementeringseffektivitet säger NVIDIA att modellen kan komprimera traditionella simulerings- och felsökningscykler för robotik, autonom körning och industriella digitala tvillingprojekt från flera månader till bara några dagar, vilket hjälper till att minska kostnaden för datainsamling och testning för utvecklingen av fysisk AI.
Tillsammans med produktannonseringen avslöjade NVIDIA också sin ekosystemstrategi genom att bilda NVIDIA Cosmos Coalition, en global samarbetande allians. Grundande medlemmar inkluderar ledande AI-laboratorier och robotikföretag som Agile Robots, Black Forest Labs, Runway, LTX, och Skild AI. Under alliansens samarbetsram kan medlemsorganisationer dela hela Cosmos 3-teknologistacken, få tillgång till NVIDIAs DGX Cloud-beräkningsresurser vid behov, och byta algoritmer, benchmarks, och industriella testdata från verkliga världen. Alliansen syftar till att gemensamt utveckla gemensamma standarder för öppna världsmodeller och påskynda iterationen och kommersialiseringen av nästa generations fysiska AI-teknologier.
Offentligt tillgänglig information indikerar att flera biltillverkare och tillverkare av automationsutrustning redan har påbörjat intern testning av projekt baserade på Cosmos 3. Potentiella implementeringsscenarier inkluderar utveckling av humanoida robotar, simulering av autonom körning, industriell visuell inspektion, och skapande av realistiskt digitalt innehåll.