NVIDIA påbörjar fullskalig produktion av Groq 3 LPX-racks efter teknikavtal på 20 miljarder dollar

Måndagen den 24 augusti meddelade NVIDIA att Groq 3 LPX rackskalsystemet har gått in i fullskalig produktion, vilket markerar den kommersiella utplaceringen av teknologi som erhölls genom förra årets transaktion relaterad till Groq på 20 miljarder dollar. Designad för låg latens AI-agentinference, kommer systemet att bli en del av Vera Rubin-plattformen och ta itu med GPU-prestandabegränsningar under tokenskaping.

Dion Harris, senior director på NVIDIA, sa att de första Groq 3 LPX-racks kommer att implementeras på molntjänstleverantören Nebius plattform. Tillsammans med Vera-CPU:er och Rubin-GPU:er kommer de att bilda en komplett heterogen datorkluster som beräknas börja erbjuda tjänster under andra halvan av 2026.

Varje LPX-rack integrerar 256 Groq 3 Language Processing Units, eller LPUs. Systemet använder stora mängder on-chip SRAM för att minska overheadkostnaderna kopplade till åtkomst till extern minne och är optimerat för inferensarbetsbelastningar som kräver långa kontextfönster och snabba svarstider, inklusive AI-agenter och AI-assisterad programmering. Enligt officiella benchmarkresultat levererar racken 3 400 utgångstokens per sekund när det kör Gemma 4 31B-modellen med ett 100 000-token kontextfönster, vilket ger den en tydlig prestandafördel i latenskänsliga arbetsbelastningar.

NVIDIA och Groq nådde $20 miljarders avtalet i december 2025. Under transaktionen säkrade NVIDIA licenser till Groqs chiparkitekturteknologi och tog med Groqs grundande team och kärningenjörspersonal in i företaget. Det var den största tekniktransaktionen i NVIDIAs historia. Groq förblev ett oberoende företag, och dess befintliga molnverksamhet fortsatte att fungera. Innan avtalet hade Groq redan fått betydande branschnotiser för sin låg-latens LPU-inferens teknologi som användes med öppna stora språkmodeller.

Vera Rubin-plattformen använder en disaggregated, heterogen inferensarkitektur. Rubin-GPU:er hanterar modellprefill-operationer och bearbetning av storskaliga kontexter, medan Groq 3 LPX-system fokuserar på hög hastighet token-generering under avkodningssteget. Vera-CPU:er utför allmänna arbetsbelastningar såsom verktygskall och kodexekvering. Denna arbetsbelastningsindelning gör att de olika processorerna kan stödja den kompletta AI-agentarbetsflödet enligt deras respektive styrkor.

Chipstillverkningsarrangemangen speglar också skillnader över leverantörskedjan. Groq-seriens LPUs tillverkas av Samsung, medan NVIDIAs mainstream GPU:er produceras med hjälp av TSMCs tillverkningskapacitet.