AI-chipstillverkaren Cerebras Systems har introducerat CS-4, ett nytt rackskala AI-system riktat mot Nvidias GPU-servermarknad och inferensarbetsbelastningar för stora språkmodeller. Enligt företaget kan CS-4 generera tokens med upp till 30 gånger hastigheten av konventionella GPU-servrar när alla systemresurser tilldelas en enda användare.
Noterbart är att siffran baseras på Cerebras interna testning och mäter hastigheten för textgenerering när en användare har exklusiv tillgång till systemets datorkapacitet. Det representerar inte systemets sammanlagda genomströmning när flera användare betjänas samtidigt.
Vid ett evenemang i San Francisco sa Cerebras att CS-4 incorporerar tre WSE-3 Turbo wafer-scale-processorer. Enligt företaget integrerar varje processor cirka 4 biljoner transistorer, vilket gör den till en av de största offentligt avslöjade AI-processorerna hittills. Till skillnad från de flerchiparkitekturer som vanligtvis används av Nvidia och AMD, använder Cerebras en monolitisk, full-wafer-design som kortar dataöverföringsvägarna på chipet.
CS-4 är utformat för AI-inferens snarare än modellträning. Dess minnesarkitektur använder statisk slumpmässig åtkomstminne, eller SRAM, istället för det dynamiska slumpmässiga åtkomstminnet, eller DRAM, som vanligtvis används i branschen. SRAM ger avsevärt snabbare läs- och skrivhastigheter än DRAM, men dess mer komplexa struktur och högre kostnad per enhet kapacitet gör det generellt svårt att integrera i processorer med begränsat område på chippet. WSE-3 Turbo är ungefär storleken av en middagstallrik, vilket ger tillräckligt med fysisk plats för att direkt integrera SRAM på processorn.
Cerebras positionerar snabb textgenerering som en primär konkurrensfördel för CS-4. Företaget sa att dess wafer-scale-processor kan lagra alla parametervärden som krävs av en AI-modell direkt på chipet, vilket eliminerar behovet av att hämta data från externa minneschips och minskar latensen kopplad till datarörelse.
Enligt Cerebras är CS-4-prover för närvarande tillgängliga för ett begränsat antal kunder, med bredare tillgänglighet planerad senare under tredje kvartalet i år.