Groq's TSP AI Chip Nu Cloud‑Workloads Aandrijft Via Nimbix

Groq's tensor streaming processor (TSP) silicon is aan de cloud toegevoegd, wat klanten in staat stelt AI‑workloads on‑demand te versnellen. Nimbix biedt nu TSP‑gebaseerde machine‑learning acceleratie exclusief aan geselecteerde klanten.

In de competitieve arena van data‑center AI‑silicon, staat Groq naast Graphcore als de enigste startups met commercieel beschikbare accelerators geïntegreerd in cloud‑diensten. Graphcore's chips worden al aangeboden via Microsoft Azure.

"Groq's vereenvoudigde processing‑architectuur is uniek, wat ongekende, deterministische prestaties levert voor compute‑intensieve workloads, en is een opwindende toevoeging aan ons cloud‑based AI en Deep Learning platform," aldus Steve Hebert, Nimbix CEO.

Groq is maar de tweede AI‑accelerator startup die haar hardware in de cloud beschikbaar stelt (Afbeelding: Groq)

Gelanceerd vorige herfst, levert Groq's TSP‑chip een staggerende 1.000 TOPS (1 peta operaties per seconde). In recente benchmarks haalde de chip 21.700 ResNet‑50 v2 inferenties per seconde – meer dan tweemaal de snelheid van hedendaagse GPU‑gebaseerde systemen – wat de status onderstreept als een van de snelste commerciële neural‑network processors.

"Deze ResNet‑50 resultaten zijn een validatie dat Groq's unieke architectuur en aanpak van machine learning‑acceleratie aanzienlijk snellere inferentie‑prestaties levert dan onze concurrenten," aldus Jonathan Ross, Groq co‑founder en CEO. "Deze real‑world proof points, gebaseerd op industry‑standard benchmarks en niet op simulaties of hardware‑emulatie, bevestigen de meetbare prestatiewinst voor machine learning en artificial intelligence applicaties die mogelijk worden gemaakt door Groq's technologieën."

Groq's ontwerp bereikt de massive parallelisme die nodig is voor deep‑learning‑acceleratie zonder de synchronisatie‑overhead typisch voor CPU's en GPU's. Door controle‑logica naar de compiler te offloaden – een kenmerk van Groq's software‑gedreven strategie – levert het bedrijf volledig deterministische, voorspelbare prestaties die op compile‑tijd gekwantificeerd kunnen worden.

Een uitstekend voordeel is dat Groq's prestatiewinst niet afhangt van batching, een gangbare data‑center‑tactiek die meerdere samples gelijktijdig verwerkt om doorvoer te boosten. De TSP‑chip bereikt piekprestaties zelfs bij batch = 1, ideaal voor real‑time inferentie‑streams. Terwijl de chip een matige 2,5x latentievoordeel biedt over GPU's bij grote batch‑groottes, stijgt het voordeel tot 17x bij batch = 1.