La puce IA TSP de Groq alimente maintenant charges de travail cloud via Nimbix

Le processeur tensor streaming (TSP) silicium de Groq a été ajouté au cloud, permettant clients d'accélérer charges de travail IA à la demande. Nimbix offre maintenant accélération machine-learning basée TSP exclusivement à clients sélectionnés.

Dans l'arène compétitive silicium IA data-center, Groq se tient aux côtés de Graphcore comme seules startups avec accélérateurs commercialement disponibles intégrés services cloud. Puces Graphcore déjà offertes via Microsoft Azure.

"L'architecture traitement simplifiée de Groq est unique, fournissant performance déterministe sans précédent pour charges de travail calcul intensif, et est addition excitante à notre plateforme IA et Deep Learning cloud-based," a dit Steve Hebert, CEO Nimbix.

Groq n'est que le deuxième startup accélérateur IA à rendre son hardware disponible dans le cloud (Image: Groq)

Lancé l'automne dernier, la puce TSP de Groq délivre 1 000 TOPS (1 peta opérations par seconde). En benchmarks récents, la puce a atteint 21 700 inférences ResNet-50 v2 par seconde — plus du double de la vitesse des systèmes GPU contemporains — soulignant son statut comme l'un des processeurs réseau neuronal commerciaux les plus rapides.

"Ces résultats ResNet-50 valident que l'architecture unique et approche Groq d'accélération machine learning délivre performance inférence substantiellement plus rapide que nos compétiteurs," a dit Jonathan Ross, co-fondateur et CEO Groq. "Ces points de preuve réel, basés sur benchmarks standard industrie et non simulations ou émulation hardware, confirment gains performance mesurables pour applications machine learning et intelligence artificielle rendus possibles par technologies Groq."

Le design Groq atteint parallélisme massif nécessaire pour accélération deep-learning sans overhead synchronisation typique CPUs et GPUs. En déléguant logique contrôle au compilateur — marque de fabrique stratégie software-driven Groq — l'entreprise délivre performance pleinement déterministe, prévisible, quantifiable au compile time.

Avantage marquant : gains performance Groq ne dépendent pas du batching, tactique data-center commune traitant multiples échantillons simultanément pour booster débit. La puce TSP atteint performance pointe même à batch = 1, idéal pour flux inférence temps réel. Bien que puce offre avantage latence modéré 2,5× sur GPUs à grands batch sizes, l'avantage grimpe à 17× à batch = 1.