Les points clés à retenir sur l'offre de datacenter d'IA de Nvidia
- Nvidia a présenté cinq baies de serveurs couvrant tous les aspects de l'infrastructure d'IA.
- Nvidia affirme que l'économie de l'IA est meilleure lorsque toutes les pièces proviennent de chez eux.
- L'ambition croissante de Nvidia inclut désormais la robotique et même... l'IA dans l'espace.
L'image que Nvidia a proposée pour sa conférence GTC à San Jose, en Californie, cette semaine, est une ligne de 40 rectangles représentant des baies de serveurs de centre de données de différents types. Pas d'étiquettes, juste les baies alignées comme une collection des œuvres complètes de Shakespeare. Ou, de manière plus inquiétante, une phalange de soldats.
Le message implicite de ce mur imposant est que Nvidia, si ce n'est pas déjà le cas, finira par posséder tout le traitement au sein du centre de données, d'une extrémité à l'autre.
Sur scène, le PDG de Nvidia, Jensen Huang, a profité du discours d'ouverture de lundi pour annoncer un élargissement de l'offre de puces et de systèmes de l'entreprise. Les gammes de produits existantes incluent la puce CPU Vera, la puce GPU Rubin, et désormais, un nouveau type de baie d'équipement les rejoint pour l'inférence ultra-rapide, appelé LPX.
Une nouvelle baie dédiée à l'inférence d'IA
La baie LPX, qui sera disponible plus tard cette année, est composée de puces que Nvidia a conçues en utilisant la propriété intellectuelle concédée sous licence en décembre par la startup d'IA Groq pour 20 milliards de dollars.
L'approche de Groq, implémentée dans le LPU Nvidia Groq 3, sera utilisée dans le LPX en combinaison avec les GPU Rubin pour atteindre un équilibre entre la vitesse d'inférence et la quantité totale de données pouvant être traitées.
Le LPU Groq 3 « peut combiner les FLOPS [opérations en virgule flottante par seconde] extrêmes des GPU et la bande passante des LPU en un seul ensemble », a déclaré Ian Buck, responsable de l'informatique à grande échelle et de haute performance chez Nvidia, lors d'un briefing médiatique.
Le LPU original de Groq (pour "Language Processing Unit") dispose de 500 mégaoctets de SRAM sur puce, une forme de mémoire rapide bien plus grande qu'un cache mémoire de puce normal. La SRAM peut contenir les poids (les paramètres neuronaux) des LLM, ainsi que le « cache KV », les résultats intermédiaires des calculs qui accélèrent l'inférence.
En utilisant le LPU dans une baie aux côtés des GPU, la SRAM du LPU peut récupérer les données les plus nécessaires, réduisant ainsi le besoin de solliciter la DRAM hors puce, ce que les GPU doivent faire. Ce cache SRAM local réduit considérablement la latence, c'est-à-dire le temps aller-retour pour récupérer et afficher la réponse à une requête, a expliqué Buck.
« Des requêtes qui prenaient une journée entière seront produites en moins d'une heure », a affirmé Buck.
Changer l'économie de l'IA
Le LPU peut également traiter les requêtes de manière beaucoup plus efficace, affirme Nvidia. Le cabinet d'études de marché TechInsights a rapporté, sur la base du silicium Groq existant avant l'accord avec Nvidia, que l'« énergie par bit » du LPU pour l'accès à la mémoire est d'un tiers de picojoule, soit 20 fois moins que les 6 picojoules d'un GPU pour accéder à la DRAM.
Pour le même montant d'argent par jeton (token), les LPU Groq de la baie LPX fourniront 35 fois plus de jetons par seconde et par mégawatt de puissance, a déclaré Buck, citant l'exemple de 500 000 jetons traités par seconde pour un prix de 45 $ par million de jetons.
Cette accélération drastique de la récupération et de la distribution des jetons entraîne également une augmentation par dix des revenus qu'un fournisseur d'IA peut réaliser par seconde et par mégawatt, a ajouté Buck.
Bien que cela ne soit pas mentionné explicitement, la réduction de l'utilisation de la DRAM hors puce est de plus en plus cruciale étant donné que les prix de la DRAM s'envolent actuellement.
C'est mieux quand vous achetez tout chez nous
La baie LPX fait partie de l'argumentaire global de Huang au monde de l'IA : l'entreprise offre une meilleure rentabilité en vendant toutes les parties de l'équation — non seulement les puces Vera, Rubin et LPU, mais aussi le logiciel qui s'exécute par-dessus.
« De la structure à cinq couches comprenant l'énergie, les puces, l'infrastructure elle-même, les modèles et les applications, cette infrastructure multicouche stimule les revenus et la création d'emplois », a déclaré Buck aux journalistes.
Le LPX se trouve dans cette rangée de 40 rectangles aux côtés de quatre autres baies dont Huang a parlé, qui constituent la proposition de son entreprise pour une infrastructure d'IA complète.
Le détail des 4 autres baies
Ces quatre autres baies sont :
- Le Vera-Rubin NVL72, une baie composée de 72 CPU Rubin et 36 CPU Vera
- Une nouvelle baie uniquement CPU, la Vera CPU rack, composée de 256 CPU Vera et de 400 téraoctets de DRAM
- Un nouveau type de baie de stockage de données, le Bluefield 4 STX qui agit comme un dépôt pour le cache KV sur tous les GPU
- La dernière version de la baie d'équipement réseau Ethernet de Nvidia, le Spectrum-6 SPX
Buck a expliqué que les baies de CPU Vera accélèrent toutes les tâches d'IA agentique qui seraient trop lourdes pour un processeur x86 classique basé sur Intel ou AMD.
« Les GPU d'aujourd'hui font en fait appel aux CPU pour l'appel d'outils, les requêtes SQL et la compilation de code », a déclaré Buck. « Cette exécution en "bac à sable" est une partie critique tant pour l'entraînement que pour le déploiement d'agents à travers les centres de données, et ces CPU doivent être rapides. »
Il a précisé que la baie de CPU Vera peut être une fois et demie plus rapide sur les tâches CPU à fil unique (single-threaded) par rapport aux CPU x86 existants. En conséquence, les baies STX quadrupleront les performances par watt, doubleront les pages par seconde pour les données d'entreprise et fourniront cinq fois plus de jetons par seconde de mémoire contextuelle requis pour les usines d'IA exécutant des flux de travail GenTech.
« Les résultats sont stupéfiants »
« Les résultats sont stupéfiants », a déclaré Buck.
La nouvelle baie de stockage de données, a expliqué Buck, est « une couche partagée à haute bande passante optimisée pour le stockage et la récupération des données massives de cache clé-valeur (KV cache) générées par les LLM et les flux de travail GenTech ».
Bien que la baie soit composée de DPU Nvidia Bluefield (unités de traitement de données, compagnons des CPU), le STX n'est qu'une « architecture de référence », a précisé Buck, ce qui signifie que les baies réelles seront conçues et construites par les partenaires de Nvidia.
Une ambition très élargie
L'échelle et l'ampleur de l'ambition affichées lors du discours de Huang sont remarquables. Huang a également vanté sa propre offre pour l'IA agentique, NemoClaw, et de multiples offres pour ce qu'on appelle l'IA physique, principalement la robotique. Huang a même évoqué l'IA dans l'espace, bien que les détails des déploiements de serveurs par satellite restent vagues.
Buck a caractérisé ce mur de différents serveurs comme « une co-conception extrême de bout en bout afin de fournir la valeur maximale de l'usine d'IA pour toutes les charges de travail à travers l'IA et toutes les industries. »
C'est aussi une manière habile pour Nvidia de rendre sa proposition de valeur évidente pour quiconque envisagerait d'utiliser les CPU et GPU du concurrent AMD, ou d'utiliser des équipements d'IA exotiques provenant de startups challengers telles que Cerebras Systems. Avec un portefeuille de cinq baies d'équipement couvrant toutes les fonctions du centre de données, Huang dit à ses clients que tout fonctionnera plus efficacement et générera plus de revenus d'IA lorsque tout est fourni par Nvidia.
Pour Huang, c'est aussi l'aboutissement d'une quête de plusieurs décennies pour s'emparer de secteurs de l'informatique détenus par les acteurs historiques. Par le passé, il avait tenté de prendre d'assaut le marché des processeurs pour serveurs avec des CPU robustes comme Denver. Mais Huang avait dû se retirer lorsque la puissance établie des CPU Xeon d'Intel était devenue trop difficile à surmonter.
Avec désormais une collection complète de composants pour centres de données, l'entreprise de Huang est prête à définir l'ère de l'informatique et à surpasser les entreprises qui ont défini l'ère précédente.
Source : "ZDNet.com"