NVIDIA a ajouté NVIDIA NVHBM, une technologie de mémoire à large bande passante de nouvelle génération, à NVIDIA NVLink Fusion afin d’améliorer les performances et l’efficacité de la mémoire dans les infrastructures d’intelligence artificielle. En déplaçant le contrôleur mémoire de l’XPU vers la base de l’empilement 3D HBM, cette technologie offre jusqu’à 30 % de bande passante mémoire supplémentaire, une consommation énergétique de la HBM inférieure de 15 % et jusqu’à 25 % d’espace en plus sur la puce de calcul XPU par rapport à la HBM4E standard.
NVHBM sera proposée par plusieurs fournisseurs de mémoire. L’unité Annapurna Labs d’Amazon travaillera sur cette technologie dans le cadre de sa collaboration avec NVIDIA et prendra en charge l’architecture de mise à l’échelle NVLink. AWS prévoit également d’adapter ses puces Trainium de nouvelle génération à NVIDIA NVLink Fusion, à commencer par Trainium4 ; les puces d’Amazon et les GPU NVIDIA pourront ainsi fonctionner ensemble dans une architecture commune à l’échelle du rack.
Pourquoi c’est important
Cette évolution montre que, dans les infrastructures d’intelligence artificielle, la capacité de transfert des données et la consommation énergétique de la mémoire déterminent la conception des systèmes au même titre que la puissance de calcul. Le déplacement du contrôle de la mémoire vers une autre couche introduit une approche susceptible d’influencer directement l’utilisation de l’espace et la gestion de l’alimentation dans la conception des XPU. La participation de plusieurs fournisseurs de mémoire à cette technologie montre que NVIDIA NVLink Fusion se positionne non pas comme un simple composant matériel, mais comme une structure réunissant les solutions de différents fabricants. Le projet d’AWS d’adapter les puces Trainium à cette architecture met en avant la compatibilité technique nécessaire pour faire fonctionner des processeurs spécialisés et des GPU NVIDIA à la même échelle de rack. Toutefois, l’identité des autres fournisseurs de mémoire et les produits dans lesquels ces structures seront utilisées n’ont pas encore été dévoilées.