L’essor rapide des modèles d’intelligence artificielle et des besoins en cache KV repousse les limites de la bande passante mémoire et de la consommation d’énergie dans les centres de données. Si les solutions SRAM actuelles offrent des débits élevés, elles restent limitées par leur faible évolutivité et leur coût élevé. Les mémoires HBM offrent une capacité élevée, mais se heurtent à un obstacle majeur en matière de consommation électrique à mesure que la bande passante augmente. Parmi les start-up cherchant à résoudre ce problème, d-Matrix a annoncé sa technologie Raptor 3D DRAM, qui supprime la couche PHY et intègre la mémoire sous la puce logique.
L’architecture Raptor 3D DRAM se distingue radicalement des solutions HBM4 traditionnelles en matière d’efficacité. Dans chaque chiplet, la couche logique, fabriquée selon le procédé 4 nm de TSMC, est placée au-dessus de la couche 3D DRAM dédiée au moyen d’un empilement vertical face à face (Face-to-Face) de 36 microns. Les contraintes liées à l’interface PHY et aux limites physiques sont ainsi éliminées. Le système, qui offre une capacité de 32 GB sur une seule couche d’empilement, fournit une bande passante de 100 TB/s avec une consommation d’énergie de 0,37 pJ/bit.
Sachant que les mémoires HBM4 consomment de 2 à 3 pJ/bit pour atteindre une bande passante de 18 TB/s, l’architecture Raptor offre une bande passante 5,6 fois supérieure tout en consommant 5 à 8 fois moins d’énergie.
d-Matrix n’est pas la seule entreprise active dans le domaine de l’intégration verticale de la mémoire. L’architecture zHBM à trois niveaux de Samsung, qui utilise une méthode d’empilement vertical similaire, vise également à améliorer les performances et à économiser de l’énergie en plaçant directement les couches de mémoire à la verticale au-dessus du processeur. En revanche, d-Matrix facilite l’évacuation de la chaleur au moyen de solutions de refroidissement liquide en positionnant la couche logique au sommet de l’architecture Raptor. Le système fonctionne avec une densité de puissance de 0,5 W/mm² par chiplet et a été conçu pour résister à une température de jonction de 105 °C. Afin de prévenir les courants de fuite qui apparaissent à haute température, la fréquence de rafraîchissement de la mémoire est multipliée par 8, et l’intervalle de rafraîchissement est fixé à toutes les 4 millisecondes. Ce processus ne provoque qu’une perte de 1,37 % de la bande passante mémoire totale.
Des appariements spécifiques ont été appliqués au niveau de l’architecture afin de réduire l’énergie consommée lors du transfert des données.
Les 256 moteurs tensoriels présents dans le chiplet sont directement appariés à la largeur physique des banques DRAM. Alors que les 3 banques de chaque canal fournissent 96 octets de données, le flux de 128 octets requis par les moteurs tensoriels est fourni au moyen d’un mécanisme de regroupement par 4, sans entraîner de perte de bande passante. Afin d’augmenter le rendement de production, de petites conceptions de microbanques d’une capacité de 1 366 lignes et de 5,33 mégabytes sont utilisées. Pour faire face aux erreurs potentielles, la couche logique intègre un code de correction d’erreurs Reed-Solomon T=2 (ECC), capable de corriger 2 erreurs de symbole sur 128 octets.
Lors de tests réalisés au niveau système, la DRAM 3D d-Matrix Raptor fournit 23,4 fois plus de bande passante par millimètre carré que la plateforme NVIDIA Rubin R200 HBM4, avec un taux d’utilisation de la bande passante effective de 83 % à 85 %. Elle affiche également une efficacité énergétique 13,5 fois supérieure en termes de gigaoctets par seconde par milliwatt.
Cette architecture, qui établit un équilibre entre vitesse de traitement élevée et efficacité énergétique, constitue une alternative performante aux goulets d’étranglement de la mémoire rencontrés notamment lors des processus d’inférence des grands modèles de langage et des agents d’IA autonomes.