人工知能モデルによるKVキャッシュの需要が急速に高まる中、データセンターではメモリ帯域幅と消費電力に関する限界が押し広げられている。既存のSRAMソリューションは高い速度を実現する一方、スケーラビリティの制約と高コストのため、用途が限られている。HBMメモリは大容量を提供するものの、帯域幅が向上するにつれて、非常に大きな電力上の障壁に直面する。この問題の解決を目指す企業の1つであるd-Matrixは、PHY層を排除し、メモリをロジックチップの下に統合するRaptor 3D DRAM技術を発表した。
Raptor 3D DRAMアーキテクチャは、従来のHBM4ソリューションと比較して、効率の面で大きな差を実現する。各チップレットでは、TSMCの4 nm製造プロセスで製造されたロジック層が、専用の3D DRAM層の上に36マイクロメートルのFace-to-Face垂直積層方式で配置される。これにより、PHYインターフェースと物理的な境界による制約が取り除かれる。単一の積層層で32 GBの容量を提供するこのシステムは、0.37 pJ/bitの消費電力で100 TB/sの帯域幅を実現する。
HBM4メモリが18 TB/sの帯域幅に到達するために2〜3 pJ/bitのエネルギーを消費することを踏まえると、Raptorアーキテクチャは5.6倍の帯域幅を、5〜8倍少ない消費電力で提供する。
垂直メモリ統合の分野で活動している企業はd-Matrixだけではない。Samsungの同様の垂直積層方式を用いる3段階のzHBMアーキテクチャも、メモリ層をプロセッサの真上に垂直に配置することで、性能向上と省電力化を目指している。これに対してd-Matrixは、Raptorアーキテクチャのロジック層を最上部に配置し、液冷ソリューションによる熱の排出を容易にしている。システムはチップレットあたり0.5 W/mm²の電力密度で動作し、105 °Cの接合温度に耐えられるよう設計されている。高温時に発生するリーク電流を防ぐため、メモリのリフレッシュ速度は8倍に引き上げられ、リフレッシュ間隔は4ミリ秒ごとに設定されている。この処理による総メモリ帯域幅の損失はわずか1.37%にとどまる。
データ転送時の消費電力を削減するため、アーキテクチャレベルで専用のマッピングが適用された。
チップレットに搭載された256基のテンソルエンジンは、DRAMバンクの物理的な幅に直接対応付けられている。各チャネルの3つのバンクが96バイトのデータを提供する一方、テンソルエンジンが必要とする128バイトのデータストリームは、帯域幅の損失を生じさせることなく、4-wayの結合メカニズムを通じて供給される。製造歩留まりを高めるため、1,366行、容量5.33メガバイトの小型マイクロバンク設計が採用されている。潜在的なエラーに備え、ロジック層には、128バイト中の2シンボルエラーを訂正できるReed-Solomon T=2エラー訂正コード（ECC）が組み込まれている。
システムレベルで実施されたテストでは、d-Matrix Raptor 3D DRAMは、NVIDIA Rubin R200 HBM4プラットフォームと比較して、83%から85%の実効帯域幅使用率において、1平方ミリメートルあたり23.4倍の帯域幅を実現している。さらに、1ミリワットあたりのギガバイト/秒という指標では、13.5倍高い電力効率を示している。
高い処理速度とエネルギー効率のバランスを実現するこのアーキテクチャは、特に大規模言語モデルや自律型AIエージェントの推論処理で生じるメモリボトルネックに対する、高性能な代替手段となる。