NVIDIAは、AIインフラにおけるメモリ性能と効率の向上を目的に、次世代の高帯域幅メモリ技術であるNVIDIA NVHBMをNVIDIA NVLink Fusionに追加した。メモリコントローラーをXPUではなく3D HBMスタックの基部に移すこの技術は、標準的なHBM4Eと比べて最大30%高いメモリ帯域幅、15%低いHBM消費電力、さらにXPUプロセッサダイ上で最大25%多いスペースを実現する。
NVHBMは、複数のメモリサプライヤーから提供される。AmazonのAnnapurna Labs部門は、NVIDIAとの協業の一環として同技術に取り組み、NVLinkスケールアウトアーキテクチャをサポートする。AWSはまた、Trainium4を皮切りに、次世代TrainiumチップをNVLink Fusionに対応させる計画で、これによりAmazonのチップとNVIDIA GPUを共通のラックスケールアーキテクチャ上で連携動作させることが可能になる。
なぜ重要なのか
今回の進展は、AIインフラでは演算能力だけでなく、メモリのデータ転送能力と消費電力もシステム設計を左右することを示している。メモリ制御を別の層に移すことで、XPU設計におけるスペース利用と電力設計に直接影響を与え得るアプローチが提示されている。複数のメモリサプライヤーがこの技術に参加することは、NVLink Fusionが単一のハードウェアコンポーネントではなく、異なるメーカーのソリューションを統合する枠組みとして位置付けられていることを示している。AWSがTrainiumチップをこのアーキテクチャに対応させる計画は、専用プロセッサとNVIDIA GPUを同じラックスケールで稼働させるための技術的互換性を焦点に浮上させている。ただし、ほかのメモリサプライヤーがどの企業になるのか、またこれらの構成がどの製品で使用されるのかは、まだ明らかにされていない。