NVIDIA 将新一代高带宽内存技术 NVIDIA NVHBM 添加到 NVIDIA NVLink Fusion，旨在提升人工智能基础设施中的内存性能和效率。该技术将内存控制器从 XPU 移至 3D HBM 堆叠的基底，相较于标准 HBM4E，可将内存带宽提升最高 30%，将 HBM 功耗降低 15%，并为 XPU 处理芯片提供最高 25% 的额外空间。
NVHBM 将由多家内存供应商提供。Amazon 旗下 Annapurna Labs 部门将与 NVIDIA 合作开发这项技术，并支持 NVLink 扩展架构。此外，AWS 计划从 Trainium4 开始，让新一代 Trainium 芯片适配 NVLink Fusion；这样一来，Amazon 芯片和 NVIDIA GPU 将能够在共同的机架级架构中协同工作。
为何重要
这一进展表明，在人工智能基础设施中，内存的数据传输能力和能耗与计算能力同样会决定系统设计。将内存控制转移到不同层级，带来了一种可能直接影响 XPU 设计中空间利用和功耗规划的方案。多家内存供应商参与这项技术，显示出 NVLink Fusion 的定位并非单一硬件组件，而是一个整合不同制造商解决方案的架构。AWS 计划让 Trainium 芯片适配这一架构，也将专用处理器与 NVIDIA GPU 在同一机架规模下运行的技术兼容性提上日程。不过，其他内存供应商将由哪些厂商构成，以及这些架构将应用于哪些产品，目前尚未公布。