人工智能模型以及 KV 缓存需求的快速增长，正不断挑战数据中心在内存带宽和能耗方面的极限。现有 SRAM 解决方案虽然能够提供高速度，但由于可扩展性限制和高成本，应用仍然受到制约。HBM 内存能够提供高容量，但随着带宽提升，也会面临巨大的功耗瓶颈。为解决这一问题，d-Matrix 宣布推出 Raptor 3D DRAM 技术，该技术取消 PHY 层，并将内存集成在逻辑芯片下方。
与传统 HBM4 解决方案相比，Raptor 3D DRAM 架构在能效方面实现了根本性的差异。每个芯粒中的逻辑层采用 TSMC 4 nm 制程制造，并通过 36 微米的 Face-to-Face 垂直堆叠方式，置于专用 3D DRAM 层之上。这样一来，PHY 接口和物理边界限制都被消除。该系统在单个堆叠层中可提供 32 GB 容量，并以 0.37 pJ/bit 的能耗实现 100 TB/s 带宽。
考虑到 HBM4 内存要达到 18 TB/s 带宽需要消耗 2 至 3 pJ/bit 的能量，Raptor 架构能够以低 5 至 8 倍的功耗，提供高出 5.6 倍的带宽。
在垂直内存集成领域开展业务的并不只有 d-Matrix。Samsung 采用类似垂直堆叠方法的三阶段 zHBM 架构，同样旨在通过将内存层直接垂直放置在处理器上方来提升性能并节省功耗。相比之下，d-Matrix 将 Raptor 架构中的逻辑层置于最上方，从而通过液冷解决方案更便于散热。该系统以每个芯粒 0.5 W/mm² 的功率密度运行，并经过设计，可承受 105 °C 的结温。为避免高温下产生的漏电流，内存刷新速率提高了 8 倍，刷新间隔调整为每 4 毫秒一次。该过程仅造成总内存带宽 1.37% 的损失。
为降低数据传输过程中消耗的功率，架构层面采用了专门的匹配设计。
芯粒中的 256 个张量引擎与 DRAM bank 的物理宽度直接匹配。每个通道中的 3 个 bank 可提供 96 字节数据，而张量引擎所需的 128 字节数据流则通过 4 路合并机制提供，不会造成带宽损失。为提高生产良率，采用了容量为 1,366 行、5.33 兆字节的小型微型 bank 设计。针对可能出现的错误，逻辑层中采用了 Reed-Solomon T=2 错误校正码（ECC），可在 128 字节中纠正 2 个符号错误。
在系统级测试中，d-Matrix Raptor 3D DRAM 相较于 NVIDIA Rubin R200 HBM4 平台，在 83% 至 85% 的有效带宽利用率下，每平方毫米可提供高出 23.4 倍的带宽。此外，按每毫瓦对应的 GB/s 计算，其功耗效率高出 13.5 倍。
该架构在高处理速度与能效之间实现了平衡，尤其可为大型语言模型和自主人工智能代理的推理过程中遇到的内存瓶颈提供一种高性能替代方案。