Стремительный рост потребности в KV-кэше со стороны моделей искусственного интеллекта бросает вызов ограничениям дата-центров в отношении пропускной способности памяти и энергопотребления. Хотя существующие решения на базе SRAM обеспечивают высокую скорость, их применение ограничено из-за проблем с масштабируемостью и высокой стоимости. Память HBM предлагает высокую ёмкость, однако по мере увеличения пропускной способности сталкивается с чрезвычайно высоким энергопотреблением. В поисках решения этой проблемы компания d-Matrix представила технологию Raptor 3D DRAM, в которой PHY-слой удалён, а память интегрирована под логическим чипом.
По сравнению с традиционными решениями HBM4 архитектура Raptor 3D DRAM обеспечивает радикальное преимущество с точки зрения эффективности. В каждом чиплете логический слой, изготовленный по 4-нм техпроцессу TSMC, размещается поверх специального слоя 3D DRAM с использованием вертикальной Face-to-Face-укладки на расстоянии 36 микрон. Благодаря этому устраняются ограничения, связанные с интерфейсом PHY и физическими границами. Система обеспечивает ёмкость 32 GB на один слой укладки, пропускную способность 100 TB/s при энергопотреблении 0,37 pJ/bit.
Если учесть, что памяти HBM4 потребляют 2–3 pJ/bit для достижения пропускной способности 18 TB/s, архитектура Raptor обеспечивает в 5,6 раза большую пропускную способность при потреблении в 5–8 раз меньшей мощности.
d-Matrix — не единственная компания, работающая в области вертикальной интеграции памяти. Трёхуровневая архитектура zHBM от Samsung, использующая аналогичный метод вертикальной укладки, также призвана повысить производительность и снизить энергопотребление за счёт размещения слоёв памяти вертикально непосредственно над процессором. В свою очередь, d-Matrix размещает логический слой архитектуры Raptor сверху, облегчая отвод тепла с помощью решений жидкостного охлаждения. Система работает при плотности мощности 0,5 Вт/мм² на чиплет и рассчитана на температуру перехода до 105 °C. Чтобы предотвратить токи утечки, возникающие при высоких температурах, частота обновления памяти повышается в 8 раз, а интервал обновления устанавливается на уровне одного раза каждые 4 миллисекунды. Этот процесс приводит к потере лишь 1,37 % общей пропускной способности памяти.
Для снижения энергопотребления при передаче данных на архитектурном уровне применены специальные схемы сопоставления.
Имеющиеся в чиплете 256 тензорных движков напрямую сопоставляются с физической шириной банков DRAM. В то время как 3 банка в каждом канале предоставляют 96 байт данных, необходимый тензорным движкам поток объёмом 128 байт обеспечивается с помощью механизма объединения по 4 без потери пропускной способности. Для повышения выхода годной продукции используются небольшие микробанки на 1 366 строк ёмкостью 5,33 мегабайта. Для защиты от возможных ошибок в логическом слое предусмотрен код коррекции ошибок Reed-Solomon T=2 (ECC), способный исправлять 2 символьные ошибки на 128 байт.
В ходе испытаний на системном уровне d-Matrix Raptor 3D DRAM обеспечивает в 23,4 раза более высокую пропускную способность на квадратный миллиметр при эффективном использовании пропускной способности от 83% до 85% по сравнению с платформой NVIDIA Rubin R200 HBM4. Кроме того, её энергоэффективность, измеряемая в гигабайтах в секунду на милливатт, в 13,5 раза выше.
Эта архитектура, обеспечивающая баланс между высокой скоростью вычислений и энергоэффективностью, представляет собой производительную альтернативу для устранения узких мест в подсистеме памяти, возникающих прежде всего при инференсе больших языковых моделей и автономных агентов искусственного интеллекта.