Yapay zeka modelleri ile KV önbellek ihtiyaçlarının hızla artması, veri merkezlerinde bellek bant genişliği ve enerji tüketimine ilişkin sınırları zorluyor. Mevcut SRAM çözümleri yüksek hız sağlasa da ölçeklenebilirlik sınırlamaları ve yüksek maliyet nedeniyle kısıtlı kalıyor. HBM bellekler yüksek kapasite sunarken, bant genişliği yükseldikçe çok büyük bir güç engeliyle karşılaşıyor. Bu soruna çözüm arayan girişimlerden d-Matrix, PHY katmanını kaldırıp belleği mantık çipinin altına entegre eden Raptor 3D DRAM teknolojisini duyurdu.
Raptor 3D DRAM mimarisi, geleneksel HBM4 çözümleriyle karşılaştırıldığında verimlilik açısından radikal bir fark sunuyor. Her çiplette TSMC 4 nm üretim süreciyle üretilen mantık katmanı, özel 3D DRAM katmanının üzerine 36 mikron yüz yüze (Face-to-Face) dikey istifleme yöntemiyle konumlandırılıyor. Böylece PHY arayüzü ile fiziksel sınır kısıtlamaları ortadan kaldırılıyor. Tek bir istif katmanında 32 GB kapasite sağlayan sistem, 0,37 pJ/bit enerji tüketimiyle 100 TB/s bant genişliği sunuyor.
HBM4 belleklerin 18 TB/s bant genişliğine ulaşmak için 2 ila 3 pJ/bit enerji tükettiği göz önüne alındığında, Raptor mimarisi 5,6 kat daha fazla bant genişliğini 5 ila 8 kat daha az güç tüketerek sunuyor.
Dikey bellek entegrasyonu alanında faaliyet gösteren tek şirket d-Matrix değil. Samsung’un benzer bir dikey istifleme yöntemini kullanan üç aşamalı zHBM mimarisi de bellek katmanlarını doğrudan işlemcinin üzerine dikey biçimde yerleştirerek performansı artırmayı ve güç tasarrufu sağlamayı amaçlıyor. Buna karşılık d-Matrix, Raptor mimarisindeki mantık katmanını en üstte konumlandırarak sıvı soğutma çözümleri aracılığıyla ısının tahliyesini kolaylaştırıyor. Sistem, çiplet başına 0,5 W/mm² güç yoğunluğunda çalışıyor ve 105 °C birleşme sıcaklığına dayanacak biçimde tasarlandı. Yüksek sıcaklıklarda meydana gelen sızıntı akımlarını önlemek için bellek yenileme hızı 8 kat yükseltilerek yenileme aralığı her 4 milisaniyede bir olacak şekilde ayarlanıyor. Bu süreç, toplam bellek bant genişliğinde yalnızca %1,37’lik kayıp oluşturuyor.
Veri aktarımı sırasında tüketilen gücü azaltmak için mimari seviyede özel eşleştirmeler uygulandı.
Çiplette bulunan 256 tensör motoru, DRAM bankalarının fiziksel genişliğiyle doğrudan eşleştiriliyor. Her kanaldaki 3 banka 96 bayt veri sunarken tensör motorlarının ihtiyaç duyduğu 128 baytlık akış, bant genişliği kaybına yol açmadan 4’lü birleştirme mekanizması üzerinden sağlanıyor. Üretim verimini yükseltmek amacıyla 1.366 satır ve 5,33 megabayt kapasiteli küçük mikro bank tasarımları kullanılıyor. Muhtemel hatalara karşı mantık katmanında, 128 baytta 2 sembol hatasını düzeltebilen Reed-Solomon T=2 hata düzeltme koduna (ECC) yer veriliyor.
Sistem düzeyinde gerçekleştirilen testlerde d-Matrix Raptor 3D DRAM, NVIDIA Rubin R200 HBM4 platformuna kıyasla %83 ila %85 etkili bant genişliği kullanım oranında milimetrekare başına 23,4 kat daha fazla bant genişliği sağlıyor. Ayrıca milivat başına gigabayt/saniye ölçümünde 13,5 kat daha yüksek güç verimliliği gösteriyor.
Yüksek işlem hızı ve enerji verimliliği arasında denge kuran bu mimari, özellikle büyük dil modelleri ile otonom yapay zeka ajanlarının çıkarım süreçlerinde karşılaşılan bellek darboğazlarına performanslı bir alternatif oluşturuyor.