يؤدي النمو السريع في احتياجات نماذج الذكاء الاصطناعي وذاكرة التخزين المؤقت KV إلى دفع حدود عرض النطاق الترددي للذاكرة واستهلاك الطاقة في مراكز البيانات. ورغم أن حلول SRAM الحالية توفر سرعة عالية، فإنها تظل محدودة بسبب قيود قابلية التوسع وارتفاع التكلفة. وفي حين توفر ذواكر HBM سعة عالية، فإنها تواجه عائقًا كبيرًا جدًا في الطاقة مع ارتفاع عرض النطاق الترددي. وفي إطار البحث عن حل لهذه المشكلة، أعلنت d-Matrix عن تقنية Raptor 3D DRAM، التي تزيل طبقة PHY وتدمج الذاكرة أسفل شريحة المنطق.
توفر بنية Raptor 3D DRAM فرقًا جذريًا من حيث الكفاءة مقارنةً بحلول HBM4 التقليدية. ففي كل chiplet، توضع طبقة المنطق المُنتجة باستخدام عملية تصنيع TSMC بدقة 4 nm فوق طبقة 3D DRAM مخصصة، من خلال التكديس الرأسي وجهًا لوجه (Face-to-Face) على مسافة 36 ميكرونًا. وبذلك، تُزال القيود المرتبطة بواجهة PHY والحدود الفيزيائية. ويوفر النظام، الذي يحقق سعة 32 GB في طبقة تكديس واحدة، عرض نطاق ترددي يبلغ 100 TB/s مع استهلاك طاقة قدره 0.37 pJ/bit.
وبالنظر إلى أن ذواكر HBM4 تستهلك طاقة تتراوح بين 2 و3 pJ/bit للوصول إلى عرض نطاق ترددي يبلغ 18 TB/s، فإن بنية Raptor توفر عرض نطاق ترددي أكبر بمقدار 5.6 مرات، مع استهلاك طاقة أقل بمقدار يتراوح بين 5 و8 مرات.
ليست d-Matrix الشركة الوحيدة العاملة في مجال دمج الذاكرة رأسيًا. فبنية zHBM ثلاثية المراحل من Samsung، التي تستخدم أسلوبًا مشابهًا للتكديس الرأسي، تهدف أيضًا إلى زيادة الأداء وتحقيق توفير في استهلاك الطاقة من خلال وضع طبقات الذاكرة رأسيًا مباشرة فوق المعالج. في المقابل، تضع d-Matrix طبقة المنطق في بنية Raptor في الأعلى، ما يسهل تصريف الحرارة عبر حلول التبريد السائل. ويعمل النظام بكثافة طاقة تبلغ 0.5 W/mm² لكل chiplet، وقد صُمم لتحمل درجة حرارة وصلة تبلغ 105 °C. ولمنع تيارات التسرب التي تحدث عند درجات الحرارة المرتفعة، يُرفع معدل تحديث الذاكرة بمقدار 8 مرات، بحيث تُضبط فترة التحديث لتكون مرة كل 4 ميليثانية. ولا تتسبب هذه العملية إلا في فقدان قدره 1.37% من إجمالي عرض نطاق الذاكرة.
طُبقت مواءمات خاصة على مستوى البنية المعمارية لتقليل الطاقة المستهلكة أثناء نقل البيانات.
تتم مواءمة محركات التنسور البالغ عددها 256 الموجودة في chiplet مباشرةً مع العرض الفيزيائي لبنوك DRAM. وبينما توفر البنوك الـ3 في كل قناة بيانات بحجم 96 بايت، يُوفَّر التدفق البالغ 128 بايتًا الذي تحتاج إليه محركات التنسور عبر آلية دمج من 4 وحدات، من دون التسبب في فقدان عرض النطاق الترددي. ولرفع كفاءة الإنتاج، تُستخدم تصميمات micro bank صغيرة بسعة تبلغ 1.366 صفًا و5.33 ميغابايت. ولمواجهة الأخطاء المحتملة، تتضمن طبقة المنطق رمز تصحيح الأخطاء Reed-Solomon T=2 (ECC)، القادر على تصحيح 2 من أخطاء الرموز ضمن 128 بايت.
في الاختبارات التي أُجريت على مستوى النظام، توفر d-Matrix Raptor 3D DRAM عرض نطاق ترددي أكبر بمقدار 23.4 مرة لكل مليمتر مربع، مقارنةً بمنصة NVIDIA Rubin R200 HBM4، عند معدل استخدام فعلي لعرض النطاق الترددي يتراوح بين 83% و85%. كما تُظهر كفاءة أعلى في استهلاك الطاقة بمقدار 13.5 مرة، وفق مقياس الغيغابايت في الثانية لكل ميلي واط.
وتحقق هذه البنية توازنًا بين سرعة المعالجة العالية وكفاءة الطاقة، ما يجعلها بديلًا عالي الأداء لاختناقات الذاكرة التي تواجهها، على وجه الخصوص، عمليات الاستدلال الخاصة بنماذج اللغة الكبيرة ووكلاء الذكاء الاصطناعي المستقلين.