Der rasante Anstieg der Anforderungen von KI-Modellen an den KV-Cache bringt die Speicherbandbreite und den Energieverbrauch in Rechenzentren an ihre Grenzen. Bestehende SRAM-Lösungen bieten zwar hohe Geschwindigkeiten, bleiben jedoch aufgrund begrenzter Skalierbarkeit und hoher Kosten eingeschränkt. HBM-Speicher bieten eine hohe Kapazität, stoßen aber mit zunehmender Bandbreite auf eine enorme Leistungshürde. Das Start-up d-Matrix, das nach einer Lösung für dieses Problem sucht, hat die Raptor 3D DRAM-Technologie vorgestellt, bei der die PHY-Schicht entfällt und der Speicher unter dem Logikchip integriert wird.
Die Raptor 3D DRAM-Architektur bietet im Vergleich zu herkömmlichen HBM4-Lösungen einen radikalen Effizienzvorteil. In jedem Chiplet wird die im TSMC-4-nm-Fertigungsprozess hergestellte Logikschicht mithilfe eines vertikalen Face-to-Face-Stapelverfahrens mit einem Abstand von 36 Mikrometern auf der speziellen 3D DRAM-Schicht positioniert. Dadurch entfallen die Einschränkungen durch die PHY-Schnittstelle und die physischen Grenzen. Das System bietet in einer einzelnen Stapelschicht eine Kapazität von 32 GB und erreicht bei einem Energieverbrauch von 0,37 pJ/bit eine Bandbreite von 100 TB/s.
Angesichts dessen, dass HBM4-Speicher zum Erreichen einer Bandbreite von 18 TB/s 2 bis 3 pJ/bit verbrauchen, bietet die Raptor-Architektur eine 5,6-mal höhere Bandbreite bei einem 5- bis 8-mal geringeren Stromverbrauch.
d-Matrix ist nicht das einzige Unternehmen, das im Bereich der vertikalen Speicherintegration tätig ist. Auch Samsungs dreistufige zHBM-Architektur, die ein ähnliches vertikales Stapelverfahren nutzt, zielt darauf ab, die Leistung zu steigern und Energie zu sparen, indem die Speicherschichten direkt vertikal auf dem Prozessor platziert werden. Im Gegensatz dazu positioniert d-Matrix die Logikschicht in der Raptor-Architektur ganz oben, um die Wärmeabfuhr mithilfe von Flüssigkühlungslösungen zu erleichtern. Das System arbeitet mit einer Leistungsdichte von 0,5 W/mm² pro Chiplet und wurde für eine Verbindungstemperatur von 105 °C ausgelegt. Um bei hohen Temperaturen auftretende Leckströme zu verhindern, wird die Speicherauffrischungsrate um das 8-Fache erhöht und das Auffrischungsintervall auf einmal alle 4 Millisekunden eingestellt. Dieser Prozess verursacht beim gesamten Speicherbandbreitendurchsatz lediglich einen Verlust von 1,37 %.
Um den während der Datenübertragung verbrauchten Strom zu reduzieren, wurden auf Architekturebene spezielle Zuordnungen umgesetzt.
Die 256 Tensor Engines im Chiplet werden direkt an die physische Breite der DRAM-Bänke angepasst. Während 3 Bänke in jedem Kanal 96 Byte Daten bereitstellen, wird der von den Tensor Engines benötigte Datenstrom von 128 Byte über einen 4-fachen Zusammenführungsmechanismus ohne Bandbreitenverlust bereitgestellt. Um die Produktionsausbeute zu steigern, werden kleine Micro-Bank-Designs mit 1.366 Zeilen und einer Kapazität von 5,33 Megabyte eingesetzt. Als Schutz gegen mögliche Fehler ist in der Logikschicht ein Reed-Solomon-T=2-Fehlerkorrekturcode (ECC) integriert, der 2 Symbolfehler in 128 Byte korrigieren kann.
In auf Systemebene durchgeführten Tests liefert der d-Matrix Raptor 3D DRAM im Vergleich zur NVIDIA Rubin R200 HBM4-Plattform bei einer effektiven Bandbreitennutzungsrate von 83 % bis 85 % eine 23,4-mal höhere Bandbreite pro Quadratmillimeter. Außerdem weist er bei der Messung in Gigabyte pro Sekunde pro Milliwatt eine 13,5-mal höhere Energieeffizienz auf.
Diese Architektur, die eine Balance zwischen hoher Verarbeitungsgeschwindigkeit und Energieeffizienz herstellt, bietet insbesondere für die bei den Inferenzprozessen großer Sprachmodelle und autonomer KI-Agenten auftretenden Speicherengpässe eine leistungsfähige Alternative.