La rapida crescita dei modelli di intelligenza artificiale e delle esigenze relative alle cache KV sta mettendo sotto pressione i limiti della larghezza di banda della memoria e del consumo energetico nei data center. Sebbene le attuali soluzioni SRAM garantiscano velocità elevate, rimangono limitate a causa dei vincoli di scalabilità e dei costi elevati. Le memorie HBM offrono un’elevata capacità, ma all’aumentare della larghezza di banda si trovano a dover affrontare un enorme ostacolo in termini di potenza. Alla ricerca di una soluzione a questo problema, d-Matrix ha annunciato la tecnologia Raptor 3D DRAM, che elimina il livello PHY e integra la memoria sotto il chip logico.
L’architettura Raptor 3D DRAM offre una differenza radicale in termini di efficienza rispetto alle tradizionali soluzioni HBM4. In ciascun chiplet, il livello logico prodotto con il processo produttivo a 4 nm di TSMC viene posizionato sopra lo speciale livello 3D DRAM mediante un impilamento verticale Face-to-Face a 36 microni. In questo modo vengono eliminati i vincoli dell’interfaccia PHY e dei limiti fisici. Il sistema, che offre una capacità di 32 GB in un singolo livello di impilamento, garantisce una larghezza di banda di 100 TB/s con un consumo energetico di 0,37 pJ/bit.
Considerando che le memorie HBM4 consumano da 2 a 3 pJ/bit di energia per raggiungere una larghezza di banda di 18 TB/s, l’architettura Raptor offre una larghezza di banda 5,6 volte superiore consumando da 5 a 8 volte meno energia.
d-Matrix non è l’unica azienda attiva nel campo dell’integrazione verticale della memoria. Anche l’architettura zHBM a tre livelli di Samsung, che utilizza un metodo simile di impilamento verticale, mira ad aumentare le prestazioni e a ridurre i consumi posizionando direttamente i livelli di memoria sopra il processore. d-Matrix, invece, facilita la dissipazione del calore attraverso soluzioni di raffreddamento a liquido posizionando il livello logico dell’architettura Raptor nella parte superiore. Il sistema opera con una densità di potenza di 0,5 W/mm² per chiplet ed è stato progettato per resistere a una temperatura di giunzione di 105 °C. Per prevenire le correnti di leakage che si verificano alle alte temperature, la frequenza di refresh della memoria viene aumentata di 8 volte, impostando l’intervallo di refresh a ogni 4 millisecondi. Questo processo comporta una perdita di appena l’1,37% della larghezza di banda complessiva della memoria.
Per ridurre l’energia consumata durante il trasferimento dei dati, sono stati applicati abbinamenti specifici a livello architetturale.
I 256 motori tensoriali presenti nel chiplet vengono abbinati direttamente alla larghezza fisica dei banchi DRAM. Mentre i 3 banchi di ciascun canale forniscono 96 byte di dati, il flusso da 128 byte richiesto dai motori tensoriali viene fornito attraverso un meccanismo di aggregazione a 4, senza causare perdite di larghezza di banda. Per aumentare la resa produttiva, vengono utilizzati piccoli design di micro-banchi con 1.366 righe e una capacità di 5,33 megabyte. Per far fronte a possibili errori, nel livello logico è incluso un codice di correzione degli errori Reed-Solomon T=2 (ECC), in grado di correggere 2 errori di simbolo su 128 byte.
Nei test condotti a livello di sistema, d-Matrix Raptor 3D DRAM fornisce una larghezza di banda 23,4 volte superiore per millimetro quadrato, con un tasso di utilizzo effettivo della larghezza di banda dell’83%-85% rispetto alla piattaforma NVIDIA Rubin R200 HBM4. Inoltre, mostra un’efficienza energetica 13,5 volte superiore in termini di gigabyte al secondo per milliwatt.
Questa architettura, che raggiunge un equilibrio tra elevata velocità di elaborazione ed efficienza energetica, rappresenta un’alternativa performante ai colli di bottiglia della memoria affrontati in particolare nei processi di inferenza dei modelli linguistici di grandi dimensioni e degli agenti di intelligenza artificiale autonomi.