El rápido aumento de las necesidades de modelos de inteligencia artificial y de caché KV está llevando al límite las restricciones relacionadas con el ancho de banda de memoria y el consumo energético en los centros de datos. Aunque las soluciones SRAM actuales ofrecen una alta velocidad, siguen estando limitadas debido a sus restricciones de escalabilidad y su elevado coste. Mientras que las memorias HBM ofrecen una gran capacidad, se enfrentan a una enorme barrera de consumo energético a medida que aumenta el ancho de banda. En busca de una solución a este problema, d-Matrix anunció la tecnología Raptor 3D DRAM, que elimina la capa PHY e integra la memoria debajo del chip lógico.
La arquitectura Raptor 3D DRAM ofrece una diferencia radical en términos de eficiencia frente a las soluciones HBM4 tradicionales. En cada chiplet, la capa lógica fabricada mediante el proceso de producción de 4 nm de TSMC se sitúa sobre la capa especial de 3D DRAM mediante un apilamiento vertical cara a cara (Face-to-Face) de 36 micras. De este modo, se eliminan las limitaciones físicas y las restricciones de la interfaz PHY. El sistema, que proporciona una capacidad de 32 GB en una sola capa de apilamiento, ofrece un ancho de banda de 100 TB/s con un consumo energético de 0,37 pJ/bit.
Teniendo en cuenta que las memorias HBM4 consumen entre 2 y 3 pJ/bit de energía para alcanzar un ancho de banda de 18 TB/s, la arquitectura Raptor ofrece 5,6 veces más ancho de banda con un consumo energético entre 5 y 8 veces menor.
d-Matrix no es la única empresa que opera en el campo de la integración vertical de memoria. La arquitectura zHBM de tres etapas de Samsung, que utiliza un método de apilamiento vertical similar, también pretende aumentar el rendimiento y ahorrar energía colocando las capas de memoria directamente sobre el procesador en sentido vertical. En cambio, d-Matrix sitúa la capa lógica en la parte superior de la arquitectura Raptor, lo que facilita la evacuación del calor mediante soluciones de refrigeración líquida. El sistema funciona con una densidad de potencia de 0,5 W/mm² por chiplet y está diseñado para soportar una temperatura de unión de 105 °C. Para evitar las corrientes de fuga que se producen a altas temperaturas, la frecuencia de refresco de la memoria se aumenta 8 veces y el intervalo de refresco se ajusta a una vez cada 4 milisegundos. Este proceso genera una pérdida de apenas el 1,37% del ancho de banda total de memoria.
Para reducir la energía consumida durante la transferencia de datos, se aplicaron correspondencias específicas a nivel de arquitectura.
Los 256 motores tensoriales del chiplet se corresponden directamente con el ancho físico de los bancos DRAM. Mientras que los 3 bancos de cada canal proporcionan 96 bytes de datos, el flujo de 128 bytes que necesitan los motores tensoriales se suministra mediante un mecanismo de combinación en grupos de 4, sin provocar pérdidas de ancho de banda. Con el objetivo de aumentar el rendimiento de fabricación, se utilizan diseños de pequeños microbancos con 1.366 filas y una capacidad de 5,33 megabytes. Para hacer frente a posibles errores, la capa lógica incorpora el código de corrección de errores Reed-Solomon T=2 (ECC), capaz de corregir 2 errores de símbolo en 128 bytes.
En las pruebas realizadas a nivel de sistema, d-Matrix Raptor 3D DRAM proporciona 23,4 veces más ancho de banda por milímetro cuadrado con una tasa de utilización efectiva del ancho de banda de entre el 83 % y el 85 %, en comparación con la plataforma NVIDIA Rubin R200 HBM4. Además, muestra una eficiencia energética 13,5 veces mayor, medida en gigabytes por segundo por milivatio.
Esta arquitectura, que equilibra una alta velocidad de procesamiento y la eficiencia energética, ofrece una alternativa de alto rendimiento frente a los cuellos de botella de memoria que se presentan especialmente en los procesos de inferencia de grandes modelos de lenguaje y agentes autónomos de inteligencia artificial.