NVIDIA ha añadido NVIDIA NVHBM, una tecnología de memoria de próxima generación y alto ancho de banda, a NVIDIA NVLink Fusion con el objetivo de aumentar el rendimiento y la eficiencia de la memoria en la infraestructura de inteligencia artificial. La tecnología, que traslada el controlador de memoria del XPU a la base de la pila 3D HBM, ofrece hasta un 30% más de ancho de banda de memoria, un 15% menos de consumo de energía de HBM y hasta un 25% más de espacio en el chip de procesamiento XPU en comparación con la HBM4E estándar.
NVHBM será ofrecida por varios proveedores de memoria. La unidad Annapurna Labs de Amazon trabajará en la tecnología como parte de su colaboración con NVIDIA y será compatible con la arquitectura de escalado de NVLink. AWS también planea adaptar sus chips Trainium de próxima generación a NVIDIA NVLink Fusion, comenzando con Trainium4; de este modo, los chips de Amazon y las GPU NVIDIA podrán funcionar conjuntamente mediante una arquitectura común a escala de rack.
Por qué es importante
Este avance demuestra que, en la infraestructura de inteligencia artificial, la capacidad de transferencia de datos y el consumo de energía de la memoria determinan el diseño del sistema tanto como la potencia de procesamiento. El traslado del control de la memoria a otra capa plantea un enfoque que puede afectar directamente al uso del espacio y a la planificación energética en el diseño de XPU. La participación de varios proveedores de memoria en la tecnología muestra que NVLink Fusion se está posicionando como una estructura que reúne soluciones de distintos fabricantes, en lugar de como un único componente de hardware. El plan de AWS de adaptar los chips Trainium a esta arquitectura pone sobre la mesa la compatibilidad técnica necesaria para que los procesadores especializados y las GPU NVIDIA funcionen en la misma escala de rack. Sin embargo, todavía no se ha revelado quiénes serán los otros proveedores de memoria ni en qué productos se utilizarán estas estructuras.