NVIDIA добавила в NVIDIA NVLink Fusion технологию памяти нового поколения с высокой пропускной способностью NVIDIA NVHBM, чтобы повысить производительность и эффективность памяти в инфраструктуре искусственного интеллекта. Технология переносит контроллер памяти с XPU на основание 3D-стека HBM и по сравнению со стандартной HBM4E обеспечивает до 30% более высокую пропускную способность памяти, на 15% меньшее энергопотребление HBM и до 25% больше свободного места на вычислительном кристалле XPU.
NVHBM будет предлагаться несколькими поставщиками памяти. Подразделение Amazon Annapurna Labs в рамках сотрудничества с NVIDIA займётся разработкой технологии и обеспечит поддержку архитектуры масштабирования NVLink. AWS также планирует адаптировать чипы Trainium нового поколения к NVIDIA NVLink Fusion, начиная с Trainium4. Благодаря этому чипы Amazon и GPU NVIDIA смогут работать совместно в рамках единой архитектуры масштаба стойки.
Почему это важно
Это развитие показывает, что в инфраструктуре искусственного интеллекта пропускная способность памяти и энергопотребление при передаче данных определяют конструкцию системы не в меньшей степени, чем вычислительная мощность. Перенос управления памятью на другой уровень представляет собой подход, который может напрямую повлиять на использование пространства и планирование энергопотребления при разработке XPU. Участие нескольких поставщиков памяти в этой технологии показывает, что NVIDIA NVLink Fusion позиционируется не столько как отдельный аппаратный компонент, сколько как платформа, объединяющая решения разных производителей. План AWS по адаптации чипов Trainium к этой архитектуре поднимает вопрос о технической совместимости, необходимой для совместной работы специализированных процессоров и GPU NVIDIA в рамках одной стойки. Однако пока не сообщается, кто именно станет другими поставщиками памяти и в каких продуктах будут использоваться эти решения.