A NVIDIA adicionou a tecnologia de memória de próxima geração e alta largura de banda NVIDIA NVHBM ao NVIDIA NVLink Fusion para aumentar o desempenho e a eficiência da memória na infraestrutura de inteligência artificial. A tecnologia, que transfere o controlador de memória para a base da pilha 3D HBM, em vez de mantê-lo no XPU, oferece até 30% mais largura de banda de memória, 15% menos consumo de energia da HBM e até 25% mais espaço no chip de processamento XPU em comparação com a HBM4E padrão.
A NVHBM será oferecida por vários fornecedores de memória. A unidade Annapurna Labs da Amazon trabalhará na tecnologia no âmbito da parceria com a NVIDIA e dará suporte à arquitetura de escalabilidade NVLink. A AWS também planeja adaptar os chips Trainium de próxima geração ao NVLink Fusion, começando pelo Trainium4; assim, os chips da Amazon e as GPU NVIDIA poderão operar em conjunto em uma arquitetura comum em escala de rack.
Por que isso é importante
Esse avanço mostra que, na infraestrutura de inteligência artificial, a capacidade de transferência de dados e o consumo de energia da memória também determinam o design dos sistemas, assim como o poder de processamento. A transferência do controle de memória para outra camada apresenta uma abordagem que pode afetar diretamente a utilização do espaço e o gerenciamento de energia no design do XPU. A participação de vários fornecedores de memória na tecnologia mostra que o NVLink Fusion está se posicionando como uma estrutura que reúne soluções de diferentes fabricantes, em vez de funcionar como um único componente de hardware. O plano da AWS de adaptar os chips Trainium a essa arquitetura coloca em pauta a compatibilidade técnica necessária para operar processadores personalizados e GPU NVIDIA na mesma escala de rack. No entanto, ainda não foi divulgado quem serão os outros fornecedores de memória nem em quais produtos essas estruturas serão utilizadas.