NVIDIA ha aggiunto a NVIDIA NVLink Fusion la tecnologia di memoria ad alta larghezza di banda di nuova generazione NVIDIA NVHBM, con l’obiettivo di aumentare le prestazioni e l’efficienza della memoria nelle infrastrutture di intelligenza artificiale. La tecnologia, che sposta il controller di memoria dall’XPU alla base dello stack 3D HBM, offre una larghezza di banda della memoria fino al 30% superiore, un consumo energetico dell’HBM inferiore del 15% e fino al 25% di spazio in più nel chip di elaborazione XPU rispetto allo standard HBM4E.
NVHBM sarà offerta da più fornitori di memoria. L’unità Annapurna Labs di Amazon lavorerà sulla tecnologia nell’ambito della collaborazione con NVIDIA e supporterà l’architettura di scalabilità NVLink. AWS prevede inoltre di adattare i chip Trainium di nuova generazione a NVLink Fusion, a partire da Trainium4; in questo modo, i chip Amazon e le GPU NVIDIA potranno funzionare insieme all’interno di un’architettura comune su scala rack.
Perché è importante
Questo sviluppo dimostra che, nelle infrastrutture di intelligenza artificiale, anche la capacità di trasferimento dei dati e il consumo energetico della memoria, oltre alla potenza di elaborazione, determinano la progettazione dei sistemi. Lo spostamento del controllo della memoria a un livello diverso introduce un approccio in grado di influire direttamente sull’utilizzo dello spazio e sulla gestione dell’alimentazione nella progettazione delle XPU. Il coinvolgimento di più fornitori di memoria nella tecnologia mostra che NVLink Fusion si sta configurando non tanto come un singolo componente hardware, quanto come una struttura capace di riunire soluzioni di produttori diversi. Il piano di AWS di adattare i chip Trainium a questa architettura porta all’attenzione la compatibilità tecnica necessaria per far funzionare processori specializzati e GPU NVIDIA sulla stessa scala rack. Tuttavia, non è ancora stato reso noto quali saranno gli altri fornitori di memoria né in quali prodotti verranno utilizzate queste strutture.