NVIDIA hat NVIDIA NVHBM, eine neue Generation von Hochbandbreitenspeichertechnologie, zu NVIDIA NVLink Fusion hinzugefügt, um die Speicherleistung und -effizienz in der Infrastruktur für künstliche Intelligenz zu steigern. Die Technologie verlagert den Speichercontroller vom XPU an die Basis des 3D-HBM-Stacks und bietet im Vergleich zu Standard-HBM4E eine um bis zu 30 % höhere Speicherbandbreite, einen um 15 % geringeren HBM-Energieverbrauch sowie bis zu 25 % mehr Platz auf dem XPU-Rechenchip.
NVHBM wird von mehreren Speicheranbietern angeboten werden. Die Amazon-Einheit Annapurna Labs wird im Rahmen ihrer Zusammenarbeit mit NVIDIA an der Technologie arbeiten und die NVLink-Skalierungsarchitektur unterstützen. AWS plant außerdem, ausgehend von Trainium4 die Trainium-Chips der nächsten Generation an NVIDIA NVLink Fusion anzupassen. Dadurch sollen Amazon-Chips und NVIDIA GPU in einer gemeinsamen Architektur auf Rack-Ebene zusammenarbeiten können.
Warum das wichtig ist
Diese Entwicklung zeigt, dass in der Infrastruktur für künstliche Intelligenz neben der Rechenleistung auch die Datenübertragungskapazität und der Energieverbrauch des Speichers das Systemdesign bestimmen. Die Verlagerung der Speichersteuerung auf eine andere Ebene stellt einen Ansatz dar, der die Platznutzung und die Energieplanung beim XPU-Design direkt beeinflussen kann. Die Einbindung mehrerer Speicheranbieter in die Technologie zeigt, dass NVIDIA NVLink Fusion nicht als einzelne Hardwarekomponente, sondern als eine Struktur positioniert wird, die Lösungen verschiedener Hersteller zusammenführt. Der Plan von AWS, die Trainium-Chips an diese Architektur anzupassen, rückt die technische Kompatibilität in den Fokus, die erforderlich ist, damit kundenspezifische Prozessoren und NVIDIA GPU auf derselben Rack-Ebene betrieben werden können. Allerdings ist noch nicht bekannt, um welche weiteren Speicheranbieter es sich handeln wird und in welchen Produkten diese Strukturen zum Einsatz kommen werden.