NVIDIA, yapay zekâ altyapısında bellek performansı ve verimliliğini artırmak amacıyla NVIDIA NVLink Fusion’a yeni nesil yüksek bant genişlikli bellek teknolojisi NVIDIA NVHBM’yi ekledi. Bellek denetleyicisini XPU yerine 3D HBM yığınının tabanına taşıyan teknoloji, standart HBM4E’ye kıyasla %30’a kadar daha yüksek bellek bant genişliği, %15 daha düşük HBM güç tüketimi ve XPU işlem yongasında %25’e kadar daha fazla alan sağlıyor.
NVHBM, birden fazla bellek sağlayıcısı tarafından sunulacak. Amazon’un Annapurna Labs birimi, NVIDIA ile yürüttüğü iş birliği kapsamında teknoloji üzerinde çalışacak ve NVLink ölçekleme mimarisini destekleyecek. AWS ayrıca, Trainium4 ile başlayarak yeni nesil Trainium çiplerini NVLink Fusion’a uyarlamayı planlıyor; bu sayede Amazon çipleri ve NVIDIA GPU’ları ortak raf ölçekli mimariyle birlikte çalışabilecek.
Neden önemli
Bu gelişme, yapay zekâ altyapısında işlem gücü kadar belleğin veri taşıma kapasitesi ve enerji tüketiminin de sistem tasarımını belirlediğini gösteriyor. Bellek denetiminin farklı bir katmana taşınması, XPU tasarımında alan kullanımını ve güç planlamasını doğrudan etkileyebilecek bir yaklaşım ortaya koyuyor. Birden fazla bellek sağlayıcısının teknolojiye dahil olması, NVLink Fusion’ın tek bir donanım bileşeninden ziyade farklı üreticilerin çözümlerini bir araya getiren bir yapı olarak konumlandığını gösteriyor. AWS’nin Trainium çiplerini bu mimariye uyarlama planı, özel işlemciler ile NVIDIA GPU’larının aynı raf ölçeğinde çalıştırılmasına yönelik teknik uyumluluğu gündeme getiriyor. Ancak diğer bellek sağlayıcılarının kimler olacağı ve bu yapıların hangi ürünlerde kullanılacağı henüz açıklanmıyor.