Nvidia hat eine sehr wichtige Neuerung angekündigt, nämlich NVHBM, eine spezielle Speichertechnologie. NVHBM soll den NVLink Fusion Link-Partnern für die Herstellung eigener KI-Beschleuniger ebenso zur Verfügung stehen wie für die KI-Beschleuniger, die auf den eigenen GPUs von Nvidia basieren – in beiden Fällen bietet sie erhebliche Vorteile gegenüber herkömmlichen Speichersubsystemen nach dem HBM4E-Standard.
Das Wesentliche an NVHBM ist die Einführung einer neuen Speicherarchitektur, bei der die Speichercontroller nicht mehr auf dem XPU-Chip untergebracht sind, und somit keine wertvolle Siliziumfläche auf den mit Rechenkomponenten vollgepackten Chips beanspruchen, sondern stattdessen auf den Basis-Chips der NVHBM-Speicherchip-Sandwiches untergebracht werden. Durch die Verlagerung der Speichercontroller auf die NVHBM-Chips wird wertvolle Siliziumfläche auf den XPU-Chips freigesetzt, wodurch komplexere KI-Beschleuniger realisiert werden können, die eine höhere Rechenleistung bieten, da ein größerer Teil der Transistoren für Komponenten zur Rechenleistung bereitgestellt werden kann.
Ian Cutress, ein äußerst versierter Analyst, der lange Zeit ein tragendes Mitglied des inzwischen aufgelösten AnandTech-Teams war, ist der Ansicht, dass NVHBM im Wesentlichen einen wichtigen Schritt weg von standardisierten HBM-Speicherchip-Sandwiches hin zu Designs mit maßgeschneiderten, kundenspezifischen Speicherstrukturen darstellt, die zahlreiche neue Möglichkeiten bieten. Neben den standardisierten HBM-Speicherchip-Sandwiches werden in Zukunft HBM-Designs mit maßgeschneiderten Basis-Chips sowie 3D-Speicher, die enger in die Chips integriert sind, um die Gunst der Käufer konkurrieren, und genau aus diesem Grund werden letztere den heute weit verbreiteten standardmäßigen HBM-Speicherchip-Sandwichs den Rang ablaufen, da die auf individuelle Anforderungen zugeschnittenen Designs und Basisplatinen zahlreiche Vorteile sowohl hinsichtlich der Rechenleistung als auch der Speicherbandbreite und der Energieeffizienz bieten werden.
Nach Angaben des Nvidia-Teams lässt sich bei den NVHBM-Speicherchip-Sandwiches die Speicherbandbreite im Vergleich zu normalen HBM4E-Modellen pro Chip um bis zu 30 % steigern, während der Stromverbrauch im Vergleich zum bei normalen HBM4E-Chips üblichen Niveau um bis zu 15 % gesenkt werden kann. Gleichzeitig können Kunden dank der überarbeiteten Speicherschnittstelle bis zu 25 % mehr Waferfläche für XPU-Zwecke nutzen, das heißt, es finden mehr Komponenten auf demselben Chip Platz, was je nach Anforderung eine höhere Rechenleistung und/oder zusätzliche Funktionen bedeuten kann.
Gleichzeitig könnte durch die schmalere Speicherschnittstelle auch der Aufbau des Interposers vereinfacht werden; die Verdrahtung lässt sich leichter realisieren, wodurch bei der gesamten Gehäusekonstruktion bis zu 80 % mehr nutzbare Siliziumfläche verbleiben könnte. Laut Nvidia kann die Gesamtleistung der XPU um bis zu 30 % steigen, da NVHBM zusätzliche Speicherbandbreite bietet, etwas Chipfläche für die Steigerung der Rechenleistung freigesetzt wird und das HBM-basierte Speichersubsystem energieeffizienter arbeitet.
Einer der ersten Kunden, der von den Vorteilen von NVHBM profitieren kann, wird Annapurna Labs sein, das zum Amazon-Konzern gehört. Das Unternehmen entwickelt bereits den KI-Beschleuniger „Trainium 4“, der mit Unterstützung für NVLink Fusion und NVLink 6 auf den Markt kommen könnte und somit innerhalb derselben Rack-Architektur mit den Nvidia-GPU-basierten KI-Beschleunigern zusammenarbeiten kann. Nach den Plänen von Nvidia werden später auch mehrere Speicherhersteller NVHBM-Chips anbieten; allerdings wurde nicht bekannt gegeben, welche GPU-Generation aus dem eigenen Angebot als erste von den Vorteilen von NVHBM profitieren wird.
