Bei Nvidia gab es einige Änderungen hinsichtlich der Vera-Rubin-Plattform, die sich auf die maximale Leistung der neuen KI-Beschleuniger auswirken werden und zudem im Vergleich zu den ursprünglichen Plänen einen Rückschritt in Sachen Wettbewerbsfähigkeit bedeuten – sehr zur Freude von AMD.
Laut der offiziellen Spezifikationstabelle gab es in der letzten Zeit in mehreren Bereichen Anpassungen, wodurch die HBM4-Speicherchips nun mit einer niedrigeren Taktrate laufen, und auch die maximale Datenübertragungsbandbreite der NVLink-Verbindung wurde leicht reduziert. Diese Änderungen waren zweifellos notwendig, da bei der aktuellen Implementierung die ursprünglich geplanten Geschwindigkeiten nicht haltbar waren, das System nicht ausreichend stabil war und auch die Zuverlässigkeit darunter litt; die neuen Werte stellen jedoch wieder Ordnung her, allerdings muss im Gegenzug ein gewisser Leistungsverlust in Kauf genommen werden.
Eine wichtige Änderung besteht darin, dass bei der Ankündigung von Vera Rubin für die HBM4-Speicherchip-Sandwiches noch eine Geschwindigkeit von 11,7 Gbit/s pro Kontakt vorgesehen war, während nun nur noch mit 9,6 Gbit/s gerechnet wird. Für die Vera-Rubin-basierten NVL72-Racks bedeutet dies im Wesentlichen, dass die effektive Gesamtspeicherbandbreite von den geplanten 1580 TB/s auf 1400 TB/s sinkt, was die bei einzelnen Aufgaben erreichbare maximale Leistung auf jeden Fall verringern wird; das genaue Ausmaß könnte jedoch erst durch unabhängige Tests ermittelt werden – und die tatsächlichen Auswirkungen der Bandbreitenverringerung würden stark von der Art des jeweiligen Arbeitsablaufs abhängen.
Die nächste wichtige Änderung betrifft die NVLink-Verbindung, die nach den aktuellen Plänen den einzelnen GPUs möglicherweise eine geringere Datenübertragungsbandbreite als erwartet bieten wird. Ursprünglich war eine Datenübertragungsbandbreite von 18 TB/s vorgesehen, musste diese jedoch auf 1,5 TB/s reduziert werden, was dazu führt, dass die Datenübertragungsbandbreite der bidirektionalen Verbindung von 3,6 TB/s auf 3 TB/s sinkt. Die Reduzierung könnte darauf abzielen, die Signalintegrität zu verbessern und die Verbindungsstabilität zu erhöhen; im Hintergrund steht dabei, dass die Nyquist-Taktfrequenz von NVLink von 56 GHz auf 47 GHz gesenkt wurde. Durch die niedrigere Taktfrequenz werden die einzelnen Komponenten – beispielsweise die Kabel, die SerDes-Bausteine sowie weitere Bauteile – weniger belastet, was zur Steigerung der Fertigungseffizienz und zur Verbesserung der Betriebsstabilität beiträgt. Indem etwas Leistung zugunsten der Stabilität geopfert wird, sind die Kunden auf jeden Fall gut beraten, denn ein AI-Server sollte lieber stabil und zuverlässig sein als ein bisschen schneller, aber gelegentlich instabil.
Was bedeuten die oben genannten Punkte im Hinblick auf den Wettbewerb? Im Wesentlichen, dass das AMD Helios-Rack zumindest auf dem Papier als noch attraktivere Wahl erscheinen könnte – das genaue Kräfteverhältnis werden unabhängige Tests zeigen. Sicher ist, dass der AMD Instinct MI455X über deutlich mehr Speicher mit hoher Bandbreite verfügt als der Nvidia Vera Rubin, denn während die AMD-Lösung 432 GB HBM4-On-Board-Speicher einsetzt, dem eine Speicherbandbreite von 23,3 TB/s Speicherbandbreite, während die Vera Rubin nur 288 GB Speicher nutzt, und zwar bei einer Speicherbandbreite von 19,2 TB/s.
Bei einem Rack mit 72 GPUs ergibt sich bei AMD somit 31 TB HBM4-Speicher und eine Gesamtspeicherbandbreite von 1,67 PB/s, während die „Vera Rubin“-Plattform von Nvidia nur 20,7 TB Speicher und eine Speicherbandbreite von 1,4 PB/s vorweisen kann. Da auch die Bandbreite von NVLink gesunken ist, hat AMD auch in diesem Bereich die Nase vorn, denn mithilfe von UALoE stehen pro GPU 3,6 TB/s bidirektionale Datenübertragungsbandbreite zur Verfügung, was eine kombinierte Datenübertragungsbandbreite von 260 TB/s ergibt, während auf der Nvidia-Seite nur eine bidirektionale Datenübertragungsbandbreite von 3 TB/s zur Verfügung steht, sodass die kombinierte Datenübertragungsbandbreite lediglich 216 TB/s beträgt.
Aufgrund der oben genannten Punkte ist die AMD Helios-Plattform gegenüber der Nvidia Vera Rubin-Plattform sowohl hinsichtlich der Speicherkapazität als auch der Speicherbandbreite und der Verbindungsbandbreite im Vorteil. Inwieweit wird sich dieser theoretische Vorteil unter realen Bedingungen auswirken und wie viele Kunden lassen sich letztendlich für die Helios-Plattform gewinnen? Antworten auf diese Fragen werden sich erst später zeigen.
