Laut Microsoft wird die Leistung bestimmter Workflows im HPC-Segment stark von der verfügbaren Speicherbandbreite beeinflusst. Um die Leistung zu verbessern, hat das Unternehmen versucht, dies mit den AMD EPYC-Serverprozessoren der Milan-X- und Genoa-X-Serien innerhalb des Azure Virtual Machine Service auszugleichen, die für einige Workflows durch 3D V-Cache-Caching erhebliche Leistungsgewinne lieferten, aber es scheint, dass sie nicht vollständig zufrieden waren. Da AMD in der Zwischenzeit die KI-Beschleuniger der MI300A- und MI300X-Serien entwickelt hat, bei denen es sich im Wesentlichen um dedizierte APU-Einheiten mit integriertem HBM3-Speicher handelt, bestand die Möglichkeit, die Probleme mit der begrenzten Speicherbandbreite durch eine kreative Entwicklung zu lösen.
Die Lösung war ein spezieller AMD EPYC-Serverprozessor, der nun HBM3-Speicher anstelle von 3D V-Cache verwenden kann, und zwar mit einer sehr hohen Kapazität. Diese Neuerung wird sicherlich dazu beitragen, die Speicherbandbreite zu erhöhen, aber aufgrund der Spezifität von HBM3 wird die Latenz voraussichtlich deutlich schlechter ausfallen, was die Arbeitsabläufe im Zielbereich nicht so negativ zu beeinflussen scheint, dass sich die neuen Prozessoren nicht lohnen. Der HBM3-Speicher ist natürlich nicht mehr als Erweiterung des L3-Cache im System vorhanden, sondern als superschneller Cache der letzten Ebene.
Die neuen AMD EPYC-Serverprozessoren werden die nicht öffentlich zugänglichen virtuellen Maschinen von Microsoft Azure (HBv5) antreiben, und jede dieser VMs kann bis zu vier davon hosten. Das sind insgesamt 352 ZEN 4-Prozessorkerne mit insgesamt 450 GB integriertem HBM3-Speicher. Die On-Board-SMT-Unterstützung ist auf jedem Chip deaktiviert, was bedeutet, dass ein Kern nur an einem einzigen Thread arbeiten kann, wodurch die doppelte Bandbreite einer Standard-Infinity-Fabric erreicht wird. Für die VMs wird die 800-Gbit/s-Quantum-2-InfiniBand-Technologie von Nvidia verwendet.
Ausgehend von den obigen Angaben bietet ein einzelner neuer AMD EPYC-Serverprozessor 88 Kerne für HBv5-VMs, aber es werden wahrscheinlich mehr Prozessorkerne physisch an Bord sein. Höchstwahrscheinlich werden 8 Kerne HyperVisor-Aufgaben ausführen, d.h. sie sind für die Aufgaben hinter der VM zuständig, so dass sie nicht über die VM zugänglich sind. Die Neuentwicklung wird definitiv zur Leistungssteigerung beitragen und dürfte auf der bereits bekannten APU-Einheit des Typs MI300A basieren, die in diesem Fall keine CDNA3-basierte GPU, sondern ausschließlich Prozessorkerne auf Basis der ZEN 4-Architektur enthält. Ein solcher Chip ist bereits mit der Bezeichnung MI300C aufgetaucht - es ist möglich, dass es sich dabei um die Azure-Abteilung von Microsoft gehandelt hat.
