Pegatron hat vor kurzem ein spezielles KI-Server-Design vorgestellt, das auch deshalb wichtig ist, weil es zur Vorbereitung auf die nächste Generation der MI450X-Beschleuniger von AMD beiträgt, indem es Beschleuniger der vorherigen Generation verwendet, um zu lernen, wie man das System hinsichtlich Leistung und Energieeffizienz optimal gestaltet.
Das System wurde letzte Woche auf der Computex 2025 vorgestellt und basiert auf MI350X-Beschleunigern, die in insgesamt fünf 5U-Rack-Schubladen untergebracht sind. Durch den Bau und das Testen dieses Systems wird jeder Hersteller viele wertvolle Erfahrungen sammeln können, die für die in einem Jahr erscheinenden IF64- und IF128-Lösungen nützlich sein werden, die bereits auf den bereits erwähnten AMD Instinct MI450X-Beschleunigern basieren.
Das Demosystem, der Pegatron AS501-4A1/AS500-4A1, wird auf 5U-Racks basieren, die einen AMD EPYC 9005 Serverprozessor und vier AMD Instinct MI350X AI-Beschleuniger enthalten. Der Prozessor und die Beschleunigerkarten werden durch ein Flüssigkeitskühlsystem gekühlt, das dazu beiträgt, die Leistung vorhersehbar und optimal zu halten und auch bei starker Belastung relativ lange nahe am Maximalwert zu bleiben. Zusätzlich zu den 128 GPUs gibt es insgesamt 32 EPYC-Prozessoren.
Grundsätzlich handelt es sich um eine Lösung im 51OU ORV3-Format, die mit dem in Rechenzentren verwendeten OCP-Standard kompatibel ist, was bedeutet, dass das neue Set unter anderem für Meta eine gute Wahl sein könnte. Es gibt eine 400 GbE-Verbindung zwischen den GPUs in jeder Schublade, da AMD noch keine proprietären Infinity Fabryc-Switches hat. Ein System kann auf maximal 8 GPUs pro System skaliert werden, was das Maximum ist, das eng zusammenarbeiten kann, während Nvidias GB200- und GB300-Plattformen ein Limit von 72 GPUs haben, aber dort sorgt die proprietäre NVLink-Verbindung für ultraschnelle Kommunikation zwischen den GPUs, nicht 400 GbE.
Für OCP-basierte Rechenzentrumsbetreiber könnten in Zukunft bessere AMD Instinct-basierte Lösungen entwickelt werden, sowohl aus Hardware- als auch aus Software-Sicht. Im Wesentlichen wird das Produkt von Pegatron ein Sprungbrett für AMD sein, um im Laufe der Zeit endlich ein würdiger Herausforderer des von Nvidia dominierten Marktes zu werden.
Das System selbst verwendet insgesamt 128 GPUs pro Einheit und bietet eine theoretische maximale Rechenleistung von 1177 PFLOP/s für FP4-Operationen, wobei eine nahezu lineare Skalierung der Systemleistung angenommen wird. Jeder MI350X-Beschleuniger kann maximal 288 GB HBM3E On-Board-Speicher einsetzen, was bedeutet, dass das System mit 128 GPUs über insgesamt 36,8 TB superschnellen Speicher verfügen kann, genug, um in diesem Bereich mit den Produkten der Blackwell-Serie konkurrieren zu können, d. h. um leistungsfähige KI-Modelle zu verwenden.
Natürlich werden die Möglichkeiten durch die Tatsache eingeschränkt, dass die Kommunikation zwischen den GPUs auf Ethernet basiert, was die Bildung von Domänen mit 8 GPUs ermöglicht. Dies ist natürlich gut für klassisches Training und Induktion/Duktion, aber nicht ideal für LLM-Training, das eine enge Synchronisation erfordert, wo der Nvidia NVL72 derzeit führend ist. Das System ist nach wie vor von großer Bedeutung, da es eine hohe Leistung und eine große Speicherkapazität bietet und auch dazu beiträgt, die Ankunft der nächsten Generation von KI-Beschleunigern der Instinct MI400-Serie vorzubereiten. Es ist noch nicht bekannt, welche Unternehmen genau dem neuen System von Pegatron ihr Vertrauen schenken werden, aber wir werden mit der Zeit wahrscheinlich eine Antwort auch darauf erhalten.
