AMD hat in den letzten Tagen einen neuen, speziellen KI-Beschleuniger vorgestellt, der in die MI350-Serie aufgenommen wird – und zwar in Form einer 10,5 Zoll langen PCI-Express-Erweiterungskarte mit zwei Steckplätzen, die in den Racks klassischer luftgekühlter Server Platz finden kann. Der neue KI-Beschleuniger kann 128 aktive CU-Blöcke nutzen, die natürlich auf der CDNA4-Architektur basieren. Als On-Board-Speicher stehen 144 GB HBM3E-Speicherchips zur Verfügung, und zwar mit einer Speicherbandbreite von 4 TB/s.
Der neue KI-Beschleuniger wird passiv ohne Lüfter gekühlt und hat einen TDP-Rahmen von 600 W, kann aber optional mit einem TDP-Rahmen von bis zu 450 W betrieben werden, um ihn mit noch mehr luftgekühlten Servern kompatibel zu machen. In allen Fällen wird ausreichend Frischluft von den Systemkühlern des Racks bereitgestellt und kann nicht im passiven Modus verwendet werden.
Insgesamt stehen 8192 Kerne durch das 128-CU-Array zur Verfügung, mit 512 Matrix-Kernen, während die maximale GPU-Taktfrequenz bei 2,2 GHz liegt. Die GPU verfügt außerdem über 128 MB Last-Level-Cache (LLC), während der On-Board-Speicher durch den bereits erwähnten 144 GB HBM3E-Chip bereitgestellt wird. Bis zu acht dieser KI-Beschleuniger können in einem einzigen System verwendet werden, gekoppelt mit MXFP4- und MXFP6-Unterstützung, um verschiedene KI-Aufgaben effizient zu beschleunigen.
Laut AMD ist der MI350P die derzeit schnellste auf dem Markt erhältliche Lösung für einen klassischen PCI-Express-Steckplatz mit einer Rechenleistung von 2299 TFLOP/s für MXFP4-Operationen, während die MXFP4-Rechenleistung bei 4600 TFLOP/s liegt, wie in einer der folgenden Folien gezeigt wird.
Während der Nvidia H200 NVL dieses Marktsegment bisher dominiert hat, setzt der AMD MI350P die Messlatte höher: Er bietet gegenüber seinem Konkurrenten einen Vorteil von 20 % bei FP64-Operationen, 43 % bei FP16-Operationen und 39 % bei FP8-Operationen im Vergleich zu theoretischen Maximalwerten.
Bei Nvidia sind die neuesten Blackwell-basierten B200-Modelle noch nicht in PCI-Express-Steckplätzen mit HBM-Speicherchip-Sandwiches verfügbar, so dass AMD im Moment die schnellste Lösung bietet. AMD wird es immer noch schwer haben, mit der überwältigenden Dominanz des CUDA-Ökosystems zu konkurrieren, aber da sich die ROCm-Softwareumgebung weiter verbessert, könnten sie wettbewerbsfähiger werden, was früher oder später zu einem Anstieg des Marktanteils führen könnte.
Natürlich sitzt das Nvidia-Team auch nicht untätig herum und versucht sicherzustellen, dass das Unternehmen den Markt weiterhin souverän dominieren kann.
