AMD hat kürzlich einen interessanten Test durchgeführt, um zu demonstrieren, wie gut das aktuelle Spitzenmodell des Unternehmens, die Radeon RX 7900 XTX, im Vergleich zu den Grafikkarten GeForce RTX 4090 und GeForce RTX 4080 Super von Nvidia unter den kürzlich eingeführten DeepSeek-Hochsprachenmodellen unterschiedlicher Komplexität abschneidet.
DeepSeek bietet die Möglichkeit, sogenannte destillierte Hochsprachenmodelle herunterzuladen, die als eine Version mit begrenztem Wissen der in der Cloud laufenden Version betrachtet werden können. Diese großen Sprachmodelle können dann auf lokalen Geräten ausgeführt werden, so dass wir nicht an die Cloud oder an eine Internetverbindung gebunden sind, auch wenn die Palette der Möglichkeiten begrenzter ist.
Die AMD-internen Tests umfassten mehrere LLM-Versionen, bei denen unterschiedliche Geschwindigkeitsunterschiede zwischen den drei oben genannten Grafikkarten festgestellt wurden: Mit zunehmender Anzahl der Parameter verringerte sich der Vorteil der Radeon RX 7900 XTX gegenüber den GeForce-Karten. Im Vergleich zur GeForce RTX 4090 zeigte die Radeon RX 7900 XTX im Distill Qwen 7B Test einen Vorsprung von 13%, im Distill Llama 8B Test einen Vorsprung von 11% und im Distill Qwen 14B Test einen Vorsprung von 2%, während sie im Distill Qwen 32B Test bereits 4% zurücklag.
Im Vergleich zur GeForce RTX 4080 Super waren die Leistungsunterschiede natürlich größer. Die Radeon RX 7900 XTX hatte einen Vorsprung von 34% im Distill Qwen 7B Test, 27% im Distill Llama 8B Test und 22% im Distill Qwen 14B Test, was nicht schlecht klingt.
Die Besonderheiten der RDNA 3-Architektur könnten die Radeon RX 7000-Serie zu einem Trumpf für KI-Aufgaben machen, da sie die Unterstützung (BF16/INT8) und KI-Beschleuniger im Design hat - 192 Einheiten für die Radeon RX 7900 XTX , zum Beispiel. Trotzdem sind die Mitglieder der Radeon RX 7000-Serie im Segment der KI-bezogenen Arbeitsabläufe noch nicht sehr beliebt, vielleicht weil Nvidia diesen Bereich mit seinem CUDA-Ökosystem dominiert. DeepSeek könnte hier Abhilfe schaffen, wie das obige Beispiel zeigt.
Damit DeepSeek R1 effektiv mit den verschiedenen Produkten des Unternehmens zusammenarbeiten kann, hat AMD auch eine Hilfsdokumentation erstellt, die bei der Einrichtung und Schaffung der richtigen Umgebung helfen soll. Diese ist in Form eines Videos unten verfügbar.
