Die Financial Times ist vor kurzem auf eine interessante Information gestoßen, die Aufschluss darüber geben könnte, was die Verzögerung des neuesten großen Sprachmodells von DeepSeek verursacht. Es wurde bereits angedeutet, dass einer der Hauptgründe für die Verzögerung ein Mangel an Nvidias HGX H20-Beschleunigerkarten sein könnte, die die US-Regierung im Frühjahr für den Export nach China verboten hat. Kürzlich hat sich die Situation geändert und HGX H20-Modelle dürfen wieder nach China geliefert werden, aber die Übergangszeit scheint verschiedenen chinesischen Unternehmen, darunter auch DeepSeek, eine Menge Unannehmlichkeiten bereitet zu haben.
Daneben gibt es noch einen weiteren Faktor, der bei der Verzögerung der Entwicklung des R2 LLM eine Rolle gespielt haben könnte: Das chinesische Management wollte, dass das DeepSeek-Entwicklungsteam bei der Entwicklung des Hochsprachenmodells der nächsten Generation die KI-Beschleuniger der Ascend-Serie von Huawei und nicht die Hardware von Nvidia verwendet. Diesem Wunsch wurde entsprochen, und man begann mit dem Training des R2-Modells auf Huawei-Produkten. Dabei stieß man jedoch auf mehrere Schwierigkeiten: Die KI-Beschleuniger der Huawei Ascend-Serie waren in ihrer Leistung instabil, die Kommunikation zwischen den Chips war langsam, und das CANN-Software-Framework von Huawei begrenzte die Möglichkeiten.
Diese Schwierigkeiten führten auch zu einem langsameren Entwicklungstempo als erwartet, weshalb DeepSeek beschloss, für die Trainingsphase wieder Nvidia-Hardware zu verwenden, die Deduktionsprozesse aber mit Huawei Ascend-KI-Beschleunigern durchzuführen. Dies war eigentlich ein notwendiger Kompromiss, da einerseits die Huawei-Hardware nicht leistungsfähig genug war, um die Trainingsabläufe reibungslos und schnell durchzuführen, und andererseits die Nvidia-Hardware gerade wegen der jüngsten US-Exportbeschränkungen nicht im erforderlichen Umfang verfügbar war.
Huawei versuchte, den Tag zu retten, indem es ein spezielles Team von Ingenieuren zum Hauptsitz von DeepSeek schickte, um die Trainingsprobleme zu lösen, aber sie waren nicht erfolgreich, so dass am Ende nur der Deduplizierungsprozess für das R2-Modell durch die Lösungen der Ascend-Serie von Huawei beschleunigt wurde.
Im Wesentlichen war es die Kombination der oben genannten Faktoren, die dazu führte, dass der DeepSeek R2 LLM im Mai nicht auf den Markt kam, und nicht nur die mangelnde Verfügbarkeit der KI-Beschleuniger von Nvidia. Es ist immer noch nicht klar, ob sie den Trainingsprozess seitdem abgeschlossen haben, aber es ist sicherlich eine Verbesserung, dass zumindest der Abzug auf Huawei-Hardware funktioniert, aber sie sollten in der Lage sein, das Training rechtzeitig zu beenden, um weniger abhängig von Nvidia-Hardware zu sein. Natürlich wird das nicht einfach sein, denn Nvidias CUDA-Ökosystem hat eine Million Tentakel, die in der KI-Industrie und anderen Bereichen eingebettet sind, und es ist schwer zu ersetzen oder zu ersetzen.
Es wurde nicht erwähnt, wie viel Rechenleistung genau für die Entwicklung des R2-Modells verwendet wurde. Für R1 wurde zuvor berichtet, dass 50.000 Hopper-basierte KI-Beschleuniger den Löwenanteil der Arbeit leisteten, darunter 30.000 HGX H20, 10.000 H800 und 10.000 H100. Für die Entwicklung von R2 könnte natürlich mehr Rechenleistung erforderlich gewesen sein, aber wie viel genau, wird sich noch zeigen.
