Elon Musk hat Berichten zufolge sehr ehrgeizige Pläne für die Hardware-Infrastruktur des KI-Unternehmens xAI, das ihm gehört. Der Supercomputer-Cluster des Unternehmens, der den Namen Colossus trägt, wird seinem Namen bald alle Ehre machen, denn Elon Musk plant, ihn im Laufe der Zeit mit einer Million Grafikprozessoren auszustatten und ihn damit zu einem der schnellsten seiner Klasse weltweit zu machen. Seine Position könnte sich ändern, je nachdem, wann genau er sein Ziel erreicht und wie der Supercomputer-Cluster bis dahin aussieht.
Colossus verwendet derzeit mehr als 100.000 H100-Beschleuniger, die auf der Hopper-Architektur von Nvidia basieren. Jüngsten Berichten zufolge arbeitet das Team an der Verdoppelung der auf dem Markt verfügbaren KI- und HPC-Beschleuniger, wodurch Colossus zum größten Supercomputer-Cluster werden könnte, der in einem einzigen Gebäude untergebracht ist. Die Verdoppelung der verfügbaren Ressourcen wird sich wahrscheinlich sehr positiv auf die Leistung und die Fähigkeiten von Elon Musks großem Sprachmodell, der Grok, auswirken. Die Erweiterung wird viel Zeit und Geld kosten, aber das Unternehmen ist damit nicht allein, denn die xAI-Pläne werden auch von Experten von Nvidia, Dell und Supermicro unterstützt. Außerdem wurde ein spezielles Team zur Unterstützung der Servererweiterung von xAI eingerichtet - Colossus hat seinen Sitz in Memphis, Tennessee.
Im Hinblick auf die Erweiterung ist es erwähnenswert, dass die H100-Beschleuniger durch die H200-Modelle ersetzt werden könnten, die besser skalierbar sind und eine viel höhere Leistung bieten, obwohl Kühlung und Stromversorgung angepasst werden müssen. Die Blackwell-Architektur wäre insgesamt die bessere Wahl, aber unabhängig davon, ob man sich für Hopper oder Blackwell entscheidet, wird es eine große Herausforderung sein, so viele Beschleuniger zu bekommen. Die Kosten für 800 000 bis 900 000 Karten sind enorm und belaufen sich auf mehrere zehntausend Dollar pro Stück, und es wird schwierig sein, 1 000 000 KI-Beschleuniger dazu zu bringen, nahtlos und ausreichend effizient zusammenzuarbeiten. Unter diesem Gesichtspunkt wäre Blackwell ebenfalls die bessere Wahl.
Die Anschaffung von KI-Beschleunigern ist nämlich nur ein Teil des Projekts, da gleichzeitig für Kühlung und Stromversorgung gesorgt werden muss, so dass das Projekt als Ganzes eine Investition von mehreren zehn Milliarden Dollar erfordern könnte. Natürlich wächst xAI, und mit einer kürzlich erfolgten Kapitalerhöhung in Höhe von 11 Milliarden Dollar und weiteren 5 Milliarden Dollar auf dem Weg dorthin wird das Unternehmen jetzt mit 45 Milliarden Dollar bewertet.
Die Deckung des Strombedarfs ist ein besonders sensibler Bereich, in dem xAI bereits viel Kritik einstecken musste: Angeblich wurden Baugenehmigungen umgangen, und das Projekt hat das regionale Stromnetz stark belastet. Aufgrund der Bedenken hat das Unternehmen eine Reihe von Maßnahmen ergriffen, um die Stabilität des Stromnetzes zu verbessern. Dazu gehört auch der Einsatz der Tesla-Megapack-Technologie, mit der die Stromnachfrage effizienter gesteuert werden soll.
Die Konzentration auf die Hardware ist für xAI lobenswert, aber das große Sprachmodell, das es bedient, Grok , lässt etwas zu wünschen übrig. Zum jetzigen Zeitpunkt hinkt Grok sowohl hinter OpenAIs ChatGPT als auch hinter Googles Gemini hinterher, was die Größe der Nutzerbasis und die Ausgereiftheit des großen Sprachmodells angeht. xAIs schnelle und groß angelegte Erweiterung der Colossus-Hardware sollte dazu beitragen, diese Lücke zu schließen und zu zeigen, dass das Unternehmen moderne Technologien schnell und effizient einsetzen kann. Letzteres wird durch die Tatsache veranschaulicht, dass Colossus mit mehr als 100.000 GPUs in nur 3 Monaten gebaut wurde, ein sehr gutes Tempo.
Während xAI versucht, auf seine eigene Hardware zu setzen, verlässt sich das OpenAI-Team auf Microsoft-Server und Anthtopic auf Amazon. Die Strategie von xAI könnte sich langfristig auszahlen und dem Unternehmen von Elon Musk tatsächlich einen Vorsprung vor seinen Konkurrenten verschaffen, da es durch Colossus über mehr Rechenkapazität als alle anderen verfügen wird - wenn es ihm gelingt, seine Expansionspläne rechtzeitig umzusetzen.
