Qualcomm hat bereits spezielle Beschleunigerkarten entwickelt, um den Deduktionsprozess bei der KI-Arbeit zu beschleunigen, aber die AI100-Serie zielt noch nicht auf das Segment der Rechenzentren ab, indem sie eine vollwertige schlüsselfertige Lösung anbietet, zum Beispiel in Form von kompletten Rack-Schränken, was sowohl Nvidia als auch AMD versuchen. Diese Situation wird sich mit dem Erscheinen von Qualcomms KI-Beschleunigern der nächsten Generation, dem AI200 und AI250, ändern, die in nicht allzu ferner Zukunft mit speziell für Rack-Schränke entwickelten Produkten konkurrieren werden. Gleichzeitig hat Qualcomm angekündigt, jährlich neue Entwicklungen auf den Markt zu bringen, um ein wettbewerbsfähigeres Produktangebot zu schaffen.
Sowohl die AI200- als auch die AI250-KI-Beschleuniger basieren auf den neuronalen Verarbeitungseinheiten der Hexagon-Serie von Qualcomm. In diesen Fällen ist die NPU jedoch so optimiert, dass sie die bestmögliche Leistung für die Arbeitsabläufe liefert, die im Segment der Rechenzentren entstehen. Die NPUs der Hexagon-Serie befinden sich seit mehreren Jahren in der Entwicklung, so dass es eine naheliegende Entscheidung war, die Produkte im Segment der KI-Beschleuniger einzusetzen. Die zweite Generation der KI-Beschleuniger wird nun als Reaktion auf aktuelle Markttrends als komplette Racks auf den Markt gebracht.
Die Hexagon NPUs umfassen nun Skalar-, Vektor- und Tensor-Beschleuniger, die alle wichtigen Datenformate unterstützen, sei es INT2, INT4, INT8, INT16, FP8 oder sogar FP16 Rechenaufgaben. Außerdem bieten sie Virtualisierungsunterstützung, Datenverschlüsselung und 64-Bit-Speicheradressierung. Jede NPU wird über 12 Skalar-, 8 Vektor- und 1 Tensor-Beschleuniger verfügen, aber es ist noch nicht klar, zu welcher Leistung die Modelle AI200 und AI250 fähig sein werden, so dass es abzuwarten bleibt, wie konkurrenzfähig sie gegenüber den Produkten von Nvidia und AMD sein werden.
Sicher ist jedoch, dass Qualcomm mit diesen KI-Beschleunigern erstmals das Segment der KI-Rechenzentren mit Rack-basierten Systemen ins Visier nimmt, so dass die Neuzugänge als wichtiger Meilenstein angesehen werden können. Zusammen mit den AI200-Beschleunigern werden 768 GB LPDDR-Speicher geliefert, eine ungewöhnlich große Kapazität für diese Klasse. Jeder Beschleuniger wird eine PCIe-Verbindung für die Kommunikation nutzen, während die Racks über Ethernet verbunden werden. Jede Komponente wird durch ein Flüssigkeitskühlsystem effizient gekühlt, und jedes Rack hat eine maximale Leistungsaufnahme von 160 kW, was im Segment der Lösungen für die Deduplizierung einzigartig zu sein scheint. Das System wird auch in der Lage sein, sichere Datenverwaltungsaufgaben zu übernehmen, was bedeutet, dass es sogar von Regierungsbehörden bestellt werden könnte. Dieses Kit könnte im Jahr 2026 auf den Markt kommen.
Die nächste Stufe wird das AI250 sein, das die Grundarchitektur des A200 beibehält, aber als Extra In-Memory-Computing-Fähigkeiten in sein Repertoire aufnehmen kann, was die effektive Speicherbandbreite um mehr als das Zehnfache erhöhen könnte. Das System wird auch von der Möglichkeit profitieren, Rechenleistung und Speicher dynamisch auf mehrere Karten aufzuteilen, um eine Deduplizierung zu ermöglichen. Laut Qualcomm wird das neue System effizienter sein und eine höhere Speicherbandbreite bieten, während es denselben Stromverbrauch, dieselben Kühlungsanforderungen, dasselbe Sicherheitsniveau und dieselbe Skalierbarkeit wie das AI200 aufweist, aber für die Arbeit mit großen Transformatormodellen optimaler ist.
Natürlich ist die Hardware nur ein halber Riese ohne das richtige Software-Framework. Daher entwickelt das Team von Qualcomm auch eine spezielle Software-Plattform, die den Anforderungen von Hyperscalern gerecht wird, sich hervorragend für größere Deduktionsaufgaben eignet und eine End-to-End-Lösung bietet. Die neue Plattform wird natürlich die wichtigsten Toolkits für maschinelles Lernen und generative KI, wie PyTorch, ONNX, CrewAI, vLLM und LangChain, unterstützen und nahtlos einsetzbar sein. Vorgefertigte Modelle können mit einem einzigen Klick importiert werden, und es wird auch möglich sein, vertrauliche Aufgaben durchzuführen.
Welche Prozessoren genau neben diesen KI-Beschleunigern zum Einsatz kommen werden, ist noch nicht bekannt. Das Unternehmen hat bereits offiziell angekündigt, dass es seine eigenen ARM-basierten Serverprozessoren entwickelt, aber es ist nicht bekannt, wie weit der Prozess fortgeschritten ist, obwohl die von Nuvia geleistete Entwicklungsarbeit die Zeit bis zur Marktreife erheblich verkürzen dürfte. Nach dem derzeitigen Stand der Dinge scheint es unwahrscheinlich, dass die neuen KI-Beschleuniger von Qualcomms eigenen Serverprozessoren begleitet werden. Es ist wahrscheinlicher, dass sie auf Produkte anderer Anbieter zurückgreifen werden, aber Details dazu werden zu einem späteren Zeitpunkt bekannt gegeben.
