Die Kategorie der KI-PCs wird in diesem Jahr wirklich durchstarten, mit einer Massenfreigabe von Konfigurationen, die bereits vollständig den Anforderungen von Microsoft entsprechen. Um sich für diese neue Kategorie zu qualifizieren, muss eine Konfiguration derzeit über eine NPU oder dedizierte Zielhardware verfügen, die KI-bezogene Workflows auf energieeffiziente Weise ausführt. Zu den weiteren Anforderungen gehören mindestens 16 GB Systemspeicher und eine Rechenleistung der NPU von 45 TOPS.
Derzeit können nur Konfigurationen mit Qualcomm Snapdragon X SoCs diese Anforderungen erfüllen, da die NPU nur bei diesen Produkten eine Leistung von 45 TOP/s erreicht, während Intel- und AMD-Produkte langsamer sind, aber das wird sich mit dem Erscheinen der nächsten Generation von Desktop- und Mobilprozessoren ändern. Wenn ein PC die aufgeführten Anforderungen erfüllt, kann er KI-bezogene Aufgaben lokal beschleunigen und muss sich nicht auf die Cloud verlassen, was sowohl aus Sicht der Datensicherheit als auch der Latenzzeiten eine gute Wahl sein kann. Für KI-Aufgaben, die eine höhere Leistung erfordern, kann die NPU natürlich nicht ausreichen, sodass das System entweder auf die Cloud oder die GPU zurückgreifen muss.
Auf einer kürzlich stattgefundenen Presseveranstaltung erwähnte das Nvidia-Team, dass das von Microsoft festgelegte Leistungsniveau von 45 TOPS nur für grundlegende KI-Beschleunigungsaufgaben ausreicht, aber wenn man mehr Leistung benötigt, muss man sich auf die GPU verlassen, und die GeForce RTX 40-Serie ist in diesem Bereich sehr leistungsfähig. Dies war im Wesentlichen der Schwerpunkt der Veranstaltung, bei der die Leistung der GeForce RTX 40-Serie Grafikkarten diskutiert wurde. Dabei wurden mehrere interessante Vergleiche gezeigt, wie viel Vorteil Nvidias Grafikkarten gegenüber mit NPUs ausgestatteten SoC-Einheiten und dem aktuellen Spitzenmodell des Rivalen AMD bieten.
Laut Nvidia sind die GPUs der RTX-Serie in der Lage, bei KI-ähnlichen Arbeitslasten eine viel, viel höhere Rechenleistung zu erbringen, wobei die Leistungswerte je nach Modell zwischen 100 TOPS und 1300 TOPS liegen. Aus diesem Grund sagen die Experten von Nvidia, dass die Grafikkarten der GeForce RTX-Serie als Premium-KI-Ausrüstung gelten, während NPUs nur das Basisniveau erreichen.
Cloud-basierte Dienste, die KI-Beschleunigung anbieten, gehören zur Kategorie der schweren Artillerie, da sie den Nutzern Tausende von TOPS an Rechenleistung zur Verfügung stellen. Sie basieren größtenteils auf den unternehmenseigenen Beschleunigerkarten, da Nvidia als alleiniger Marktführer im Bereich der KI-Beschleuniger gilt.
Um die oben genannten Behauptungen zu untermauern, zeigten sie auch ihre eigenen internen Tests, mehrere davon. Der erste konzentrierte sich auf die Erstellung von Inhalten und verglich die Leistung des GeForce RTX 4090 Laptop-Grafikprozessors und des GeForce RTX 4050 Laptop-Grafikprozessors mit der des M3 Max an Bord des Apple MacBook Pro Notebooks. Arnold, Stable Diffusion, Blender, Chaos V-Ray, Octane, Adobe Premiere Pro Enhance Speech, DaVinci Resolve und ON1 Resize AI wurden ebenfalls auf die Probe gestellt.
Die Messungen ergaben, dass das mit dem GeForce RTX 4090 Laptop-Grafikprozessor ausgestattete System bis zu sieben Mal schneller war als das MacBook Pro von Apple, und sogar das mit dem GeForce RTX 4050 Laptop-Grafikprozessor ausgestattete System war doppelt so schnell wie das Apple-Produkt. Der GeForce RTX 4090 Laptop-Grafikprozessor lieferte im Durchschnitt die fünffache und der GeForce RTX 4050 Laptop-Grafikprozessor die 50-100 % bessere KI-Leistung als Apples derzeit schnellster SoC der "M"-Serie, der M3 Max.
Der nächste große Test zielte auf die großen Sprachmodelle (LLMs) ab, wobei das Llama 2 7B int4 LLM im Mittelpunkt stand. Hier wurde der GeForce RTX 4090 Laptop-Grafikprozessor gegen den Apple M3 Max eingesetzt, während der GeForce RTX 4050 Laptop-Grafikprozessor gegen den Apple M3 eingesetzt wurde. Standardmäßig hatte die GeForce RTX 4090 Laptop GPU einen Vorteil von 42 %, aber als die Stapelgröße auf 8 angepasst wurde, stieg der Unterschied auf 90 %.
Zur gleichen Zeit zeigte die GeForce RTX 4050 Laptop-GPU einen Vorteil von 48 % gegenüber der Apple M3 SoC-Einheit, während der Unterschied ebenfalls auf 90 % anstieg, als die Stapelgröße auf 8 geändert wurde. Dies zeigt, wie wichtig die Stapelgrößenoptimierung ist, da sie die Leistung einer Architektur im Vergleich zum Standardmodus verbessern kann.
Im dritten Test wurde der Procyon Stable Diffusion 1.5 Test von UL durchgeführt, bei dem die gesamte Desktop GeForce RTX 40 Serie vertreten war, während AMDs aktuelles Spitzenmodell, die Radeon RX 7900 XTX, auf der anderen Seite stand. Basierend auf den Messungen übertrafen die GeForce RTX 4070 Ti und die schnelleren Grafikkarten der GeForce RTX 40-Serie alle die Radeon RX 7900 XTX, wobei die GeForce RTX 4090 zum Beispiel einen 2,8-fachen Vorsprung hatte. Allerdings waren die GeForce RTX 4060 Ti und GeForce RTX 4060 viel bescheidener als die Radeon RX 7900 XTX, aber das ist keine Überraschung. Was das Nvidia-Team damit andeuten wollte, war, dass die fragliche Grafikkarte der GeForce RTX 40-Serie deutlich schneller ist als das AMD-Modell auf dem gleichen Niveau, zumindest in diesem speziellen Test.
Nvidia wollte darauf hinweisen, dass die Grafikkarten der GeForce RTX 40-Serie deutlich schneller sind als NPUs, die in verschiedenen Prozessoren eingebaut sind, und auch weiter verbreitet sind, da sie in mehr Notebooks und PCs zu finden sind als neuronale Recheneinheiten. Dies ist tatsächlich eine Tatsache, aber Microsoft hat zuvor auf Umwegen erklärt, dass Konfigurationen, die neben CPU und GPU über eine NPU verfügen, die Anforderungen der KI-PC-Kategorie erfüllen, d. h. die meisten Systeme mit Grafikkarten der GeForce RTX-Serie erfüllen diese Anforderung nicht, da sie nicht über eine NPU verfügen.
Obwohl die Leistung von größter Bedeutung ist, sollte man auch darauf hinweisen, dass es Microsoft nicht nur auf die Leistung bei KI-bezogenen Arbeitslasten ankommt, sondern auch darauf, dass die Beschleunigung energieeffizient ist. Ein GeForce RTX 4090 Laptop GPU-basiertes System bietet eine deutlich höhere Leistung als ein SoC mit einer NPU, verbraucht aber im Gegenzug bis zu 2- bis 5-mal mehr Strom als die fraglichen SoC-Einheiten. Für ein Notebook ist die Akkulaufzeit sehr wichtig, weshalb die Energieeffizienz ein entscheidender Faktor ist.
Natürlich werden sich die NPUs in Zukunft weiterentwickeln, und es ist nicht ausgeschlossen, dass das Microsoft-Team die Anforderungen für die Kategorie der KI-PCs irgendwann ändern wird. Es wäre auch logisch, weitere Leistungsstufen und Unterkategorien innerhalb der KI-PC-Kategorie zu schaffen und diese im Detail zu definieren.
