Künstliche Intelligenz dringt in immer mehr Bereiche ein und könnte sich in Zukunft noch weiter ausbreiten, da die Kategorie der KI-PCs Mitte des Jahres auf den Markt kommen wird, wie ein ASUS-Mitarbeiter bereits angedeutet hat. Ein KI-PC bezieht sich im Wesentlichen auf eine Konfiguration, die über eine Art Hardware-Beschleuniger verfügt, damit KI-ähnliche Workflows reibungslos ablaufen können, sei es eine Grafikkarte, eine iGPU, ein Prozessor, der die entsprechenden Befehlssätze unterstützt, oder ein SoC mit einer eingebetteten NPU. Mit dem Aufkommen der KI werden immer mehr Softwarefunktionen und -dienste leistungsfähiger und vielseitiger werden, aber sie müssen jetzt mit der richtigen Softwareunterstützung auf diese Zeit vorbereitet werden.
Die verschiedenen großen Softwareentwickler sind aktiv an dieser Vorbereitung beteiligt, aber auch kleinere Anwendungsentwickler werden von der Innovation profitieren. Das Windows-Entwicklungsteam von Microsoft arbeitet Berichten zufolge daran, dass die NPUs der neuen Generation von Intel- und AMD-Prozessoren von Windows unterstützt werden, während die einzelnen Hersteller ebenfalls zum Erfolg der NPUs beitragen können, indem sie Open-Source-Bibliotheken und Software-Entwicklungsumgebungen zur Unterstützung ihrer eigenen Produkte bereitstellen. Das Intel-Team hat gerade eine neue Software veröffentlicht, die sich speziell an Softwareentwickler richtet. Die Open-Source-NPU-Beschleunigungsbibliothek ist jetzt für interessierte Parteien verfügbar, so dass sie ihren verschiedenen Anwendungen rechtzeitig Unterstützung für die NPUs an Bord der Intel Meteor Lake-Prozessoren hinzufügen können.
Die Bibliothek selbst ist in Python geschrieben und wurde entwickelt, um das Potenzial der oben genannten Intel-Produkte zu maximieren. Im Moment ist die Unterstützung nur für die NPUs der Meteor Lake-Serie verfügbar, aber es wird erwartet, dass sie die NPUs der mobil-zentrierten Lunar Lake- und Arrow Lake-Modelle unterstützen wird, die sowohl in mobilen als auch in Desktop-Umgebungen erscheinen werden. Wie Tony Mongkolsmai von Intel erläuterte, ist diese Bibliothek in erster Linie dazu gedacht, Software zu beschleunigen, die Gamma-2b- und TinyLlama-basierte kompakte Sprachmodelle verwendet, und zwar lokal mit dedizierter Hardware.
Theoretisch bietet die Bibliothek auch die Möglichkeit, KI-basierte Chat-Anwendungen zu erstellen, die relativ einfach lokal laufen, ohne dass eine Cloud-basierte Infrastruktur erforderlich ist. Dies könnte Softwareentwicklern in vielen Bereichen neue Türen öffnen, da sie ihren Anwendungen eine Reihe neuer Funktionen hinzufügen könnten. Ein solcher lokal laufender KI-Chatbot wurde von Intel bereits bei der Vorstellung der Meteor Lake-Serie demonstriert. Im Bild unten können Sie live sehen, wie die NPU Acceleration Library die NPU an Bord des MSI Prestige 16 AI EVO Notebooks nutzt.
Die Bibliothek ist noch nicht vollständig und befindet sich noch in der Entwicklung, aber für Entwickler ist sie schon jetzt einen Versuch wert. Natürlich ist es wichtig zu betonen, dass die Bibliothek nicht für Endbenutzer gedacht ist, diese werden von den Tools rund um DirectML und OpenVINO angesprochen.
