AI - Die magische Parole 

Künstliche Intelligenz verändert die Industrie und bringt dem Durchschnittsverbraucher viele Innovationen, die zuvor unvorstellbar waren. Es ist kein Zufall, dass alle Hersteller versuchen, das Beste aus diesem neuen Trend zu machen, und Nvidia ist keine Ausnahme, aber es ist in einer viel besseren Position als seine Konkurrenten, um dies zu tun, mit einer Reihe von Beschleunigern, die helfen, das Potenzial der KI im Geschäftssegment zu nutzen. Der Anbieter war "zur richtigen Zeit am richtigen Ort". Das CUDA-Ökosystem ist tief in die Struktur verschiedener Geschäftssegmente eingebettet, was zu rekordverdächtigen Finanzergebnissen und einem Durst nach seinen Beschleunigern geführt hat.

Gleichzeitig wurden Spieler und allgemeine Benutzer nicht zurückgelassen und haben ebenfalls ihre relevanten Beschleuniger erhalten, allerdings nicht in Form von separaten Beschleunigerkarten, sondern als in GPUs integrierte Zielhardware. Wie viele von Ihnen vielleicht schon vermutet haben, handelt es sich um die Tensor-Kerne, deren erste Generation in der GeForce RTX 20-Serie von Nvidia-Gamer-Grafikkarten enthalten ist.

Wenn wir uns die gesamte Palette ansehen, war es eigentlich der Tesla V100 für Rechenzentren, der als Teil der Volta-Architektur als erstes Tensor-Kerne erhielt, aber wir erwähnen das nur aus Interesse, kommen wir zurück zur GeForce RTX 20 Familie. Diese Serie war ein großer Schritt nach oben gegenüber dem vorherigen Design, so dass der Hersteller entgegen den ursprünglichen Plänen nicht GTX 20, sondern RTX 20 verwendet hat, obwohl der letztere Name aufgrund früherer Prototypen gewählt wurde, als die Entwicklungsarbeit bereits in einem fortgeschrittenen Stadium war.

Der Name RTX war natürlich nicht der Grund für die RT-Kerne, nicht nur für die Tensor-Kerne, sondern für die dedizierte Hardware, die die Raytracing-Technologie bereitstellt. Seitdem wurden zwei weitere Generationen von Grafikkarten der GeForce RTX-Serie in Form von RTX 30- und RTX 40-Modellen veröffentlicht, und dieses Jahr werden die RTX 50-Modelle auf den Markt kommen, die die Blackwell-Architektur nutzen und in vielen Bereichen Fortschritte bringen werden. Letztere werden ans Licht kommen, wenn sie veröffentlicht werden, aber für den Moment wollen wir uns ansehen, wo Nvidia an der KI-Front in Bezug auf Technologien und Software für Gamer und den allgemeinen Benutzer steht. Während Business-Software und Technologien für Business-Benutzer wichtig sind, da sie die verschiedenen Industrien vorantreiben, sind sie aus der Perspektive des allgemeinen Benutzers nicht die interessantesten, aber wir werden sie später behandeln, falls erforderlich.

Künstliche Intelligenz für Gamer und den Durchschnittsnutzer

Künstliche Intelligenz hilft Spielern und dem Durchschnittsnutzer in vielen Bereichen, sei es bei der Erhöhung der FPS, der Filterung von Mikrofongeräuschen bei der VoIP-Kommunikation, der Skalierung verschiedener Videos, der Aufarbeitung alter Spiele oder der intelligenteren Gestaltung von NPCs (nicht spielbaren Charakteren) in Spielen der nächsten Generation. Gleichzeitig werden die Vorteile von Tensor-Kernen zunehmend in Software von Drittanbietern verfügbar, und Systeme mit RTX-Grafikkarten, die Nvidia verständlicherweise als RTX AI PCs bezeichnet, können auch in der Kategorie Windows Copilot+ PC erscheinen.

Der Hersteller hat kürzlich Microsoft dafür kritisiert, dass die NPU als Voraussetzung für die Copilot+ PC-Kategorie mindestens 40 TOPs erreichen muss, während Nvidias Grafikkarten zu einer viel höheren Leistung fähig sind. Natürlich ist es eine Tatsache, dass die NPU meist viel stromsparender ist, da es sich um eine Zielhardware handelt, aber man könnte die Tensor-Kerne tatsächlich für Windows 11-Anwendungen einsetzen, die eine lokale KI-Beschleunigung erfordern, aber das ist eine andere Geschichte. Die Vorteile der KI-Beschleunigung von Nvidia-Grafikkarten können ohnehin in immer mehr Bereichen genutzt werden, und die Situation könnte sich in Zukunft weiter verbessern.

Aber was sind Tensor-Kerne?

Es handelt sich um spezielle Hardware, von denen mehrere auf dem Grafikprozessor einer bestimmten Grafikkarte der Nvidia GeForce RTX oder Quadro RTX Serie sitzen. Tensor-Cores sind im Wesentlichen winzige KI-Beschleunigerkomponenten, die FMA-Operationen (Fused Multiply & Add), gemischte Präzisions- und dynamische Berechnungen durchführen können und so dazu beitragen, KI-ähnliche Arbeitsabläufe erheblich zu beschleunigen.

Im Vergleich zu CUDA-Kernen wird hier zwar etwas an Genauigkeit "verschenkt", aber für Workflows zum maschinellen Lernen ist das kein Problem. CUDA-Kerne hingegen eignen sich besser für allgemeine Rechenaufgaben, bei denen die Parallelität eine wichtige Rolle spielt. Diese Kerne können natürlich auch für KI-ähnliche Aufgaben verwendet werden, zusätzlich zu Spielen und anderen Anwendungen.

Die Geschichte der Entwicklung von leistungssteigernden DLSS auf der Grundlage neuronaler Netze in Kurzform

Mit dem Erscheinen der RTX 20-Serie wurde nicht nur die Raytracing-Technologie für realistische Lichtverfolgung eingeführt, sondern auch Tensor-Kerne, die zunächst "nur" die Grundlage für Deep-Learning-Supersampling waren. Kurz gesagt kann die DLSS-Technologie verwendet werden, um Bilder, die von der GPU auf einem Monitor angezeigt werden, nicht in der tatsächlichen nativen Auflösung des Monitors zu rendern, sondern in einer niedrigeren Auflösung, so dass mehr Bilder auf einmal erzeugt werden können, die dann von der DLSS-Technologie über ein richtig trainiertes neuronales Netzwerk hochskaliert werden können.

Das mit der niedrigeren Auflösung gerenderte Bild kann dann mit einer qualitativ hochwertigeren, nativen Auflösung gerendert werden, bei geringerer GPU-Belastung, was die FPS-Leistung erhöht und zu einem flüssigeren visuellen Erlebnis führt, insbesondere wenn je nach Monitor auch die G-Sync- oder G-Sync-kompatible Technologie verwendet wird. Letztere sorgt im Wesentlichen dafür, dass die Bildwiederholfrequenz des Monitors an die Bildwiederholfrequenz der GPU angepasst wird, so dass die Bildwiederholfrequenz dynamisch je nach aktueller Leistung der GPU variiert und das Spiel flüssig angezeigt wird, ohne dass es zu Bildunterbrechungen oder anderen störenden Unterbrechungen kommt.

Die DLSS-Technologie der ersten Generation, die auf einem zweistufigen räumlichen Upscaling und einem neuronalen Faltungs-Autocodierer-Netzwerk basiert, wurde im September 2018 mit der ersten GeForce RTX 20-Serie eingeführt und unterstützte nur sehr wenige Spiele, und die Bildqualität war noch nicht auf der Höhe, da die Implementierung noch in den Kinderschuhen steckte. Zu diesem Zeitpunkt war DLSS nur in Battlefield V und Metro Exodus verfügbar, und der Algorithmus selbst musste für jedes Spiel trainiert werden, um sicherzustellen, dass der Inhalt auf die höchstmögliche Qualität skaliert wurde. Die Skalierung erfolgte mit 64 Abtastungen pro Pixel unter Berücksichtigung der mit jedem Bild verbundenen Bewegungsvektoren, und das Training wurde auf dem Supercomputer-Cluster Saturn V von Nvidia durchgeführt.

Für das Training mussten so viele Daten wie möglich aus dem Spiel gesammelt werden, mit einer Vielzahl von Einstellungen, Auflösungen und Titeln, um das neuronale Netz für fast alle Bedingungen zu trainieren. Die Palette der unterstützten Spiele hat sich sehr schnell erweitert, und im September 2018 haben wir berichtet, dass zu den ersten 16 Titeln in naher Zukunft 9 weitere hinzukommen werden. Eine interessante Ergänzung zur frühen DLSS-Unterstützung ist die ungewöhnliche Implementierung des Spiels Control, bei der die DLSS-Funktion auf CUDA-Kerne statt auf Tensor-Kerne angewiesen war. Dies war die Version 1.9, die auch mit Grafikkarten der GeForce GTX-Serie funktionierte, die auf der Turing-Architektur basieren, aber bald wurde ein Patch veröffentlicht, um DLSS 2.0 verfügbar zu machen, so dass Control auch Tensor-Kerne zur Unterstützung der Funktion verwendete.

DLSS Version 2.0 wurde bereits im Frühjahr 2020 eingeführt, verwendete aber nun temporal edge antialiasing (TAAU), eine Technologie, die sich im Wesentlichen auf die Daten früherer Frames stützt, um sicherzustellen, dass die Bilddetails korrekt sind und die Kantenwiederholung reduziert wird. Neben der Rohauflösung wurden bei der DLSS 2.0-Technologie auch Bewegungsvektoren, Luminanzdaten und Tiefenpuffer verwendet, um den Erfolg zu sichern. Die Implementierung von DLSS 2.0 stützte sich außerdem auf ein neuronales Faltungs-Autocodier-Netzwerk, das so trainiert wurde, dass es einzelne Bildfehler erkennen und korrigieren kann, wodurch die Notwendigkeit einer manuellen Programmierung entfällt und das Endergebnis verbessert wird.

Die Implementierung war so gut, dass sie manchmal schärfere Ergebnisse lieferte als Bilder, die mit höherer Auflösung gerendert wurden, und besser abschnitt als die Standardtechnologien TAA und TAAU. Obwohl es nicht notwendig war, das neuronale Netz für die neuen Spiele zu überarbeiten, wurde dies zur Verbesserung der Bildqualität getan.

Im Vergleich zu DLSS 1.0 hat DLSS 2.0 den Overhead erheblich reduziert, was die Latenzzeit verringert, die Fähigkeit verbessert hat, Bilddetails beizubehalten, und die Notwendigkeit beseitigt hat, das neuronale Netzwerk für jedes Spiel zu trainieren, damit es richtig funktioniert. Wichtig ist, dass DLSS 1.0 neue Daten für die Hochskalierung des Bildes aus dem niedrig aufgelösten Quellbild erstellte, während DLSS 2.0 die Aufgabe löste, indem es neue Bilder durch die Analyse der vorherigen Bilder hinzufügte. Aus diesem Grund hat der Hersteller den Entwicklern empfohlen, Texturen mit höherer Auflösung zu verwenden, als dies bei der Standardauflösung der Fall wäre, wenn DLSS 2.0 aktiv ist. Dies trug zu einer weiteren Verbesserung der Bildqualität bei, so dass DLSS 2.0 insgesamt ein Erfolg zu sein schien, aber natürlich war es nicht ohne Schwächen. Gleichzeitig trug die neue Technologie zu einer weiteren Verbesserung der Leistung bei.

Im September 2022 erreichten wir die DLSS-Version 3.0 , die in Verbindung mit der Ada Lovelace-Architektur veröffentlicht wurde. Die neue Architektur bot einen verbesserten Optical Flow Accelerator, der viel schneller und genauer war als frühere Lösungen, wodurch DLSS 3.0 eine noch bessere Leistung bieten konnte, aber im Gegenzug ist diese Version nur noch für Grafikkarten der GeForce RTX 40-Serie und neuer verfügbar. Eine Verbesserung gegenüber DLSS 2.0 ist die Einführung der Bewegungsinterpolation. Das bedeutet, dass der Algorithmus zur Bilderzeugung zwei gerenderte Frames analysiert und ein neues erstellt, das einen fließenden Übergang zwischen ihnen darstellt. Auf diese Weise wird jedes neu gerenderte Bild von einem zusätzlichen Bild begleitet, das die gleiche Methode verwendet.

Die neueste DLSS-Implementierung ist derzeit DLSS 3.5, die im September 2023 erscheinen wird. Diese Version erhöht die Anforderungen, da sie nun auch Strahlenrekonstruktion bietet, was für Spiele mit vollständiger Raytracing-Unterstützung nützlich sein kann. Eine weitere wichtige Änderung dieser Version besteht darin, dass die Algorithmen zur Rauschfilterung durch ein neues KI-Modell ersetzt wurden, das mit fünfmal mehr Daten trainiert wurde als die Version 3.0 von DLSS, wodurch es genauer und effizienter ist.

Ein sehr wichtiges Merkmal ist, dass DLSS 3.5 im Gegensatz zu DLSS 3.0 nicht nur und ausschließlich mit der GeForce RTX 40 Serie funktioniert, sondern mit allen früheren Grafikkarten der GeForce RTX und Quadro RTX Serie, einschließlich Ray-Reconstruction. Die Kompatibilität erstreckt sich auch auf Super Resolution und Deep Learning Anti-Aliasing, aber die bereits erwähnte Frame Generation in DLSS 3.5 wird nur mit der GeForce RTX 40-Serie funktionieren, da nur diese Karten die dafür erforderliche OFA-Engine der neuen Generation besitzen.

Ebenfalls wichtig ist die Verfügbarkeit von DLAA, oder Deep Learning Anti-Aliasing, das Deep Learning-basiertes Anti-Aliasing für bestimmte Spiele bietet. Hier hilft ein neuronales Netzwerk, den Inhalt der Frames zu glätten, aber wenn Sie diesen Modus wählen, gibt es keine Skalierung nach oben oder unten, nur KI-basierte Glättung mit hoher Qualität.

DLSS selbst verwendet ein ähnliches Verfahren wie TAA zur Kantenglättung, aber hier basiert der neue Frame nicht auf den vorherigen Frames, sondern es wird ein etwas komplexerer Mechanismus verwendet, der zu einem qualitativ hochwertigeren Ergebnis führt. Der DLSS-Algorithmus zur Kantenglättung verwendet verschiedene Pixel aus verschiedenen Frames, um die neuen Pixel innerhalb des Frames auszufüllen, wobei künstliche Intelligenz oder genauer gesagt maschinelles Lernen eingesetzt wird, um den Inhalt der einzelnen Frames im neuen Frame zu kombinieren. Der Prozess beinhaltet natürlich die Verwendung von Tensor-Kerneln, wie wir sie von Upscaling und DLAA kennen.

Nvidia-Übertragung

Diese Anwendung enthält auch einige KI-Funktionen, mit denen das Audio von Streams oder VoIP-Kommunikation mithilfe von KI-Rauschfilterung gefiltert werden kann, was eine saubere, von Hintergrundgeräuschen freie Kommunikation ermöglicht. Die KI kann auch verwendet werden, um den visuellen Inhalt zu verwalten, zum Beispiel können Sie den Hintergrund auf der Grundlage der KI ändern, es gibt auch die Möglichkeit, Hintergrundmalerei zu tun. Bei Videos ermöglicht die Auto-Frame-Technologie dem System, Ihre Bewegungen automatisch zu verfolgen und bei Bedarf zuzuschneiden und zu zoomen.

Bei schlechten Lichtverhältnissen können Sie auch Rauschen aus einem verrauschten Bild entfernen oder den Blickkontakt nutzen, um sicherzustellen, dass Sie immer in die Kamera zu schauen scheinen - auch wenn Sie es nicht tun. Die aktuelle Version der App kann unter heruntergeladen werden, und Sie können die Vorteile der App auch in einer Reihe von anderen Apps nutzen, sei es in Streamingdiensten oder anderen Apps.

RTX Video Super Resolution und HDR - Neues Leben für alte Videostreams dank KI-basiertem Upscaling

Nvidia hat das Potenzial des Upscaling auch im Videobereich als RTX Video zur Verfügung gestellt, und neben Super Resolution gibt es auch eine HDR-Funktionalität, die Videos mit normalem Dynamikumfang in HDR-Videos verwandelt. Es ist wichtig anzumerken, dass der Algorithmus, der hinter RTX Video steht, zwar ähnliche Vorteile wie DLSS (siehe oben) bietet, aber eine völlig andere Technologie ist, die auf anderen Datensätzen trainiert wurde, um den Anforderungen des Bereichs voll gerecht zu werden.

Mit RTX Video SuperResolution können Videos und Streams mit niedriger Auflösung auf eine 4K-Auflösung hochskaliert werden. Dabei wird nicht nur eine Hochskalierung durchgeführt, sondern es werden auch Bildfehler, die mit der Komprimierung zusammenhängen, durch den Algorithmus ausgemerzt, der ansonsten ohne Hochskalierung verwendet werden kann. Ursprünglich funktionierte RTX Video Super Resolution nur mit Grafikkarten der GeForce RTX 30- und GeForce RTX 40-Serie, doch mit dem Update 1.5 wurden auch GeForce RTX 20-Modelle in die Liste aufgenommen, so dass die gesamte RTX-Reihe die neue Funktion nutzen kann.

Zusätzlich zu VLC ist RTX Video Super Resolution auch in den Webbrowsern Chrome, Edge und FireFox verfügbar. Mit dem Update vom Januar 2024 wurde eine automatische Qualitätsauswahl sowie eine Statusanzeige hinzugefügt, aber noch interessanter ist, dass auch eine neue Funktion hinzugefügt wurde, RTX Video HDR.

Diese Innovation nutzt KI, um Videos mit normalem Dynamikbereich (SDR) in Videos mit hohem Dynamikbereich (HDR) zu konvertieren. Um diese Technologie zu nutzen, benötigen Sie eine Grafikkarte der GeForce RTX-Serie, einen Bildschirm mit HDR10-Unterstützung, 64-Bit-Windows 10 oder Windows 11, den neuesten GeForce- oder Studio-Treiber und die neueste Version von Chrome oder Edge. Natürlich ist es erwähnenswert, dass die Funktion natürlich nicht mit HDR-Inhalten funktioniert und nicht mit allen DRM-Videos verwendet werden kann.

Was gibt es Neues von der Computex 2024?

Auf der diesjährigen Computex kündigte Nvidia eine Reihe aufregender KI-basierter Lösungen an, die die Spieleindustrie in Zukunft radikal verändern könnten und Entwicklern und Spielern neue Möglichkeiten bieten, von denen wir bisher nur träumen konnten. Wie effektiv werden die Implementierungen sein und wird es möglich sein, die Möglichkeiten der KI in Spielen zu nutzen? Das ist eine Frage der Zukunft, aber in der Zwischenzeit lohnt es sich, einen Blick darauf zu werfen, was Project G-Assist und das RTX AI Toolkit bringen werden.

Projekt G-Assist: ein KI-basierter Assistent, der Ihnen hilft, effizienter zu spielen

Heutige Spiele werden immer komplexer, mit immer komplexeren Aufgaben, die es zu lösen gilt, und immer schwierigeren Strategien, die es zu entwickeln gilt, was das Durchspielen erschwert. Zumindest sieht Nvidia das so und hat deshalb ein nützliches Add-on für diejenigen entwickelt, die auf ihrem mit einem GeForce-Grafikprozessor ausgestatteten System unter verschiedenen modernen Titeln effizienter und effektiver spielen wollen.

Sie werden von Project G-Assist profitieren, einem persönlichen Assistenten, der mit einem großen Sprachmodell verbunden ist. Der Assistent hat Zugriff auf eine große Menge an Spieldaten und kann daher in der Regel die Fragen der Spieler effektiv beantworten, was den nächsten Schritt in einem bestimmten Titel erleichtert und das Spielerlebnis verbessert.

Laut Nvidia entscheiden sich viele Menschen dafür, einen Titel nicht zu spielen, weil er zu kompliziert und zeitaufwändig ist, da die Lernkurve und der Zeitaufwand, die für ein erfolgreiches Spiel erforderlich sind, in keinem Verhältnis zum Wert der Erfahrung stehen. Hier kann Project G-Assist helfen, ein KI-basierter Assistent, der Fragen des Spielers beantworten kann, sei es per Chat oder per Sprache.

Durch den Zugriff auf das Spiel kann eine kontextbezogene Antwort gegeben werden, dank der Verwendung von KI-Vision-Modellen, die es dem KI-Assistenten ermöglichen, zu "sehen", was auf dem Bildschirm zu sehen ist, und effektiv Ratschläge für den nächsten Schritt zu geben. Er kann sogar dabei helfen, Ihnen zu sagen, welches die effektivste frühe Waffe im Spiel ist, wie viel Schaden sie anrichten kann, was ihre Schwächen sind und wie man sie im Spiel erhält oder herstellt. Natürlich erfordert dies auch die Integration der Project G-Assist-Funktionalität in das Spiel, was über das RTX AI Development Kit erfolgen kann, das wir weiter unten behandeln werden.

Der Assistent kann nicht nur beim Gameplay, sondern auch beim Erreichen einer optimalen Leistung helfen. Er kann Grafik- und andere Einstellungen vorschlagen und sogar die GPU sicher einstellen, wenn Sie darum bitten. Wenn ein energieeffizienter Betrieb wichtig ist, kann er auch auf intelligente Weise den Stromverbrauch reduzieren und dabei immer noch genug Leistung für das Spielen bereitstellen.

Es ist noch nicht bekannt, wann genau Project G-Assist auf den Markt kommen wird, aber es ist klar, dass Spieleentwickler Zeit brauchen werden, um es zu integrieren, wenn sie von der Innovation überzeugt sind. Wenn die Funktion zur Popularität eines Spiels beiträgt, werden die Entwickler sicherlich über die Integration von Project G-Assist nachdenken, aber es wird Zeit und viel Zeit brauchen, um herauszufinden, ob die Spieler diese Art von Innovation in einem Titel wünschen...

RTX AI-Toolkit ist im Kommen

Das Hauptziel des oben erwähnten Toolkits ist es, Entwicklern bei der Feinabstimmung und Anpassung von KI-Modellen zu helfen, damit diese ihren Bedürfnissen am besten entsprechen. Das Toolkit wird dazu dienen, intelligente NPCs zu erstellen, mit denen man in verschiedenen Spielen interagieren kann, wird aber auch in anderen Bereichen eingesetzt werden.

Die Optimierung kann sehr effektiv sein, wie zumindest ein Beispiel zeigt. Dieses basierte auf einem LLM (Large Language Model) mit 7 Milliarden Parametern, welches der zugrunde liegende NPC war, aber um das LLM auszuführen, waren standardmäßig eine GeForce RTX 4090-Grafikkarte und 17 GB VRAM erforderlich, im Gegenzug für 48 Token pro Sekunde. Diese LLM wurde mit dem RTX AI-Toolkit bearbeitet, und es wurde ein optimiertes Modell erstellt, das mit 5 GB VRAM laufen konnte, aber 187 Token pro Sekunde produzierte. Die Geschwindigkeit hat sich sichtbar um fast das Vierfache erhöht und der VRAM-Bedarf wurde um ein Drittel reduziert, was bedeutet, dass das Modell theoretisch mit einer 6 GB GeForce RTX 4050 Laptop GPU verwendet werden könnte.

Die Show zeigte auch, wie die oben genannten KI-Technologien zusammenarbeiten, um das Spielerlebnis auf eine neue Ebene zu heben. Dies ist in dem untenstehenden Video zu sehen. Neu ist auch, dass die RTX TensorRT-Beschleunigung jetzt unter ComfyUI, einem beliebten, auf Stable Diffusion basierenden Bilderzeugungstool, verfügbar ist. Die ComfyUI-Integration soll in naher Zukunft auch an Bord von RTX Remix verfügbar sein, was gut ist, weil es das Textur-Rendering in alten Spielen deutlich beschleunigen wird.

KI ist auf dem Vormarsch

In dem Maße, in dem Entwickler entdecken, was mit den Werkzeugen der künstlichen Intelligenz alles möglich ist, werden Spiele und Software immer spannender und interessanter. Natürlich bedarf es dazu der richtigen Hardware, des richtigen Software-Frameworks und der richtigen Software-Implementierung, aber nach den bisherigen Erfahrungen dürfte dies kein Problem darstellen. Insgesamt kann KI in vielen Bereichen nützlich und leistungsstark sein, aber sie kann auch eine ziemlich gefährliche zweischneidige Waffe sein, auf die sich Cyberkriminelle verlassen können, aber das ist eine andere Geschichte...