Der Nvidia-Chef hat schon früher davon gesprochen, dass die Neural Rendering-Technologie im Laufe der Zeit auf dem Spielemarkt immer dominanter wird, was bedeutet, dass die KI eine größere Rolle beim Rendern von Frames spielen wird. Derzeit wird davon ausgegangen, dass dies nicht wirklich notwendig ist, um Spiele schneller laufen zu lassen, sondern um den Stromverbrauch zu senken, was vor allem auf dem Markt für mobile Konfigurationen von Vorteil sein wird, aber auch in anderen Bereichen von Vorteil sein könnte, indem jedes Bild energieeffizienter wird, da sich ein geringerer Stromverbrauch auch positiv auf die Wärmeentwicklung auswirken könnte.
Ein wichtiger Meilenstein auf dem Weg zum Neural Rendering ist die Blackwell-Architektur, bei der das Potenzial des maschinellen Lernens, die Fähigkeiten des Rendering-Bandes zu erweitern und es energieeffizienter zu machen, nicht nur ein Zusatz ist, sondern eine natürliche Richtung, unterstützt durch die Hardware-Architektur. Anstelle von Rasterarbeiten, die auf roher Gewalt beruhen, verlagert sich der Schwerpunkt zunehmend auf neuronale Ansätze, d. h. KI-basierte Rauschfilterung und Frame-Generierung, um Pixel und damit Frames zu verbessern oder sogar als Ganzes zu erstellen - man denke nur an Frame Generation.
Um diese Verlagerung zu unterstützen, versucht das Nvidia-Team, auf FP4-Operationen umzusteigen, um die Belastung des Speichersubsystems und der GPU zu verringern. Gleichzeitig wird aber auch versucht, den Scheduler effizienter zu gestalten, indem beispielsweise die Reihenfolge der Operationen neu geordnet und optimiert wird ؘ- all dies trägt dazu bei, die Auslastung der SM-Arrays zu verbessern und sie optimal laufen zu lassen. Die Arbeit wird auch durch einen KI-Verwaltungsprozessor unterstützt, der das Problem löst, indem er Daten und Prioritäten so koordiniert, dass sich Shader-Operationen und Deduktionsaufgaben nicht gegenseitig behindern und so eine optimale Leistung ermöglichen.
Ein wesentlicher Vorteil der Blackwell-Architektur ist die Verwendung von GDDR7-Speicherchips, die eine höhere nutzbare Speicherbandbreite bei niedrigen Spannungen ermöglichen, so dass sowohl herkömmliche Rendering-Aufgaben als auch anspruchsvollere Tensor-Operationen effizienter ausgeführt werden können. Das Unternehmen verfolgt verschiedene Methoden, um sicherzustellen, dass der erste Token bei Aufgaben mit gemischter Last so schnell wie möglich fertiggestellt wird, so dass die verschiedenen Latenzanforderungen von interaktiven Agenten und Grafikaufgaben angemessen erfüllt werden.
Das Hauptaugenmerk liegt also nicht auf der Beschleunigung von Spielen, sondern auf der Erhöhung der Energieeinsparung, weshalb mit dem "Race to idle"-Konzept versucht wird, der KI so viel wie möglich die Generierung von Frames zu überlassen, wodurch der Rechenbedarf und die Belastung verringert werden und der für die Ausführung von Operationen erforderliche Stromverbrauch erheblich, sogar um die Hälfte, gesenkt werden kann. Insgesamt versucht die KI, die Bildqualität und die Detailgenauigkeit zu verbessern und dabei der visuellen Welt, die sich der Spieleentwickler vorgestellt hat, treu zu bleiben.
Um dies zu erreichen, wurden einige der aus der Welt der Rechenzentren bekannten Funktionen übernommen, z. B. eine Technologie namens Universal MÍG, die es ermöglicht, eine einzelne GPU in Form mehrerer kleinerer virtueller GPUs zu betreiben und so die GPU-Auslastung zu verbessern. Bei Blackwell lag der Schwerpunkt laut Nvidia also nicht nur auf der Verbesserung der reinen Rechenleistung, sondern auch darauf, die Art und Weise, wie Aufgaben geplant werden, zu überdenken und gleichzeitig maschinelles Lernen und künstliche Intelligenz in die Ausführung von Aufgaben einzubringen, um Frames in Echtzeit effizienter zu erstellen und zu verbessern.
Diese Schritte sind unerlässlich, um das Konzept des Neural Rendering zu verwirklichen, und mit der Zeit wird künstliche Intelligenz bei jedem Schritt des Grafik-Fließbandes eingesetzt werden, um die Arbeit schneller und effizienter zu machen.
