Bereits auf der CES 2025 im Januar dieses Jahres kündigte das Nvidia-Team die nächste Generation von DLSS, DLSS 4, an, die die Multi-Frame-Generation-Technologie als Extra hinzufügte und nicht nur den zugrunde liegenden KI-Modelltyp ersetzte. DLSS 4 befand sich bisher nur in der Beta-Phase, wobei die Entwicklung des neuen Transformer-Modells noch im Gange war, aber jetzt ist die endgültige Version für eine breitere Veröffentlichung verfügbar und wird nicht nur auf Grafikkarten der GeForce RTX 50-Serie, sondern auch auf älteren Modellen funktionieren.
Die DLSS (Deep-Learning Super Sampling)-Technologie, die Deep-Learning-Algorithmen zur effizienten und schnellen Skalierung von Inhalten nutzt, die von der GPU in niedrigeren als den nativen Auflösungen gerendert werden, hat bisher die CNN-Technik (Convolutional Neural Networks) verwendet. Bei einer Lösung, die sich auf Faltungsneuronale Netze stützt, wird ein Bild auf die native Auflösung hochskaliert, indem das neuronale Netz den Inhalt benachbarter Pixel analysiert und dann schätzt, welchen Wert sie für das nächste Bild annehmen können. Die auf diese Weise erzeugten künstlichen Pixel waren zwar relativ schnell, aber es kam zu Bildfehlern aufgrund potenziell ungenauer Schätzungen, die je nach Abweichung der fehlerhaften Pixeldaten unterschiedlich groß waren. Mit der Zeit wurden die Grenzen der CNN-Technologie deutlich, und den Entwicklern wurde klar, dass diese Methode durch eine effizientere, leistungsfähigere und genauere Lösung ersetzt werden musste - und Transformer war geboren.
Das Transformer-Modell analysiert nicht mehr den Inhalt benachbarter Pixel, sondern den gesamten Frame und kann dabei die Bedeutung jedes Pixels effizienter bestimmen und dann auf der Grundlage dieser Informationen einen neuen Frame oder mehrere Frames erstellen. Dies führt zu einem genaueren und qualitativ hochwertigeren Ergebnis als bei CNN, wo neue Pixel auf der Grundlage einer groben Analyse größerer Pixelblöcke erstellt werden und der Inhalt somit "hochskaliert" wird.
Transformer kann daher effizienter skalieren, und das Endergebnis kann schöner sein, da mehr feine Details erhalten werden können, die andernfalls durch die groben Schätzungen des CNN im Bildraum verloren gegangen oder verwischt worden wären. Insgesamt führt die Transformer-Anwendung also zu einer besseren Bildqualität und einem schärferen Bild, das viel näher an den in nativer Auflösung gerenderten Bildern liegt als alle bisherigen Hochskalierungsversuche.
Die Verwendung von Transformer wirkt sich nicht nur positiv auf die Bildqualität aus, sondern erhöht auch die Effizienz der Hochskalierung erheblich. Laut Nvidia hat DLSS 4 die Anzahl der Parameter im Vergleich zu den Vorgängermodellen verdoppelt, was laut Messungen zu einer Verbesserung der Raytracing-Leistung um 30-50 % führt. Das Tüpfelchen auf dem i ist, dass auch die Latenz massiv reduziert wurde: Während das CNN eine Latenz von 3,25 Millisekunden hatte, hat das Transformer diese auf 1 Millisekunde reduziert, wie Tests mit der GeForce RTX 5090 Grafikkarte zeigen.
Für Nvidias Blackwell-basierte Grafikkarten der GeForce RTX 50-Serie profitiert DLSS 4 in hohem Maße von den Innovationen der Architektur und stellt außerdem die Multi-Frame-Generation-Funktion zur Verfügung, die exklusiv für diese Serie gilt. Während die Frame-Generation-Funktion einen generierten Frame zwischen zwei gerenderten Frames einfügte, um die Leistung zu steigern, kann die Multi-Frame-Generation nun drei zusätzliche Frames nach der Analyse eines einzelnen Frames generieren, was die Geschwindigkeit von Spielen noch weiter erhöht. Mit Optimierungen der Speicherverwaltung und der vertikalen Ebenenfusion können die Grafikkarten der GeForce RTX 50-Serie Transformer-Modelle mit doppelt so vielen Parametern wie ihre CNN-basierten Vorgänger problemlos verarbeiten.
Das Transformer-Modell selbst wird natürlich nicht nur auf der GeForce RTX 50 Serie verfügbar sein, sondern auch auf allen anderen GeForce RTX Grafikkarten, so dass auch die Turing-basierten Modelle der GeForce RTX 20 Serie davon profitieren können, wobei letztere jedoch nicht mehr die Frame Generation Option nutzen können. Das neue Modell wird die Bildqualität bei Spielen verbessern, Kantenzittern und Geisterbilder bei Bewegungen reduzieren und generell Bildfehler verringern, indem es dem System erlaubt, das Geschehen in den Bildern effizienter zu analysieren.
Das DLSS-Transformer-Modell hat den Beta-Status verlassen und die Version 310.3.0 gilt nun als stabile Version. Nvidia wird möglicherweise bald auf das neue Modell umsteigen, so dass CNN zu gegebener Zeit durch Transformer ersetzt werden könnte, aber es wurden keine Einzelheiten darüber genannt, wann genau dies geschehen wird. Das neue Design wird von unabhängigen Testern gründlich getestet, so dass wir bald sehen werden, inwieweit es sich in jedem Spiel verbessert und ob es irgendwelche Schwächen hat und wenn ja, welche diese sind.
