Dank des Entwicklungsteams von Intel wurde ein neues Tool entwickelt, mit dem die Bildqualität von Spielen effizienter und effektiver in Echtzeit analysiert werden kann und das Aufschluss darüber gibt, wie verschiedene Technologien die Bildqualität bieten und wo sie noch feiner abgestimmt werden müssen. Das Tool mit dem Namen Computer Graphics Visual Quality Metric ist eine Open-Source-Lösung auf KI-Basis, die potenzielle Bildfehler in Echtzeit aufzeigen und die Bildqualität ähnlich wie Tester bewerten kann.
Dies ist notwendig, da heute immer mehr Technologien zur Verfügung stehen, um die Bildqualität von Spielen zu verbessern und die Leistung effizient zu steigern, z. B. Frame-Skalierung, KI-basierte Frame-Generierungstechnologien und andere Lösungen, die während ihres Betriebs Bildfehler verursachen können. Dazu gehören Glättungsanomalien, Flimmern, Geisterbilder und viele andere Anomalien, die das visuelle Erlebnis und damit auch das Spielerlebnis beeinträchtigen können. Intels CGVQM-Innovation zielt darauf ab, diese Anomalien in Echtzeit, effizient und mit einer Genauigkeit zu analysieren und zu bewerten, die mit menschlichen Testern vergleichbar ist.
Das Open-Source-Tool basiert auf einem 3D-CNN (Convolutional Neural Network), das von Intel-Experten auf ihren eigenen Datensätzen trainiert wurde. Dieser Datensatz wird Computer Graphics Visual Quaity Dataset genannt und enthält im Wesentlichen alle potenziellen Bildfehler, die bei modernen Rendering-Techniken zu erwarten sind. Zu diesen Rendering-Techniken gehören Path Tracing, Neural Rescaling, Neural Noise Filtering, Frame Interpolation und Adaptive Variable-Rate Shading, d. h. sie haben die Bereiche, in denen das Tool nützlich sein könnte, recht gut abgedeckt. Die Entwickler haben ein KI-Modell entwickelt, das Bildfehler erkennen und die endgültige Bildqualität bewerten kann, indem es eine Fehlerkarte erstellt, die genau zeigt, wo in einem bestimmten Bild Fehler gefunden wurden.
Damit das KI-basierte Tool ähnlich funktioniert wie die menschliche Wahrnehmung des Bildes, wurden einige Freiwillige gebeten, die in den Bildern sichtbaren Fehlermerkmale nach ihrem Störungsgrad zu bewerten. Diese Bewertungen wurden dann verwendet, um die Funktionsweise des KI-Modells zu verfeinern. Anschließend wurde es erneut trainiert, diesmal anhand eines Benchmarks, der aus den Bewertungen der Tester erstellt wurde. Das auf 3D-ResNet-18 basierende Modell wurde ebenfalls Tests unterzogen, nachdem eine entsprechende Kalibrierung durchgeführt wurde.
Die Tests ergaben, dass das Modell CGVQM-5, das einen hohen Detaillierungsgrad aufweist, aber auch mehr Ressourcen benötigt, den zweiten Platz hinter den menschlichen Testern belegte, während das abgespeckte Modell CGVQM-2, das ein einfacheres neuronales Netz verwendet und daher weniger Ressourcen benötigt, den dritten Platz unter den getesteten Modellen belegte, knapp hinter CGVQM-5.
Den Forschern zufolge funktioniert das neue Modell nicht nur bei Verwendung ihres Cumputer Graphics Visual Quality Dataset gut, sondern auch bei Ressourcen, die nicht in dem für das Training verwendeten Dataset enthalten waren, was bedeutet, dass das Modell gut generalisiert. Dies, d. h. die Verallgemeinerbarkeit, ist in der Tat eine Schlüsseleigenschaft, da sie eine breitere Nutzung des Tools ermöglicht, was eine Voraussetzung dafür ist, dass es populärer wird und sich zu einer wirklich nützlichen Anwendung entwickelt.
Die Funktionalität des Tools könnte noch verbessert werden, beispielsweise durch die Verwendung des TNN-Modells (Transformer Neural Network) anstelle des 3D-CNN-Modells, aber letzteres erfordert eine enorme Rechenleistung, um wirklich nutzbar zu sein. Den Forschern zufolge könnte die Genauigkeit auch dadurch verbessert werden, dass dem Modell zusätzliche Informationen zur Verfügung gestellt werden, z. B. optische Flussvektordaten, um die Bildqualität besser beurteilen zu können.
Das neue Tool steht der Öffentlichkeit bereits zur Verfügung, es ist in seiner jetzigen Form interessant auszuprobieren, und in Zukunft könnten seine Effizienz und Genauigkeit weiter verbessert werden, so dass die Chance besteht, dass es zu einem wichtigen Werkzeug wird - aber es ist auch sehr wahrscheinlich, dass große Konkurrenten ähnliche Bildqualitätstools entwickeln werden, die besser für ihre eigenen Technologien geeignet sind und ebenfalls auf KI basieren.
Die Software kann von heruntergeladen werden. Sie kann sowohl für Unreal Engine- als auch für Vulkan-basierte Spiele verwendet werden und lässt sich problemlos in bestehende Arbeitsabläufe integrieren.
