Eye-Tracked Foveated Rendering: Ein Open-Source-Tool revolutioniert die SteamVR-Performance
Die Welt der virtuellen Realität entwickelt sich stetig weiter, und mit ihr auch die Anforderungen an Hardware und Software, um ein immersives Erlebnis zu gewährleisten. Eine der größten Herausforderungen bleibt dabei stets die Optimierung der Performance. Hier kommt ein neues Open-Source-Tool namens PimaxMagic4All ins Spiel, das Eye-Tracked Foveated Rendering (ETFR) für eine breite Palette von SteamVR-Spielen auf Windows-PCs mit Nvidia-Grafikkarten zugänglich macht.
Was ist Eye-Tracked Foveated Rendering?
Bevor wir uns PimaxMagic4All genauer ansehen, ist es wichtig, die Funktionsweise von Foveated Rendering zu verstehen. Grundsätzlich gibt es zwei Varianten:
- Fixed Foveated Rendering (FFR): Bei dieser Technik wird der zentrale Bereich des Bildes mit einer höheren Auflösung gerendert, während die Peripherie des Sichtfeldes in einer niedrigeren Auflösung dargestellt wird. FFR funktioniert auf jedem Headset, kann aber zu sichtbarer Verpixelung an den Rändern führen.
- Eye-Tracked Foveated Rendering (ETFR): Dies ist die dynamische Weiterentwicklung. Hierbei wird der Bereich, den der Nutzer gerade mit den Augen fixiert, in voller Auflösung gerendert, während der Rest des Bildes reduziert wird. Voraussetzung dafür ist ein Headset mit Eye-Tracking-Fähigkeit. Bei niedriger Latenz des Eye-Tracking-Systems ist der Auflösungsunterschied für den Nutzer praktisch nicht wahrnehmbar.
Beide Techniken dienen dazu, die Rechenleistung in VR zu schonen. Dies ermöglicht entweder höhere und stabilere Bildraten bei anspruchsvollen Anwendungen oder die Darstellung von VR-Erlebnissen in einer insgesamt höheren Spitzenauflösung, ohne Performance-Einbußen.
PimaxMagic4All: Die Technik hinter dem Tool
PimaxMagic4All re-implementiert eine Funktion, die Pimax bereits in seiner eigenen Software für seine Headsets anbietet. Ziel ist es, diese leistungssteigernde Technologie auch für andere SteamVR-kompatible Headsets nutzbar zu machen, die über eine Schnittstelle zur Abfrage von Eye-Tracking-Daten verfügen oder entsprechende Drittanbieter-Software nutzen.
Zu den unterstützten Headsets gehören unter anderem:
- Meta Quest Pro (über Steam Link oder Virtual Desktop)
- PlayStation VR2 (über PSVR2Toolkit)
- Samsung Galaxy XR (über Virtual Desktop)
- Play For Dream MR (über Virtual Desktop)
- Varjo Aero
Auch für Valves Steam Frame wird die Kompatibilität bei Streaming von einem Windows-PC mit Nvidia-GPU erwartet.
Das Tool bietet eine einfache grafische Oberfläche, über die Nutzer zwischen drei Stufen des Foveated Renderings wählen können: Maximum, Balanced und Minimum. So lässt sich die Priorität entweder auf maximale Performance, ein optisch nicht wahrnehmbares Ergebnis oder einen Ausgleich aus beidem legen.
Technische Voraussetzungen und Spielekompatibilität
PimaxMagic4All kann Eye-Tracked Foveated Rendering in Titel injizieren, die die Grafik-API DirectX 11 und OpenVR verwenden – Valves frühere API für SteamVR. Wichtig ist zudem, dass das Spiel kein Anti-Cheat-System besitzt, da diese das Injizieren von Code verhindern. Eine Nvidia-Grafikkarte ist zwingend erforderlich.
Eine kleine Liste kompatibler Titel findet sich auf der GitHub-Wiki-Seite des Projekts und umfasst namhafte Spiele wie Half-Life: Alyx, Skyrim VR, Fallout 4 VR, Elite Dangerous, Assetto Corsa und Boneworks. Theoretisch sollte das Tool jedoch mit einer noch viel größeren Anzahl von Spielen funktionieren.
Es ist zu beachten, dass einige Titel wie Microsoft Flight Simulator 2024, DCS und iRacing bereits native OpenXR-basierte Eye-Tracked Foveated Rendering-Unterstützung bieten und dieses Tool daher nicht benötigen.
Der Entwickler: Matthieu Bucchianeri
Hinter PimaxMagic4All steckt Matthieu Bucchianeri, ein erfahrener Entwickler, der bereits an wichtigen Projekten wie der PS4 und dem originalen PlayStation VR bei Sony, Falcon 9 und Dragon bei SpaceX sowie HoloLens und Windows MR bei Microsoft gearbeitet hat, wo er aktuell im Xbox-Team tätig ist. In seiner Freizeit entwickelte er zudem den OpenXR Toolkit, VDXR (Virtual Desktops OpenXR-Runtime) und Oasis, den nativen SteamVR-Treiber, der Windows MR Headsets wiederbelebte.
PimaxMagic4All ist auf GitHub verfügbar und bietet sowohl den Quellcode als auch vorkompilierte Releases zum Download an.