visionOS 26.4: Fortschritte bei VR Foveated Streaming und Spatial Audio
Apple hat kürzlich visionOS 26.4 veröffentlicht, eine Aktualisierung, die bemerkenswerte Verbesserungen im Bereich des VR Foveated Streaming und des Spatial Audio für das Vision Pro-Headset mit sich bringt. Diese Neuerungen zielen darauf ab, die visuelle Qualität und das Klangerlebnis in Mixed-Reality-Umgebungen weiter zu optimieren.
VR Foveated Streaming: Details und Funktionsweise
Die zentrale Neuerung ist das VR Foveated Streaming. Es ist wichtig zu verstehen, dass dies nicht dasselbe ist wie Foveated Rendering, obwohl beide Technologien synergistisch eingesetzt werden können. Während Foveated Rendering die Rendering-Auflösung auf dem Host-Gerät im Blickfeld des Nutzers erhöht, konzentriert sich Foveated Streaming darauf, genau diesen Bereich mit einer höheren Bildqualität und besserer Kompression an das Headset zu senden. Angesichts der begrenzten Auflösungs- und Bitratenkapazitäten von Headset-Videodecodern hilft Foveated Streaming, die Priorität auf den Bereich zu legen, den der Nutzer gerade betrachtet.
Es handelt sich um ein host-agnostisches Framework, das theoretisch von jedem PC-VR-Server implementiert werden könnte. Apple hat eng mit Nvidia zusammengearbeitet, um die Unterstützung für Nvidias CloudXR SDK zu integrieren, welches sowohl für lokale als auch Cloud-basierte PCs nutzbar ist. Eine Besonderheit ist, dass die API Entwicklern nun eine "ungefähre" Blickregion des Nutzers mitteilt – eine Premiere für visionOS-Entwickler, die bisher aus Datenschutzgründen keine Blickinformationen erhielten. Dies ermöglicht es dem Host, auch im Blickbereich höher aufzulösen, nicht nur zu streamen, sofern die VR-Anwendung Foveated Rendering unterstützt.
Praktische Anwendungen zeigen sich bereits:
- X-Plane 12 und iRacing: Erhalten spezielle visionOS-Clients, die PC-Simulationen streamen und physische Cockpit-Elemente via Passthrough integrieren.
- Autodesk VRED: Bietet einen immersiven Modus, der hochauflösende Assets zum Vision Pro streamt und bereits von Automobilherstellern wie Kia und BMW genutzt wird.
- Clear XR: Ein unabhängiger Entwickler bietet über TestFlight eine Lösung an, um OpenXR PC-VR-Spiele mit Foveated Streaming zu nutzen (erfordert Nvidia RTX 40- oder 50-Serie GPUs).
Eine Einschränkung ist, dass Nvidias CloudXR SDK aktuell nur Grafikkarten der Nvidia Ada- und Blackwell-Architekturen (RTX 40- und 50-Serie) unterstützt.
Verbessertes Spatial Audio in Mixed Reality
Neben den visuellen Verbesserungen wurde auch das Spatial Audio in Mixed-Reality-Umgebungen optimiert. Das Apple Vision Pro unterstützt bereits Audio Ray Tracing, welches die Merkmale und Materialien des Raumes analysiert, um den Klang präzise an die physische Umgebung anzupassen. Mit visionOS 26.4 speichert das Headset nun die akustischen Eigenschaften der genutzten Räume. Dies ermöglicht eine schnellere Initialisierung der Audio Ray Tracing-Funktion und ein umfassenderes Modell der Umgebung, ohne dass der Nutzer sich zuerst bewegen muss.
Diese Neuerungen unterstreichen Apples Engagement für eine immersive und effiziente Mixed-Reality-Erfahrung. Sie könnten die Art und Weise, wie Nutzer mit digitalen Inhalten interagieren, weiter verfeinern.
Welche dieser technischen Fortschritte findet ihr am vielversprechendsten für die Zukunft der VR und Mixed Reality?
#explorewithquest #QuestCreatorPartner