visionOS 27: Ein tieferer Einblick in Apples großes VR/AR-Update
Apple hat auf der WWDC 2026 mit visionOS 27 das vierte große Betriebssystem-Update für die Apple Vision Pro vorgestellt. Entgegen der eher knappen Erwähnung während der Haupt-Keynote, offenbaren die Entwicklerdokumentation und die detaillierten Sessions eine Fülle an Neuerungen, die visionOS 27 zu einem der umfangreichsten Updates bisher machen.
Intelligentere Interaktion mit Siri AI und visueller Intelligenz
Eine der zentralen Neuerungen ist die Einführung von Siri AI. Diese LLM-gestützte Überarbeitung des digitalen Assistenten soll visionOS um eine "deutlich fähigere und konversationsfreudigere" Interaktionsmöglichkeit erweitern. Siri AI wird als persistente, anheftbare Kugel im Raum erscheinen und kann durch bloßes Ansehen und Sprechen aktiviert werden, ohne den „Siri“-Befehl. Ergänzt wird dies durch die Visual Intelligence-Funktion, die es Nutzern ermöglicht, Fragen zu ihren physischen und virtuellen Umgebungen zu stellen und Aktionen darauf zu beziehen. Dies positioniert Siri AI auf visionOS als fortschrittliche Schnittstelle, die Elemente von Meta AI auf Quest 3's Horizon OS und Gemini auf Samsung Galaxy XR's Android XR zu übertreffen scheint. Eine eigene Siri-App wird zudem den Zugriff auf frühere Konversationen erleichtern.
Neue räumliche Dimensionen und Umgebungen
Nachdem visionOS 26 bereits die Umwandlung von 2D-Bildern in volumetrische Szenen ermöglichte, erweitert visionOS 27 dieses Konzept auf iPhone-Panoramen. Nutzer können ihre selbst aufgenommenen Panoramen als Home-Umgebung einrichten und so ihre Fenster und Volumes im Shared Space vor einer persönlichen Kulisse platzieren.
Als neue Standardumgebung wird das isländische Thórsmörk-Tal eingeführt, eine als atemberaubend geltende Landschaft, die sowohl Tag- als auch Nachtmodi mit Nordlichtern bietet. Dies ist die zehnte virtuelle Umgebung für visionOS.
Verbesserte Verfolgung und Zubehörunterstützung
Ein wichtiger Schritt für immersive Anwendungen ist die höhere Frequenz der Objektverfolgung. Während visionOS 2 die Verfolgung statischer Objekte bei etwa 5 Hz ermöglichte, bietet visionOS 27 einen neuen Modus für bewegliche und gehaltene Objekte, der Berichten zufolge bei etwa 30 Hz liegen könnte. Dies, kombiniert mit dem erweiterten Trainingsmodus, verbessert die Präzision erheblich, auch wenn die Latenz im Vergleich zu Hand-Tracking noch höher ist.
Zudem öffnet Apple die Unterstützung für IR-LED-getrackte Zubehörteile. Nach der Festlegung auf PS VR2 Sense-Controller und den Muse-Stylus in visionOS 26, können nun alle interessierten Unternehmen eigene IR-LED-Accessoires für Vision Pro entwickeln, ähnlich dem SteamVR "Lighthouse"-Tracking. Referenz-Hardware von DFRobot und MikroE wird die Entwicklung erleichtern.
Erleichterte Content-Erstellung und Entwickler-Tools
Für Content-Ersteller wird die unfoveatierte Bildschirmaufnahme ein Game Changer. Bisher auf foveatierte Darstellung beschränkt, können Nutzer nun bis zu 3 Minuten unfoveatiertes 4K-Material direkt auf dem Headset aufnehmen. Dies vereinfacht die Erstellung hochwertiger Demos und Inhalte erheblich.
Entwickler profitieren zudem vom Mac 3D Object Preview API, das die Vorschau von 3D-Objekten aus macOS-Apps direkt in Vision Pro ermöglicht – sogar mit bidirektionaler Bearbeitung. Cinema 4D und SketchUp gehören zu den ersten, die diese API integrieren werden.
Benutzerfreundlichkeit und Konnektivität
Das Kontrollzentrum erhält ein neues, aufgeräumtes Design mit drei Panels. Eine dreimal schnellere WLAN-Initialisierung behebt ein bekanntes Problem der aktuellen Vision Pro. Gekrümmte Fenster für Safari, Freeform und Multiview verbessern das immersive Surfen und Arbeiten, auch wenn dies vorerst eine private API für Apple-eigene Apps bleibt.
Kleine, aber feine Neuerungen sind auch "Accessory Widgets" für schnelle Interaktionen, gaze-expandierende Benachrichtigungen und automatische Untertitel für Videos.
Zugänglichkeit und weitere Fortschritte
visionOS 27 integriert "Vehicle Motion Cues" zur Reduzierung von Reisekrankheit und, besonders hervorzuheben, die native Steuerung ausgewählter motorisierter Rollstühle mittels Eye-Tracking. Dies unterstreicht Apples Engagement für Barrierefreiheit.
Umfassende RealityKit-Upgrades
Apples integrierte Engine RealityKit, die alle Shared Space- und viele Full Space-Erlebnisse antreibt, erhält massive Verbesserungen:
- Physical Space Lighting: Apps können nun virtuelles Licht auf die physische Umgebung werfen, basierend auf der LiDAR-Scan-Mesh und Umgebungslichtsensoren.
- Native Gaussian Splat Rendering: Unterstützt die native Wiedergabe von Gaussian Splats für realistischere 3D-Rekonstruktionen, die bereits in Personas von visionOS 26 verwendet werden.
- Realtime Cloth Simulation: Ermöglicht die realistische Simulation von Stoffen, die auf Schwerkraft, Kollisionen und Bewegungen reagieren.
- Immersive Audio Upgrades: Eine Reverb Mesh API lässt Entwickler die Geometrie und akustischen Eigenschaften virtueller Umgebungen beschreiben, für glaubhafteren Raumklang.
visionOS 27 ist ein Update, das sowohl die Benutzererfahrung als auch die Möglichkeiten für Entwickler auf der Apple Vision Pro erheblich erweitert. Es zeigt Apples kontinuierliche Investition in die Plattform, um immersive und interaktive Erlebnisse weiter zu verfeinern. Welche der neuen Funktionen ist für dich die bahnbrechendste? Wir sind gespannt auf deine Meinung!
#visionOS #AppleVisionPro #VR #AR #MixedReality #TechNews #WWDC2026 #RealityKit #SiriAI #ObjektTracking #Accessibility #VRDevelopment #explorewithquest #QuestCreatorPartner