Instant-Platzierung in Mixed Reality: Der Meta Quest Browser optimiert WebXR Hit Testing mit der Depth API
Eine wichtige Neuerung für die Mixed Reality-Erfahrung auf Meta Quest 3 und Quest 3S ist die Integration der Depth API in den Quest Browser für das WebXR Hit Testing. Diese technische Weiterentwicklung ermöglicht es Entwicklern und Nutzern, virtuelle Objekte deutlich einfacher und schneller in der realen Umgebung zu platzieren.
Was bedeutet WebXR Hit Testing?
Das WebXR Hit Testing API ist ein offener Standard, der es Entwicklern erlaubt, einen virtuellen Strahl von einem bestimmten Punkt (z.B. der Kopf- oder Controllerposition des Nutzers) auszusenden und zu erkennen, wo dieser Strahl auf die reale Geometrie trifft. Dies ist entscheidend für die Interaktion von virtuellen Objekten mit der physischen Welt in Mixed Reality-Anwendungen.
Probleme mit der bisherigen Methode
Bisher wurde auf Quest 3 und Quest 3S für das WebXR Hit Testing in vielen Fällen das sogenannte "Scene Mesh" verwendet. Das Scene Mesh ist eine digitale Repräsentation des Raumes, die während des Mixed Reality-Setups erstellt wird. Dieser Ansatz hatte jedoch Nachteile:
- Reibung für den Nutzer: Wenn der Nutzer noch kein Scene Mesh für den aktuellen Raum erstellt hatte, musste er dies nachholen, sobald eine Anwendung die Hit Testing API aufrief. Dies war ein zusätzlicher Schritt, der die Nutzung verkomplizierte.
- Veraltete Daten: Ein einmal erstelltes Scene Mesh spiegelte nicht immer aktuelle Veränderungen im Raum wider, wie z.B. umgestellte Möbel.
Die Lösung: Meta's Depth API
Mit der Horizon Browser Version 40.4, die aktuell ausgerollt wird, wird das WebXR Hit Testing API nun unter der Haube von Meta's Depth API angetrieben. Diese API ist ebenfalls auf Quest 3 und Quest 3S verfügbar und liefert Echtzeit-Tiefeninformationen aus der First-Person-Perspektive. Ein Computer-Vision-Algorithmus vergleicht dabei die Daten der beiden Tracking-Kameras an der Vorderseite des Headsets, um Tiefeninformationen bis zu etwa fünf Metern Entfernung zu generieren. Die Depth API wird typischerweise auch für dynamische Okklusion in Mixed Reality genutzt, um virtuelle Objekte korrekt von physischer Geometrie verdecken zu lassen.
Sofortige Platzierung ohne Raumsymbol
Für das Hit Testing bedeutet die Depth API eine Revolution: Virtuelle Objekte können nun sofort auf realen Oberflächen platziert werden, ohne dass ein vorheriges Raumsymbol (Scene Mesh) benötigt wird. Diese Funktionalität ist für Unity-Entwickler bereits seit etwa einem Jahr über Meta's Mixed Reality Utility Kit (MRUK) zugänglich, und auch Unreal- und native Entwickler können sie über die Depth API selbst implementieren. Nun steht sie auch WebXR-Entwicklern zur Verfügung.
Grenzen der neuen Methode
Es ist wichtig zu beachten, dass diese Methode vor allem für die Platzierung einfacher, stationärer Objekte und Benutzeroberflächen geeignet ist. Wenn virtuelle Entitäten sich auf Oberflächen bewegen oder komplexer mit dem Raum interagieren sollen, bleibt ein gescanntes Scene Mesh weiterhin erforderlich. Die Neuerung ist somit eine Vereinfachung für spezifische Anwendungsfälle, ersetzt aber nicht alle Szenarien des Scene Mesh.
Diese Weiterentwicklung unterstreicht Metas Engagement, die Entwicklung von Mixed Reality-Anwendungen zugänglicher und die Nutzererfahrung flüssiger zu gestalten.