Snap OS, das Betriebssystem hinter den Snap Spectacles und den geplanten Consumer Specs AR-Brillen, hat eine Reihe wichtiger neuer Funktionen für Entwickler eingeführt. Diese Neuerungen, die auf dem Lens Fest vorgestellt wurden, zielen darauf ab, die Entwicklung von Augmented-Reality-Anwendungen (sogenannten "Lenses") einfacher und kommerzieller attraktiver zu gestalten.
Monetarisierung durch Commerce Kit
Eine der bedeutendsten Neuerungen ist das Commerce Kit. Bislang konnten Entwickler ihre Lenses nur kostenlos anbieten. Mit dem Commerce Kit wird ein API- und Zahlungssystem eingeführt, das In-App-Käufe direkt in den AR-Anwendungen ermöglicht. Nutzer können eine Zahlungsmethode und eine PIN in der Spectacles Smartphone-App einrichten, ähnlich wie man es von Standalone-VR-Headsets oder Konsolen kennt. Dies ist ein entscheidender Schritt, um Entwicklern eine direkte Möglichkeit zur Monetarisierung ihrer Arbeit zu bieten und die Attraktivität der Plattform zu steigern. Derzeit ist das Commerce Kit in einer geschlossenen Beta-Phase für Entwickler in den USA verfügbar.
Erweiterter Sensorzugriff mit Berechtigungs-Alerts
Ein Kernprinzip von Snap OS war bisher, dass Lenses nicht gleichzeitig Zugriff auf das Internet und Rohsensordaten (Kamera-Frames, Mikrofon-Audio, GPS-Koordinaten) haben konnten. Während es hochrangige Snap APIs für Computer Vision und Spracherkennung gab, verloren Entwickler den Internetzugriff, wenn sie eigenen Code auf Rohsensordaten ausführen wollten. Mit dem neuen Berechtigungssystem können experimentelle Lenses nun beides: Rohsensordaten und Internetzugang. Dies ist jedoch an eine wichtige Bedingung geknüpft: Bei jedem Start der Lens erscheint eine Berechtigungsaufforderung, und eine nach vorne gerichtete LED an der Brille pulsiert, während die App aktiv ist. Diese "Bystander Indicator" genannte Funktion soll Umstehende darüber informieren, dass möglicherweise Aufnahmen gemacht werden, was ein wichtiger Aspekt in puncto Datenschutz und Transparenz ist.
UI Kit und Mobile Kit für mehr Interaktion
Das Spectacles UI Kit (SUIK) bietet Entwicklern die Möglichkeit, System-UI-Komponenten von Snap OS einfach in ihren eigenen Lenses zu nutzen, was eine konsistente Benutzererfahrung fördert. Das neue Spectacles Mobile Kit erlaubt zudem die Bluetooth-Kommunikation zwischen iOS- und Android-Smartphone-Apps und Spectacles Lenses. Dies eröffnet neue Möglichkeiten für Begleit-Apps oder die Integration bestehender Smartphone-Funktionen. Entwickler können damit Daten von mobilen Anwendungen wie Gesundheits-Tracking, Navigation oder Gaming senden und so erweiterte Augmented-Reality-Erlebnisse schaffen, die hands-free und ohne Wi-Fi auskommen. Bereits jetzt können iPhones als 6DoF-Controller über die Spectacles-App genutzt werden; das Mobile Kit erweitert diese Möglichkeiten noch.
EyeConnect für nahtlosen Multiplayer
Snap OS war bereits für seine einfache Colocation-Unterstützung bekannt, die das Beitreten lokaler Multiplayer-Sessions erleichtert. Mit der neuen EyeConnect-Funktion wird dies noch weiter vereinfacht. Spectacles-Träger müssen sich lediglich ansehen, und das System nutzt Geräte- und Gesichtstracking, um alle Nutzer einer Session automatisch zu lokalisieren, ohne manuelle Kalibrierung. Dies fördert Multiplayer-Erlebnisse mit geringer Reibung und unterstreicht Snaps Bestreben, geteilte AR-Erlebnisse intuitiver zu gestalten.
Semantic Hit Testing
Eine weitere nützliche API ist das Semantic Hit Testing. Diese Funktion ermöglicht es Lenses, einen Strahl (z.B. von der Hand des Benutzers) in die Umgebung zu senden und zu erkennen, ob er eine gültige Bodenfläche trifft. Dies ist ideal für die sofortige Platzierung virtueller Objekte in der realen Welt und eine Funktion, die bereits auf anderen XR-Plattformen zu finden ist.
Diese umfassenden Updates zu Snap OS 2.0 zeigen, dass Snap seine AR-Plattform gezielt weiterentwickelt, um sie für Entwickler attraktiver und für den zukünftigen Konsumentenmarkt bereit zu machen. Die Vision ist es, ein Ökosystem zu schaffen, in dem immersive AR-Anwendungen monetarisiert und nahtlos in den Alltag integriert werden können.