Entwickler revolutionieren die Meta Ray-Ban Display mit visuellen Apps und KI-Unterstützung
Die Welt der Smart Glasses erweitert sich rasant, und die Meta Ray-Ban Display steht dabei im Mittelpunkt. Meta hat kürzlich die Möglichkeit eingeführt, visuelle Apps direkt für das Head-up-Display (HUD) dieser intelligenten Brille zu entwickeln. Dies eröffnet ein breites Spektrum an neuen Anwendungen und Interaktionsmöglichkeiten, die weit über die bisherigen Audio-Funktionen hinausgehen.
Zwei Wege der App-Entwicklung
Entwicklern stehen nun zwei Hauptpfade zur Verfügung, um Inhalte auf die Meta Ray-Ban Display zu bringen:
- Erweiterte Smartphone-Apps: Über das Wearables Device Access Toolkit SDK können Entwickler ihre bestehenden Smartphone-Apps erweitern, um Benutzeroberflächeninhalte an das Display der Brille zu senden. Dazu gehören Text, Bilder, Buttons, Icons und Videos, die mit Meta-eigenen UI-Komponenten gestaltet werden können. Die App selbst läuft weiterhin auf dem Smartphone, während die Brille als hochkontrolliertes externes Display mit Button-Navigation und Eingabemöglichkeiten fungiert.
- Eigenständige Web-Apps: Dieser Ansatz ist weitaus offener. Hier können Apps, die mit HTML, CSS und JavaScript erstellt wurden, nativ auf der Brille laufen. Entwickler haben die Freiheit, eigene Web-Frameworks zu nutzen und erhalten Zugriff auf Gesten und Taps der Meta Neural Band, Bewegungs- und Orientierungsdaten des IMU, GPS-Standort des verbundenen Telefons und lokalen Speicher – alles basierend auf offenen Webstandards. Das Besondere: Diese Apps können sogar ohne verbundenes Smartphone funktionieren.
KI-Coding-Agenten im Einsatz
Ein weiterer bemerkenswerter Aspekt ist die volle Unterstützung von KI-Coding-Agenten für beide Entwicklungspfade. Meta bietet installierbare Plugins für OpenAI's Codex und Anthropic's Claude Code, sowie Auto-Load-Anweisungen für GitHub Copilot und Cursor. Dies ermöglicht es Anwendern mit grundlegenden technischen Kenntnissen, eigene Informations-Overlays, Echtzeit-Datenanzeigen und Mikro-Apps zu erstellen, oft ohne eine einzige Zeile Code selbst schreiben zu müssen. Das "Vibe Coding" macht die Entwicklung zugänglicher denn je.
Display-Aufnahme für einfache Präsentation
Ein wichtiges Update ist die Einführung der Display-Aufnahme-Funktion. Bislang war es schwierig, zu zeigen, was man durch die Smart Glasses sieht. Mit der neuen Firmware können Besitzer der Meta Ray-Ban Display nun das Display aufzeichnen, wobei die Ausgabe über die Kameraansicht gelegt wird und den Ton einschließt. Dies ist nicht nur für Entwickler, die ihre Experimente teilen möchten, essenziell, sondern auch für Journalisten, Influencer und Content Creator, um die Fähigkeiten der Brille effektiv zu demonstrieren.
Beeindruckende frühe Anwendungen
Seit der Freigabe der visuellen App-Unterstützung haben Entwickler bereits eine Reihe kreativer Anwendungen vorgestellt:
- Ghost Run: Eine Web-App, die es ermöglicht, gegen die eigene Bestzeit auf einer Laufstrecke anzutreten, indem sie GPS-Daten nutzt.
- YouTube, TikTok & Twitch Clients: Vereinfachte Oberflächen, die das Streamen von Videos auf dem 600×600-Display der Brille ermöglichen und für die Wisch- und Tipp-Eingaben der Meta Neural Band optimiert sind.
- DOOM: Der Klassiker von 1993 wurde auf die Meta Ray-Ban Display portiert, ein Beweis für die Vielseitigkeit der Plattform.
- KI-Agent für Uber & DoorDash: Ein plattformübergreifender Agent namens "Super", der agentische Aktionen wie das Bestellen von Starbucks via Sprachbefehl ohne Smartphone-Interaktion ausführt.
- Smart-Home-Steuerung: Demos zeigen, wie Geräte im Smart Home bequem per Fingergesten von der Brille aus gesteuert werden können.
- Reader-Mode Webbrowser: Ein Webportal mit vereinfachter DuckDuckGo-Suche und Lesemodus, der Websites für das kleine Display optimiert.
Die Möglichkeiten für die Meta Ray-Ban Display erweitern sich kontinuierlich. Es wird interessant sein zu sehen, welche weiteren innovativen Anwendungen die Entwicklergemeinschaft in Zukunft hervorbringen wird.
Was denkt ihr über die Entwicklung visueller Apps für Smart Glasses? Welche Anwendung wäre für euch am nützlichsten?
#MetaRayBan #SmartGlasses #AR #AppDevelopment #KI #TechBlog #VoodooDE #explorewithquest #QuestCreatorPartner