Marble AI: Bilder werden zu immersiven WebXR-Welten in Minuten
Die Entwicklung im Bereich der Künstlichen Intelligenz schreitet rasant voran, und mit Marble AI von World Labs sehen wir einen weiteren Meilenstein, der die Erstellung von Virtual-Reality-Inhalten grundlegend verändern könnte. Dieses innovative AI-Modell ermöglicht es, ein einzelnes Bild oder einen Text-Prompt innerhalb weniger Minuten in eine vollständig volumetrische WebXR-Szene zu verwandeln, die direkt in einem VR-Headset über den Webbrowser erlebt werden kann.
Was ist Marble AI und wie funktioniert es?
Hinter Marble steht World Labs, ein Unternehmen, das von Fei-Fei Li mitgegründet wurde – einer Pionierin der modernen KI, bekannt für die Entwicklung des ImageNet-Datensatzes. Die Kerntechnologie von Marble basiert auf sogenannten Gaussian Splats. Hierbei werden Tausende von semitransparenten, farbigen Blobs (Gauss’sche Funktionen) im 3D-Raum platziert, um beliebige Blickwinkel in Echtzeit realistisch darzustellen. Die bemerkenswerte Geschwindigkeit und die Vielfalt der unterstützten Eingabetypen, darunter ein einzelnes Bild oder ein einfacher Text-Prompt, sind bislang unerreicht. Im Vergleich dazu benötigen andere Splat-Generierungssysteme wie Metas Horizon Hyperscape oder Varjo Teleport Hunderte von Eingabebildern und Stunden an Verarbeitungszeit.
Testergebnisse und Qualität auf der Quest 3
Bei Tests mit der Quest 3 und Apple Vision Pro, bei denen ein einzelnes Bild eines VR-Raums aus dem Jahr 2014 in eine volumetrische Szene umgewandelt wurde, zeigte sich, dass die Qualität im Vergleich zu Metas Hyperscape-Welten oder Varjo Teleport merklich geringer war. Sie wird eher mit der von Niantic Scaniverse verglichen. Während die direkt aus dem Eingabebild übernommenen Details relativ scharf waren, traten bei größerer Entfernung oder außerhalb des ursprünglichen Bildausschnitts typische visuelle Artefakte der Gaussian Splats auf. Dies liegt daran, dass Details jenseits des Bildrahmens von der KI 'halluziniert' werden und somit von der realen Umgebung abweichen können, es sei denn, man füttert das System mit mehreren Eingabebildern.
Funktionen für fortgeschrittene Nutzung
Für Anwender, die mehr als die kostenlose Basisversion nutzen möchten, bietet Marble ein $20/Monat Abonnement. Dieses schaltet erweiterte Eingabeoptionen frei, wie die Verwendung mehrerer Bilder, kurzer Videos oder sogar einer 3D-Struktur mittels des Tools namens 'Chisel'. Chisel ermöglicht es, eine Szene mit einfachen 3D-Formen zu skizzieren und diese dann über einen Text-Prompt in eine detaillierte volumetrische Szene zu verwandeln. Zusätzlich unterstützt das Abonnement interaktives Bearbeiten, Erweitern und Kombinieren mehrerer Welten. Auch der Export als hochwertiges traditionelles 3D-Mesh ist möglich, wenngleich dieser Prozess mehrere Stunden in Anspruch nehmen kann. World Labs bezeichnet Marble aufgrund seiner einzigartigen Fähigkeiten als "first-in-class generative multimodal world model".
Potenzial für VR-Entwickler
Die Möglichkeit, volumetrische Szenen in Minuten aus einer einzigen Quelle zu generieren und diese dann mit einer Kombination aus Editor-Benutzeroberfläche und natürlicher Sprache zu bearbeiten, birgt ein enormes Potenzial. Insbesondere die Option, diese Szenen als traditionelle 3D-Welten mit geometrischer Steuerbarkeit über Chisel zu exportieren, könnte VR-Entwicklern völlig neue Wege eröffnen, Umgebungen für ihre interaktiven Apps und Spiele zu erstellen.
Fazit und Ausblick
Marble AI steht am Anfang einer Entwicklung, die die Erstellung von 3D-Inhalten demokratisieren könnte. Trotz der aktuellen Qualitätsunterschiede zu etablierten Systemen bei der Generierung aus Einzelbildern, ist die Geschwindigkeit und Zugänglichkeit bemerkenswert.
Was denkt ihr, wie wird Marble AI die Zukunft der VR-Content-Erstellung beeinflussen? Teilt eure Gedanken in den Kommentaren!
#VoodooDE #VR #KI #3DErstellung #WebXR #VolumetricScenes #GaussianSplats #Quest3 #explorewithquest #QuestCreatorPartner