VRChat hat in der neuesten Open-Beta-Version auf Steam sowie im Avatars SDK (ab Version 3.10.6-beta.1) eine native Unterstützung für Face Tracking auf SDK-Ebene integriert. Bisher basierte die Übertragung von Mimik und Blicken größtenteils auf der OSC-Schnittstelle (Open Sound Control) und Community-Tools wie VRCFaceTracking (VRCFT).
Neuerungen im Avatars SDK
Mit dem Update können Avatar-Ersteller Gesichtsausdrücke direkt über einen eigenen Bereich im "Avatar Descriptor"-Bauteil konfigurieren. Das System ordnet Mimik-Eingaben bestimmten Blendshapes und Animator-Parametern zu und verarbeitet den Unified-Expressions-Standard. Zudem ist es mit den audio-basierten Visemen und den Blick- sowie Lidbewegungen von VRChat kompatibel.
Optimierte Netzwerklast
Ein wichtiger technischer Vorteil der nativen Integration ist die Netzwerk-Synchronisation: Die Face-Tracking-Daten belasten nicht mehr das normale Parameter-Budget des Avatars. Dies sorgt für eine geringere Auslastung der Datenübertragung und eine konsistentere Darstellung der Mimik bei anderen Nutzern.
Kompatibilität und Hardware
Neben Headsets mit integrierter Hardware wie der Meta Quest Pro, Pico 4 Pro oder der Samsung Galaxy XR können auch Drittanbieter- und Open-Source-Lösungen (z. B. für Meta Quest 3 und Quest 3S) genutzt werden. Zusätzlich unterstützt das System die "Selfie Expression"-Funktion, mit der Gesichtsausdrücke per Webcam auf PCs oder Android-Geräten erfasst werden.
Welche Anwendungsbereiche seht ihr für natives Face Tracking in VRChat?
#VRChat #VirtualReality #FaceTracking #AvatarSDK #VRTech #explorewithquest #QuestCreatorPartner