Mit dem Update auf iOS 12 führte Apple eine verbesserte Version der Augmented Reality-Funktionalität “ARKit 2” ein. Durch die darin enthaltene 3D-Objekterkennung werden beispielsweise Face- und Eye-Tracking-Technologie noch deutlich genauer.
Diese Technologie ermöglichte es uns, eine eigene iMessage-App zu entwickeln, die eine Maske (hier das Gesicht des Maskottchens “Karl” der Bundesgartenschau Heilbronn 2019) an die Mimik des Nutzers anpasst.
Die Grundlage bildet ein 3D-Modell, welches Blend Shapes (auch “Shape Keys” genannt) unterstützt. Diese Variablen sind zuständig für die Verfolgung der Gesichtszüge. Sie werden anschließend mit den über 50 möglichen Blend Shape-Werten verknüpft, die das ARKit Face-Tracking bietet.
Dieses Modell wird in eine mit Xcode für iMessage erstellte App integriert. In der App wird mit SceneKit eine 3D Szene erstellt, in der das 3D-Modell angezeigt wird.
Außerdem muss eine ARKit Face Tracking Session erstellt werden, die das Gesicht des Users erfasst.
Im Anschluss werden die Blend Shape-Werte, die das ARKit Face-Tracking bereitstellt, über einen Morpher (dieser ist für die Transition zwischen zwei oder mehreren Geometrien zuständig) mit den Blend Shapes des 3D-Modells verknüpft.
Auch Informationen zur Rotation des Kopfes müssen auf das 3D-Modell übertragen werden. Diese Blend Shapes und Rotationen werden mit 60 Frames pro Sekunde aktualisiert. Dadurch kann das 3D-Modell die Rotationen und Gesichtszüge des Users wie ein Spiegel und ohne Ruckeln nachahmen.
Dir gefällt diese Idee? – Gerne beraten wir dich individuell zu deinem eigenen Vorhaben (hallo@sevend.de).
