3D Face-/Eye-Tracking meets iMessage-App

23. November 2018
By
In,

Mit dem Update auf iOS 12 führte Apple eine verbesserte Version der Augmented Reality-Funktionalität “ARKit 2” ein. Durch die darin enthaltene 3D-Objekterkennung werden beispielsweise Face- und Eye-Tracking-Technologie noch deutlich genauer.

Diese Technologie ermöglichte es uns, eine eigene iMessage-App zu entwickeln, die eine Maske (hier das Gesicht des Maskottchens “Karl” der Bundesgartenschau Heilbronn 2019) an die Mimik des Nutzers anpasst.

Die Grundlage bildet ein 3D-Modell, welches Blend Shapes (auch “Shape Keys” genannt) unterstützt. Diese Variablen sind zuständig für die Verfolgung der Gesichtszüge. Sie werden anschließend mit den über 50 möglichen Blend Shape-Werten verknüpft, die das ARKit Face-Tracking bietet.

Dieses Modell wird in eine mit Xcode für iMessage erstellte App integriert. In der App wird mit SceneKit eine 3D Szene erstellt, in der das 3D-Modell angezeigt wird.

Außerdem muss eine ARKit Face Tracking Session erstellt werden, die das Gesicht des Users erfasst.

Im Anschluss werden die Blend Shape-Werte, die das ARKit Face-Tracking bereitstellt, über einen Morpher (dieser ist für die Transition zwischen zwei oder mehreren Geometrien zuständig) mit den Blend Shapes des 3D-Modells verknüpft.

Auch Informationen zur Rotation des Kopfes müssen auf das 3D-Modell übertragen werden.  Diese Blend Shapes und Rotationen werden mit 60 Frames pro Sekunde aktualisiert. Dadurch kann das 3D-Modell die Rotationen und Gesichtszüge des Users wie ein Spiegel und ohne Ruckeln nachahmen.

 

Dir gefällt diese Idee? – Gerne beraten wir dich individuell zu deinem eigenen Vorhaben (hallo@sevend.de).

About the author