HOME

Experimental XD: Full Body Interaction

In mehreren intrinsisch motivierten Projekten habe ich Interaktionen mit Musik durch Body-Tracking untersucht. Kulminiert sind diese Erfahrungen in der iOS-App Affine Tuning. Es ist eine Sammlung von experimentellen interaktiven Musikstücken, die auf die Körperbewegungen des Spielers reagiert. Vorkenntnisse in Musik oder Tanz sind dazu nicht nötig.

Aufgaben: Konzept, Forschung, Entwicklung, UI, Komposition, Sounddesign
Auf ein Bild tippen, um es zu vergrößern.

Klang in Bewegung

Am Anfang stand die Idee: (wie) kann eine einfach, aber variantenreiche digitale Interaktion von Körper und Musik gestaltet werden? Das Ziel war, Spieler durch musikalisches Feedback zu Bewegung zu motivieren und sie verschiedene mögliche Interpretationen der Musikstücke erkunden zu lassen. Es sollte explizit kein Computerspiel oder Instrument sein, wo das Befolgen von trainierten Regelwerken und Techniken belohnt wird. Die "Belohnung" sollte stattdessen in der vergänglichen Erfahrung selbst liegen.

Interaktive Musik

Die dynamische Musik in Affine Tuning basiert auf "Blaupausen": Kompositionen, die ein Thema und eine zeitliche Struktur vorgeben, aber hohe Bandbreite in der Interpretation zulassen. Diese Grundinformationen werden durch verschiedenen Mechaniken anhand der Bewegungen interpretiert, und daraufhin diverse Software-Instrumente gespielt oder Effekte moduliert. So erzeugt eine langsame Handbewegung auf Hüfthöhe eine verhaltene Melodie mit wenigen Noten, ein schnelles Wischen über dem Kopf dagegen einen hellen "Notenregen". Oder es wird ein Verzerrungs-Effekt an die Rotationsgeschwindigkeit des Spielers gekoppelt. Diese Interaktionsmöglichkeiten bereichern als Gestaltungsmittel die Ausdrucksmöglichkeiten des Komponisten, und werden von Song zu Song unterschiedlich eingesetzt.

Feedback: Audio pur

Sobald die Spieler einen Song ausgewählt und ihr Gerät positioniert haben, verschwindet die visuelle Ebene, denn der Screen des Geräts weist aus technischer Notwendigkeit zur Wand. Bis zum Ende der "Session" funktioniert das Feedback der App nun allein über Klang; von den stimmlichen Instruktionen und Hinweistönen, die zur Startposition leiten, bis zur ad-hoc-Interpretation der dynamischen Kompositionen.

Visuelles Design

Das gesamte Design der App, vom Icon bis zur Songauswahl, ist hell und klar gehalten. Nicht (nur) aus ästhetischen Gründen, sondern im Wissen darum, dass die Nutzer sich auf eine neue Erfahrung einlassen, die im Mittelpunkt stehen sollte. Affordances werden nur angezeigt, wenn sie im User-Flow sinnvoll sind.

Affine Tuning ist kostenlos
im App Store erhältlich.



HOME