In mehreren intrinsisch motivierten Projekten habe ich Interaktionen mit Musik durch Body-Tracking
untersucht. Kulminiert sind diese Erfahrungen in der iOS-App Affine Tuning. Es ist eine Sammlung von
experimentellen interaktiven Musikstücken, die auf die Körperbewegungen des Spielers reagiert.
Vorkenntnisse in Musik oder Tanz sind dazu nicht nötig.
Am Anfang stand die Idee: (wie) kann eine einfach, aber variantenreiche digitale Interaktion von
Körper und Musik gestaltet werden? Das Ziel war, Spieler durch musikalisches Feedback zu Bewegung zu
motivieren und sie verschiedene mögliche Interpretationen der Musikstücke erkunden zu lassen. Es
sollte explizit kein Computerspiel oder Instrument sein, wo das Befolgen von trainierten Regelwerken
und Techniken belohnt wird. Die "Belohnung" sollte stattdessen in der vergänglichen Erfahrung selbst
liegen.
Interaktive Musik
Die dynamische Musik in Affine Tuning basiert auf "Blaupausen": Kompositionen, die ein Thema und
eine zeitliche Struktur vorgeben, aber hohe Bandbreite in der Interpretation zulassen. Diese
Grundinformationen werden durch verschiedenen Mechaniken anhand der Bewegungen interpretiert, und
daraufhin diverse Software-Instrumente gespielt oder Effekte moduliert. So erzeugt eine langsame
Handbewegung auf Hüfthöhe eine verhaltene Melodie mit wenigen Noten, ein schnelles Wischen über dem
Kopf dagegen einen hellen "Notenregen". Oder es wird ein Verzerrungs-Effekt an die
Rotationsgeschwindigkeit des Spielers gekoppelt. Diese Interaktionsmöglichkeiten bereichern als
Gestaltungsmittel die Ausdrucksmöglichkeiten des Komponisten, und werden von Song zu Song
unterschiedlich eingesetzt.
Feedback: Audio pur
Sobald die Spieler einen Song ausgewählt und ihr Gerät positioniert haben, verschwindet die
visuelle Ebene, denn der Screen des Geräts weist aus technischer Notwendigkeit zur Wand. Bis zum
Ende der "Session" funktioniert das Feedback der App nun allein über Klang; von den stimmlichen
Instruktionen und Hinweistönen, die zur Startposition leiten, bis zur ad-hoc-Interpretation der
dynamischen Kompositionen.
Visuelles Design
Das gesamte Design der App, vom Icon bis zur Songauswahl, ist hell und klar gehalten. Nicht
(nur) aus ästhetischen Gründen, sondern im Wissen darum, dass die Nutzer sich auf eine neue
Erfahrung einlassen, die im Mittelpunkt stehen sollte. Affordances werden nur angezeigt, wenn
sie im User-Flow sinnvoll sind.
Affine Tuning ist kostenlos im App Store erhältlich.