kinelyze

Motion Capture-Verfahren spielen eine zunehmend wichtige Rolle in der musikpsychologischen Forschung. Das wissenschaftliche Interesse gilt beispielsweise der Bedeutung von Körperbewegungen bei Musikern in Auftritts- und Ensemblesituationen oder der Korrelation von Persönlichkeitsmerkmalen und tänzerischem Bewegungsverhalten.

Weitere Anwendungsbereiche sind die Validierung bestehender bewegungsanalytischer Verfahren im Bereich der Tanztherapie oder die Bewegungsanalyse beim Instrumentalspiel im Rahmen medizinischer Prävention für Musiker.

Zwei grundsätzliche Probleme lassen sich bei den bislang verfügbaren Motion Capture-Systemen feststellen: Erstens sind sie sehr teuer in der Anschaffung und damit nur bei ausreichender finanzieller Ausstattung tatsächlich verfügbar. Zweitens weisen die Bedingungen, unter denen mit Motion Capture-Systemen gearbeitet werden kann, meist nur eine geringe ökologische Validität auf - beispielsweise müssen die Aufnahmen in einem speziellen Raum gemacht werden und die Versuchspersonen müssen spezielle Kleidung tragen oder zumindest mit Reflektoren ausgestattet werden.

Daher verwenden wir für unseren Ansatz kleine, kostengünstige, mobile Tiefenkamerasysteme, wie sie 2010 erstmals in Form des Kamera-  und Sensorensystem 'Kinect' von Microsoft auf den Markt gebracht wurden, ursprünglich gedacht als Zusatz für die Xbox-Spielekonsole . Die Kinect besteht aus einer kleinen, preiswerten Box, die in der Lage ist, ohne spezielle Kleidung oder Marker und ohne aufwändige Installation die ganzkörperlichen Bewegungen von bis zu sechs Personen im Kamerabereich dreidimensional zu erfassen. 

Damit wurde die Kinect nicht nur für die Steuerung von Computerspielen interessant, sondern sie eröffnete auch für die Wissenschaft erstmals die Chance auf ein Motion Capture-System, das nicht nur bezahlbar ist, sondern auch in der realen Situation - z.B. in einem Konzert, bei einer Tanzperformance oder auch im Klassenzimmer - unauffällig zum Einsatz kommen und ökologisch valide sowie reliable, objektive Daten liefern kann. 

Da die Kinect als Eingabegerät für Computerspiele gedacht ist, beinhaltet sie allerdings keinerlei hinreichende Software für wissenschaftliche Anwendungen. Diese Lücke in den kommenden Jahren zu füllen ist das Ziel unsers Projekts kinelyze, welches auf der Jahrestagung der Deutschen Gesellschaft für Musikpsychologie 2014 erstmals vorgestellt wurde.

Die erste Version von kinelyze verwendete ausschließlich die Kamerasysteme Kinect v1 und Kinect v2 von Microsoft. Damit waren Realbild- und Tiefenbildaufnahmen mit bis zu 30 Bildern pro Sekunde für bis zu sechs Personen im Erfassungsbereich der Kamera möglich. 

Die von der Kinect gelieferten Tiefeninformationen werden von kinelyze 1.0 in ein drei drehbares und skalierbares Skelettmodell umgewandelt.  Mehrere Aufnahmen können  dabei unmittelbar miteinander verglichen und z.B. in der Größe des Skelettmodells angeglichen werden.  

Die numerische Auswertung stellt für jedes Einzelbild drei Werte für jeden zwischen zwei Tracking Points liegenden Knochen zur Verfügung – jeweils einen Wert auf der horizontalen, der vertikalen und der sagittalen Raumachse. Die Genauigkeit dieser Werte lässt sich aktuell noch nicht definitiv bestimmen – hierzu ist weitere Forschung notwendig. Ein Export einzelner oder aller Werte der numerischen Auswertung in das gängige .csv-Format, das eine Weiternutzung beispielsweise in Statistik-Programmen ermöglicht, ist grundsätzlich möglich.

Seit dem 1. Oktober 2025 führt die Systematische Musikwissenschaft an der Universität Osnabrück ein von der Volkswagenstiftung geförderten Forschungsprojekt ‘Neue Wege der Dirigierpädagogik und -forschung durch innovative Motion-Capture-Technologie mit dem Osnabrücker kinelyze-System’  durch. 

Im Rahmen des dreijährigen Projekts wird kinelyze von Grund auf neu entwickelt. Dies ist notwendig, weil sich sich seit dem Erscheinen von kinelyze 1.0 die technologischen Rahmenbedingungen erheblich verändert und weiterentwickelt haben: Microsoft hat sich aus dem Segment der Sensorkameras komplett zurückgezogen, neue Versionen des Windows-Betriebssystems sind mit dem alten kinelyze nicht mehr kompatibel. 

kinelyze 2.0 wird dabei nicht moderne Orbbec Kameramodelle unterstützen und dabei von den Fortschritten neuer Generationen der Sensortechnologie profitieren, sondern auch innovative neue Features beinhalten, z.B. die Möglichkeit zur experimentellen Manipulation des erfassten Bewegungsverhaltens einzelner Körperpartien und die Analyse und Klassifikation des Bewegungsverhaltens nach den Bewegungskategorien von Rudolf Laban.     

Ziel des Projekts ist es, mit kinelyze 2.0 ein innovatives, leicht zu nutzendes Werkzeug und passende, evaluierte Konzepte für einen modernen Dirigierunterricht an Hochschulen bereitzustellen.  

Mitarbeiter im Forschungsprojekt: 

 Malte Julitz

 Tobias Kretschel