Sonifikation

Abstract

Details

Echtzeitsonifikation von Bewegungsdaten

Direktes Audio-Feedback während alltäglicher Bewegungen sowie während Sportübungen eröffnet ein faszininierendes Gebiet der Sonifikation sowohl zu Trainingszwecken als auch im Bereich der Rehabilitation. Ein wichtiges Ziel in diesem Kontext ist die Verbesserung der ästhetischen Qualität der Echtzeit-Sonifikation. Neben Audio-Beispielen, die als gzipped tar-Archiv heruntergeladen werden können, steht auf dieser Seite auch eine Bibliothek basierend auf PD zum Download bereit.

MotionLab Sonify

Zusätzlich zum IV'05 Paper (hier downloadbar) wurden drei Videos gerendert um die Fähigkeiten des MotionLab Sonify-Systems zu demonstrieren. Aufgrund ihrer Komplexität stehen alle Videos einmal mit und einmal ohne zusätzlichen Kommentar zur Verfügung. Bevor Sie sich die reine Sonifikation ansehen bzw. anhören, empfiehlt sich daher die kommentierte Version. (Alle Videos benutzen den 3ivx Codec. Eventuell müssen Sie diesen installieren bevor Sie die Videos ansehen können. Die Windows-Version des Codecs kann hier gefunden werden)

 

2-Segment-Beispiel-Video

Abschnitt 3 des Papers enthält zwar eine umfassende Einführung in das System, da die Beschreibung aber sehr abstrakt ist, empfiehlt sich das Anschauen/Anhören der folgenden Videos. Die Videos sollen eine einfache Einführung in die Sonifikation im Allgemeinen sowie das System im Speziellen sein und sollen vor allem Neulingen im Gebiet der Sonifikation helfen sich an die produzierten Klänge zu gewöhnen.

  • video_2seg_c.zip (mit Audio-Kommentar)
  • video_2seg_ct.zip (mit Text-Kommentar)
  • video_2seg.zip (ohne Kommentar)


Sonifikation eines gleichmäßigen Gehens

Dieses Video basiert auf einer Motion Capture-Aufnahme der Carnegie Mellon Library und zeigt einen gehenden Menschen.

Da die Geschwindigkeit eines Objekts recht gut beobachtet werden kann, wird zunächst einmal die Geschwindigkeit des linken Fußes sonifiziert. Kurze Zeit später wird zusätzlich die Geschwindigkeit des rechten Fußes sonifiziert. Nach dieser elementaren Einführung in die Bewegungssonifikation wird die akustische Darstellung des rechten Fußes wieder ausgeschaltet. Außerdem wird fortan statt der Geschwindigkeit die Kraft des linken Fußes sonifiziert. Vor allem das Abstoßen vom Boden sowie das Auftreten auf diesen lassen sich dabei sehr gut ausmachen.

Nach wenigen Wiederholungen der Kraftverklanglichung wird dann zu einem Klavier-Sound gewechselt um den Effekt einer unzureichenden Anzahl von Tonstufen zu demonstrieren. Die Sonifikation ist nun wesentlich hervorstechender und damit störender als zuvor. Zusätzlich wird die Kraft des anderen Fußes sonifiziert. Nach wenigen weiteren Wiederholungen wird zurück zum Synthesizer-Sound gewechselt.

(Wegen der kurzen Dauer der Motion Capture-Aufnahme wurde ein Zyklus im MotionLab geloopt, weshalb geringe visuelle Artefakte auftreten. Diese haben jedoch keinen Einfluss auf die Sonifikation)

  • video_walk_c.zip (mit Audio-Kommentar)
  • video_walk_ct.zip (mit Text-Kommentar)
  • video_walk.zip (ohne Kommentar)

Sonifikation eines Radschlags

Dieses Video basiert auf einer Motion Capture-Aufnahme der Carnegie Mellon Library und zeigt einen Menschen, der zwei Radschläge ausführt.

Zunächst wird die Bewegung ohne Klänge gezeigt; versuchen Sie hierbei einmal Unterschiede in beiden Rädern auszumachen! Nach ein paar Wiederholungen beginnt die Sonifikation der Geschwindigkeit des linken Fußes. Was vor der Verklanglichung noch schwer erkennbar war wird nun deutlich: Die höhere Tonlage beim zweiten Radschlag offenbart, dass dieser etwas schneller ausgeführt wurde als der erste. Dieses Beispiel veranschaulicht die feinere Auflösung des Hörsinns im Vergleich zum Sehsinn und zeigt außerdem, dass Sonifikation einer Bewegung nicht nur zusätzliche Informationen hinzufügt, sondern dass diese Informationen auch von höherem Wert für unser Gehirn sein können.

Nach diesem Beispiel wird der Sound wieder ausgeschaltet. Dann wird die Kraft des rechten Fußes sonifiziert. Insbesondere der zweite Radschlag verdeutlicht hierbei sehr schön die Abstoß- und Lande-Kräfte des Fußes. Nach wenigen Wiederholungen wird zusätzlich die Sonifikation des anderes Fußes dazugeschaltet. Hierbei ist der letzte Schritt nach dem zweiten Radschlag das akustisch markanteste Merkmal.

Dies zeigt, dass, obwohl die inverse Dynamik mit allen Bewegungen gut funktioniert, die Carnegie Mellon-Dateien noch viel Rauschen enthalten und dass MoCap-Daten eine hohe Qualität aufweisen müssen wenn eine komplexe Sonifikation gewünscht ist.

Publikationen

 
J. Wiemeyer und A Seyfarth (Editoren)
U. Fehse, A. Effenberg, Gerd Schmitz und Björn Krüger
In proceedings of Human Movement and Technology. 11th joint dvs- Conference on Motor Control & Learning, Biomechanics & Training, Darmstadt (Germany), pages 157-159, Sept. 2016
 
Susanna Mezzarobba, Michele Grassi, Mauro Catalan, Lorella Pellegrini, Roberto Valentini, Björn Krüger und Paolo Bernardis
In proceedings of 20th International congress of Parkinson's Disease and Movement Disorders, Berlin, Germany, Juni 2016
 
Alfred O. Effenberg, U. Fehse, Gerd Schmitz, Björn Krüger und H. Mechling
In: Frontiers in Neuroscience (Mai 2016), 10:219
 
In proceedings of 2014 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, Copenhagen, Denmark, Juli 2014
 
Dissertation, Universität Bonn, Apr. 2012
 
Heike Brock, Gerd Schmitz, Jan Baumann und Alfred O. Effenberg
In proceedings of 9th Conference of the International Sports Engineering Association (ISEA), Elsevier, Jan. 2012
 
Björn Krüger, Jan Baumann, Mohammad Abdallah und Andreas Weber
In proceedings of Workshop on Virtual Reality Interaction and Physical Simulation (VRIPHYS), Lyon, France, Eurographics Association, Dez. 2011
 
In proceedings of Workshop on Virtual Reality Interaction and Physical Simulation (VRIPHYS), Lyon, France, Eurographics Association, Dez. 2011
 
In proceedings of SCA'11: Poster Proc. ACM SIGGRAPH/Eurographics Symposium on Computer Animation, Vancouver, Canada, Aug. 2011
 
Jochen Tautges, Arno Zinke, Björn Krüger, Jan Baumann, Andreas Weber, Thomas Helten, Meinard Müller, Hans-Peter Seidel und Bernd Eberhardt
In: ACM Trans. Graph. (Mai 2011), 30:3(18:1-18:12)
 
In proceedings of 2010 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, Madrid, Spain, pages 1-10, Eurographics Association, Juli 2010
 
 
Alfred O. Effenberg, Andreas Weber, K. Mattes, U. Fehse und H. Mechling
In: Supplement to Journal of Sport & Exercise Psychology (2007), 29:66
 
 
Christoph Henkelmann, Arno Zinke und Andreas Weber
In: Workshop VR/AR 2007 (2007)
 
Christoph Henkelmann
Universität Bonn, Technical Report number CG-2007-4, Okt. 2007
 
A. Effenberg, J. Melzer, Andreas Weber und Arno Zinke
In proceedings of The 9th International Conference on Information Visualisation (IV'05), pages 17-23, IEEE Press, Juli 2005
 
Christoph Brzozowski, S. Klemme, J. Melzer und H. Nguyen
Universität Bonn, Technical Report number CG-2004-1, Juni 2004