Sonifikation

Abstract

Details

• Homepage:
• Beteiligte Mitarbeiter:
  • Prof. Dr. Andreas Weber
  • Dr. Hassan Errami
  • Dr. Arno Zinke
  • M.Sc. Dominik Novotni
  • Dr. Björn Krüger

Echtzeitsonifikation von Bewegungsdaten

Direktes Audio-Feedback während alltäglicher Bewegungen sowie während Sportübungen eröffnet ein faszininierendes Gebiet der Sonifikation sowohl zu Trainingszwecken als auch im Bereich der Rehabilitation. Ein wichtiges Ziel in diesem Kontext ist die Verbesserung der ästhetischen Qualität der Echtzeit-Sonifikation. Neben Audio-Beispielen, die als gzipped tar-Archiv heruntergeladen werden können, steht auf dieser Seite auch eine Bibliothek basierend auf PD zum Download bereit.

MotionLab Sonify

Zusätzlich zum IV'05 Paper (hier downloadbar) wurden drei Videos gerendert um die Fähigkeiten des MotionLab Sonify-Systems zu demonstrieren. Aufgrund ihrer Komplexität stehen alle Videos einmal mit und einmal ohne zusätzlichen Kommentar zur Verfügung. Bevor Sie sich die reine Sonifikation ansehen bzw. anhören, empfiehlt sich daher die kommentierte Version. (Alle Videos benutzen den 3ivx Codec. Eventuell müssen Sie diesen installieren bevor Sie die Videos ansehen können. Die Windows-Version des Codecs kann hier gefunden werden)

2-Segment-Beispiel-Video

Abschnitt 3 des Papers enthält zwar eine umfassende Einführung in das System, da die Beschreibung aber sehr abstrakt ist, empfiehlt sich das Anschauen/Anhören der folgenden Videos. Die Videos sollen eine einfache Einführung in die Sonifikation im Allgemeinen sowie das System im Speziellen sein und sollen vor allem Neulingen im Gebiet der Sonifikation helfen sich an die produzierten Klänge zu gewöhnen.

• video_2seg_c.zip (mit Audio-Kommentar)
• video_2seg_ct.zip (mit Text-Kommentar)
• video_2seg.zip (ohne Kommentar)

Sonifikation eines gleichmäßigen Gehens

Dieses Video basiert auf einer Motion Capture-Aufnahme der Carnegie Mellon Library und zeigt einen gehenden Menschen.

Da die Geschwindigkeit eines Objekts recht gut beobachtet werden kann, wird zunächst einmal die Geschwindigkeit des linken Fußes sonifiziert. Kurze Zeit später wird zusätzlich die Geschwindigkeit des rechten Fußes sonifiziert. Nach dieser elementaren Einführung in die Bewegungssonifikation wird die akustische Darstellung des rechten Fußes wieder ausgeschaltet. Außerdem wird fortan statt der Geschwindigkeit die Kraft des linken Fußes sonifiziert. Vor allem das Abstoßen vom Boden sowie das Auftreten auf diesen lassen sich dabei sehr gut ausmachen.

Nach wenigen Wiederholungen der Kraftverklanglichung wird dann zu einem Klavier-Sound gewechselt um den Effekt einer unzureichenden Anzahl von Tonstufen zu demonstrieren. Die Sonifikation ist nun wesentlich hervorstechender und damit störender als zuvor. Zusätzlich wird die Kraft des anderen Fußes sonifiziert. Nach wenigen weiteren Wiederholungen wird zurück zum Synthesizer-Sound gewechselt.

(Wegen der kurzen Dauer der Motion Capture-Aufnahme wurde ein Zyklus im MotionLab geloopt, weshalb geringe visuelle Artefakte auftreten. Diese haben jedoch keinen Einfluss auf die Sonifikation)

• video_walk_c.zip (mit Audio-Kommentar)
• video_walk_ct.zip (mit Text-Kommentar)
• video_walk.zip (ohne Kommentar)

Sonifikation eines Radschlags

Dieses Video basiert auf einer Motion Capture-Aufnahme der Carnegie Mellon Library und zeigt einen Menschen, der zwei Radschläge ausführt.

Zunächst wird die Bewegung ohne Klänge gezeigt; versuchen Sie hierbei einmal Unterschiede in beiden Rädern auszumachen! Nach ein paar Wiederholungen beginnt die Sonifikation der Geschwindigkeit des linken Fußes. Was vor der Verklanglichung noch schwer erkennbar war wird nun deutlich: Die höhere Tonlage beim zweiten Radschlag offenbart, dass dieser etwas schneller ausgeführt wurde als der erste. Dieses Beispiel veranschaulicht die feinere Auflösung des Hörsinns im Vergleich zum Sehsinn und zeigt außerdem, dass Sonifikation einer Bewegung nicht nur zusätzliche Informationen hinzufügt, sondern dass diese Informationen auch von höherem Wert für unser Gehirn sein können.

Nach diesem Beispiel wird der Sound wieder ausgeschaltet. Dann wird die Kraft des rechten Fußes sonifiziert. Insbesondere der zweite Radschlag verdeutlicht hierbei sehr schön die Abstoß- und Lande-Kräfte des Fußes. Nach wenigen Wiederholungen wird zusätzlich die Sonifikation des anderes Fußes dazugeschaltet. Hierbei ist der letzte Schritt nach dem zweiten Radschlag das akustisch markanteste Merkmal.

Dies zeigt, dass, obwohl die inverse Dynamik mit allen Bewegungen gut funktioniert, die Carnegie Mellon-Dateien noch viel Rauschen enthalten und dass MoCap-Daten eine hohe Qualität aufweisen müssen wenn eine komplexe Sonifikation gewünscht ist.

Zusatzmaterial