Markerless Vision-Based Hand-Tracking for Interaction

Abstract

Details

• Beteiligte Mitarbeiter:
  • Dr. Markus Schlattmann
  • Dipl.-Inform. Ferenc Kahlesz
  • Prof. Dr. Reinhard Klein

Beschreibung

Die menschliche Hand als direktes Interaktionswerkzeug in virtuellen Umgebungen zu verwenden ist bereits seit Anbeginn dieses Forschungsbereichs von besonderem Interesse. Dies lässt sich durch eine der Hauptanforderungen von Virtuellen/Erweiterten Realitäten (VR/AR) erklären: Die Benutzerinteraktion soll möglichst alltägliche und damit sehr vertraute Handlungen widerspiegeln. Darüber hinaus sollen dem Benutzer Erfahrungen und Erlebnisse ermöglicht werden, die im normalen Leben unmöglich sind (z.B. Fliegen). Das tägliche Zusammenspiel mit unserer Umgebung beinhaltet nahezu unabdingbar die Verwendung unserer Hand als „Interaktionswerkzeug“, weshalb diese auch als virtuelles Gegenstück verfügbar sein sollte. Um VR/AR-Anwendungen durch bloße Handbewegungen steuern zu können, muss die Hand des Benutzers verfolgt werden; ein so genanntes Hand-Tracking muss durchgeführt werden. In diesem Kontext sind so genannte markerlose Verfahren besonders wünschenswert, damit die Interaktion unmittelbar beginnen kann und keine ungewohnten Faktoren hinzukommen (um beispielsweise Objekte greifen zu können muss wie im reellen Leben kein Zusatzinstrument getragen werden, wie z.B. ein Datenhandschuh).

Das ultimative Ziel wäre ein Hand-Tracking das die Verfolgung aller 27 Freiheitsgrade (degrees of freedom, DOF) einer Hand (globale Lage und Gelenkwinkel) erlaubt und damit alle denkbaren Interaktionsformen ermöglicht. Leider sind solche bisherigen Methoden noch nicht praxistauglich, da wichtige Anforderungen wie Echtzeitbefähigung oder automatische Initialisierung nicht erfüllt werden können. Daher beschränken sich viele andere Verfahren auf die Verfolgung einer Teilmenge von Freiheitsgraden der Hand; lediglich dieglobale Lage und mehrere starre Gesten werden erkannt. Auch wenn dadurch die zuvor erwähnten Probleme gelöst werden konnten, war es bislang nicht möglich die komplette räumliche Lage der Hand (Position und Orientierung) ohne Einschränkungen zu erfassen. Unser kürzlich entwickeltes Verfahren schaffte es erstmalig, alle sechs Freiheitsgrade der Lage der Hand in vier verschiedenen Gesten zu erfassen, ohne dabei solchen Einschränkungen zu unterliegen. Unser Verfahren arbeitet in Echtzeit (mindestens 25 Bilder pro Sekunde) mithilfe von drei oder mehr handelsüblichen Videokameras. Weiterhin schafft eine vollautomatische Initialisierung kombiniert mit einer stabilen Verlustdetektion (z.B. wenn sich die Hand nicht mehr im Sichtbereich befindet) alle Voraussetzungen für die Einsetzbarkeit in kommerziellen Anwendungen.

Interaktionsschnittstellen & Anwendungen

Wir haben mehrere Interaktionsschnittstellen für unser Hand-Tracking-System entwickelt. Darüber hinaus haben wir unser System an mehrere kommerzielle Anwendungen angebunden. Einige davon sind im folgenden aufgeführt:

• Eigenimplementierte Schnittstellen/Anwendungen
• Kontrollinterface [Video]
• Virtuelle Bausteine [Video]
• Mesh-Editierung [Video]
• 3D Manipulationsinterface
• Einhändige Interaktion [Video]
• Zweihändige Interaktion [Video]

• Kommerzielle Anwendungen
• Zugspitze 3D, 3D Reality Maps [Video]
• RTT DeltaGen, Real-Time Technology AG [Video]
• 3D Spiele
• Re-Volt, Acclaim Entertainment [Video]
• Yager, Yager Entertainment [Video]
• Quake II, ID Software [Video]

Exposé (Deutsch)

Exposee.pdf

626 K

Berichterstattung in den Medien

• Zeitung
  • forsch, April 2007, page 13, "Flugzeugsteuerung per Fingerzeig"
  • Handelsblatt, 14.02.2007, page 19, "Computer reagiert auf Handbewegung"
  • Spiegel,17.02.2007, page 136, "Fingerzeig für Rechner"
• Radio
  • Schneller Wink (Deutschlandfunk, 21.03.2007, 16:49)
  • Computersteuerung per Fingerzeig (Radio Bonn/Rhein Sieg, 25.07.2007, 08:40)
• Fernsehen
  • Lokalzeit aus Bonn (WDR, 10.08.2007, 19:30)
• Internet
  • Flugzeugsteuerung per Fingerzeig (Universität Bonn)
  • Sturzflüge auf die Bonner Uni geübt (Welt Online)
  • PC-Steuerung durch bloße Handbewegung (Pressetext Austria)
  • Flugzeugsteuerung per Fingerzeig (Informationsdienst Wissenschaft)
  • Steuerung per Fingerzeig (scienzz)
  • Fuchteln statt Klicken (sueddeutsche.de)
  • 3D-Steuerung per Fingerzeig (Media NRW)
  • Flugzeugsteuerung per Fingerzeig (Rhombos Verlag)
  • Flugzeugsteuerung per Fingerzeig (Kompetenznetze Deutschland)
  • Flugzeugsteuerung per Fingerzeig (Innovations Report)

Auszeichnungen

• Gewinner des RTT Emerging Technology Contest, 8th RTT Conference, May 10-11 in Berlin, 2007.
  [Beschreibung]
• Laval Virtual Award für "Bare-Handed 3D Interaction", bestes Projekt in der Kategorie "Interfaces and Materials", 11th Laval Virtual Conference, April 22-26 in Laval, Frankreich, 2009.
  [Beschreibung]  [Video] [Link]
• Outstanding Paper Award für "Real-Time Bare-Hands-Tracking for 3D Games" auf der IADIS International Conference Game and Entertainment Technologies, June 17-19 in Algarve, Portugal, 2009.
  [Link]