Markerless Vision-Based Hand-Tracking for Interaction

Abstract

Details

Beschreibung

Die menschliche Hand als direktes Interaktionswerkzeug in virtuellen Umgebungen zu verwenden ist bereits seit Anbeginn dieses Forschungsbereichs von besonderem Interesse. Dies lässt sich durch eine der Hauptanforderungen von Virtuellen/Erweiterten Realitäten (VR/AR) erklären: Die Benutzerinteraktion soll möglichst alltägliche und damit sehr vertraute Handlungen widerspiegeln. Darüber hinaus sollen dem Benutzer Erfahrungen und Erlebnisse ermöglicht werden, die im normalen Leben unmöglich sind (z.B. Fliegen). Das tägliche Zusammenspiel mit unserer Umgebung beinhaltet nahezu unabdingbar die Verwendung unserer Hand als „Interaktionswerkzeug“, weshalb diese auch als virtuelles Gegenstück verfügbar sein sollte. Um VR/AR-Anwendungen durch bloße Handbewegungen steuern zu können, muss die Hand des Benutzers verfolgt werden; ein so genanntes Hand-Tracking muss durchgeführt werden. In diesem Kontext sind so genannte markerlose Verfahren besonders wünschenswert, damit die Interaktion unmittelbar beginnen kann und keine ungewohnten Faktoren hinzukommen (um beispielsweise Objekte greifen zu können muss wie im reellen Leben kein Zusatzinstrument getragen werden, wie z.B. ein Datenhandschuh).

Das ultimative Ziel wäre ein Hand-Tracking das die Verfolgung aller 27 Freiheitsgrade (degrees of freedom, DOF) einer Hand (globale Lage und Gelenkwinkel) erlaubt und damit alle denkbaren Interaktionsformen ermöglicht. Leider sind solche bisherigen Methoden noch nicht praxistauglich, da wichtige Anforderungen wie Echtzeitbefähigung oder automatische Initialisierung nicht erfüllt werden können. Daher beschränken sich viele andere Verfahren auf die Verfolgung einer Teilmenge von Freiheitsgraden der Hand; lediglich dieglobale Lage und mehrere starre Gesten werden erkannt. Auch wenn dadurch die zuvor erwähnten Probleme gelöst werden konnten, war es bislang nicht möglich die komplette räumliche Lage der Hand (Position und Orientierung) ohne Einschränkungen zu erfassen. Unser kürzlich entwickeltes Verfahren schaffte es erstmalig, alle sechs Freiheitsgrade der Lage der Hand in vier verschiedenen Gesten zu erfassen, ohne dabei solchen Einschränkungen zu unterliegen. Unser Verfahren arbeitet in Echtzeit (mindestens 25 Bilder pro Sekunde) mithilfe von drei oder mehr handelsüblichen Videokameras. Weiterhin schafft eine vollautomatische Initialisierung kombiniert mit einer stabilen Verlustdetektion (z.B. wenn sich die Hand nicht mehr im Sichtbereich befindet) alle Voraussetzungen für die Einsetzbarkeit in kommerziellen Anwendungen.

Interaktionsschnittstellen & Anwendungen

Wir haben mehrere Interaktionsschnittstellen für unser Hand-Tracking-System entwickelt. Darüber hinaus haben wir unser System an mehrere kommerzielle Anwendungen angebunden. Einige davon sind im folgenden aufgeführt:

  • Eigenimplementierte Schnittstellen/Anwendungen
  • Kommerzielle Anwendungen
    • Zugspitze 3D, 3D Reality Maps undefined[Video]
    • RTT DeltaGen, Real-Time Technology AG undefined[Video]
    • 3D Spiele

Exposé (Deutsch)

Exposee.pdf

626 K

Berichterstattung in den Medien

Auszeichnungen

  • Gewinner des RTT Emerging Technology Contest, 8th RTT Conference, May 10-11 in Berlin, 2007.
    undefined[Beschreibung]
  • Laval Virtual Award für "Bare-Handed 3D Interaction", bestes Projekt in der Kategorie "Interfaces and Materials", 11th Laval Virtual Conference, April 22-26 in Laval, Frankreich, 2009.
    undefined[Beschreibung]  undefined[Video] extern[Link]
  • Outstanding Paper Award für "Real-Time Bare-Hands-Tracking for 3D Games" auf der IADIS International Conference Game and Entertainment Technologies, June 17-19 in Algarve, Portugal, 2009.
    extern[Link]

Publikationen

 
Katharina Stollenwerk, Anna Vögele, Ralf Sarlette, Björn Krüger, André Hinkenjann und Reinhard Klein
In proceedings of 13. Workshop Virtuelle Realität und Augmented Reality der GI-Fachgruppe VR/AR, Bielefeld, Germany, Sept. 2016
 
Markus Schlattmann, Tan Zheng, Johannes Broekelschen und Reinhard Klein
In: IADIS International Journal on WWW/Internet (Dez. 2010), 8:2(1-16)
 
In: Journal of Virtual Reality and Broadcasting (Okt. 2010), 7:8
 
In proceedings of SIGGRAPH ASIA '09: ACM SIGGRAPH ASIA 2009 Sketches, Yokohama, Japan, pages 1, ACM, Dez. 2009
 
Markus Schlattmann, Johannes Broekelschen und Reinhard Klein
In proceedings of IADIS International Conference Game and Entertainment Technologies (GET '09), pages 59-66, IADIS Press, Juni 2009
 
In proceedings of Virtual Reality International Conference (VRIC), Apr. 2009
 
Markus Schlattmann, Tanin Na Nakorn und Reinhard Klein
In proceedings of International Conference on Computer Graphics, Visualization and Computer Vision (WSCG '09), Feb. 2009
 
In proceedings of ACM Symposium on Virtual Reality Software and Technology (VRST '07), Nov. 2007
 
D. Cohen-Or und P. Slavík (Editoren)
In: Computer Graphics Forum (Sept. 2007), 26:3(467-476)