Suivi tridimensionel de la main

Hand’s Posture And Gesture

F. Le Jeune, R. Deriche, R. Keriven, P. Fua
lejeune@cermics.enpc.fr Rachid.Deriche@sophia.inria.fr keriven@cermics.enpc.fr pascal.fua@epfl.ch

Résumé

La position et la configuration d’une main en mouvement ne sont pas faciles à retrouver pour un ordinateur équipé de caméras. Cela est en partie dû au nombre élevé de degrés de liberté de cet objet ainsi que de sa forme complexe. Nous avons basé notre méthode de suivi sur des nuages de points en trois dimensions obtenus par stéréovision afin de conserver l’information de profondeur. L’aspect complexe et organique de la main a été modélisé par un squelette articulé habillé de metaballs. Quant à la difficulté liée au grand nombre de degrés de liberté, nous nous sommes efforcés de la réduire en rajoutant des contraintes articulatoires. La recherche de la position correcte à partir de la position précédente estimée repose sur la minimisation d’une énergie basée sur la distance entre le modèle de la main et le nuage de points en trois dimensions.

Abstract

The hand with its pose and gesture is not easy to track with cameras. It is mostly because of a high number of degrees of freedom and a complex shape. Our algorithm is based on three dimensional clouds of points issued from stereovision in order to keep the depth information. The complex and organic aspect of the hand is modeled by an articulated skeleton on which metaballs are attached. We reduce the difficulty of the problem by adding joint constraints to the model. The core of our program is an energy-based minimization which fits the model at each frame using the distance between the model and the clouds of points, the result at the previous frame is chosen as an initial guess.

Texte complet : PDF, 4020 ko.

Actes électroniques de l'atelier Acquisition du geste humain par vision artificielle et applications, Toulouse, 27 janvier 2004, http://www-eph.int-evry.fr/~horain/AtelierGeste.