3D HAND MODELLING and GESTURE TRACKING

Version française

Objective

Tracking 3D hand gestures with only one video camera and no marker on the hand.

Our approach

Gesture tracking by registration of a 3D articulated model with anthropometrical and biomechanical constraints.

The model is initially adjusted to the operator's morphology on an image of the hand opened and perpendicular to the camera axis.

Then it is registred with the image sequence. Its parameters (global position and orientation + joint angles) are evaluated by minimizing the difference between the silhoutette in the image and the silhouette of the projected 3D model. Biomechanical constraints are integrated in the optimisation process.

Example results

Hand translations :	MPEG (272 kB).
Abductions & aductions :	MPEG (519 kB).
Flexions & extensions :	MPEG (232 kB), MPEG (262 kB), MPEG (295 kB).

Target applications

• Object oriented coding of hand movements in image sequences conforming to the MPEG-4 / SNHC / FBA specifications for hand animation,
• humanoid animation for remote virtual presence and avatars,
• gesture-based human-computer interaction and command,
• sign language recognition.

---

Publications

• H. Ouhaddi, P. Horain, "Vers la modélisation du geste par la vision", Traitement du signal, volume 16 numéro 1 spécial Réalité virtuelle, pp. 15-29, 1999.

 
• H. Ouhaddi, P. Horain, "3D Hand Gesture Tracking by Model Registration", Proceedings of Int. Workshop on Synthetic - Natural Hybrid Coding and Three Dimensional Imaging (IWSNHC3DI'99), September 15-17 1999, Santorini, Greece.
• H. Ouhaddi, P. Horain, "Modélisation 3D du geste par la vision", Actes des Journées d'études et d'échanges "Compression et REprésentation des Signaux Audiovisuels" (CORESA'99), Sophia Antipolis, France, 14-15 juin 1999, pp. 277-283.
• H. Ouhaddi, P. Horain, "Hand tracking by 3D model registration", Actes du Colloque Scientifique International Réalité virtuelle et prototypage, 3-4 juin 1999, Laval, France, éditeur G. Subsol, pp. 51-59.
• P. Horain, "3D modeling for multimedia applications", Proceedings of Korea-France Workshop on Multimedia, Seoul, Korea (Invited conference), July 1998, pp. 35-38.
• H. Ouhaddi, P. Horain, K. Mikolajczyk, "Modélisation et suivi de la main", Actes des 4^èmes journées d'études et d'échanges "Compression et REprésentation des Signaux Audiovisuels" (CORESA'98), Lannion, France, juin 1998, pp. 109-114.
• H. Ouhaddi, P. Horain, "Conception et ajustement d'un modèle 3D articulé de la main", Actes des 6^èmes journées du Groupe de Travail Réalité Virtuelle, Issy-les-Moulineaux, France, mars 1998, pp. 83-90.
• F. Prêteux, P. Horain, H. Ouhaddi, M. Preda, "Report on Core Experiment 3 on Hand BAPs interpretation", ISO/IEC JTC1/SC29/WG11, MPEG97/M3332, Tokyo, Japan, March 1998.