Contribution à la communication gestuelle dans les environnements virtuels collaboratifs

José Marques Soares


Thèse de doctorat de l'INT n°2004INT0002 soutenue le 9 juillet 2004.
Manuscrit disponible en ligne (format PDF: 1,8 Mo).

Résumé :

Le geste est l'un des moyens de la communication humaine. Il peut être associé à d'autres canaux de communication, comme la parole, voire être utilisé comme expression privilégiée, par exemple, dans la langue de signes. Les gestes, de manipulation ou de communication, peuvent aussi apporter une très grande valeur ajoutée dans le travail collaboratif autour d'applications à distance. La vidéo est la technologie la plus répandue pour supporter cette communication, mais au prix d'une charge réseau importante et d'une interface complexe, difficilement intégrable dans l'espace commun.

Alternativement, les environnements virtuels synthétiques permettent cette intégration de façon cohérente de l'objet de partage ainsi que des collaborateurs physiquement éloignés. Dans ces environnements, la communication gestuelle peut être établie à distance et à bas débit par animation des humanoïdes virtuels.

Notre contribution repose sur l'intégration de la communication gestuelle dans le travail collaboratif à distance. Nous proposons un environnement de partage d'applications 2D dans un monde virtuel habité dans lequel cette communication est réalisée par des avatars, soit par simulation des interactions d'un participant sur l'application partagée, soit par une bibliothèque de gestes communicatifs prédéfinis, dissociés des interactions sur l'application partagée.

Nous avons aussi développé un système d'acquisition 3D des gestes en temps réel par vision monoscopique et sans marqueurs. Ce système a été intégré à l'environnement de partage, en permettant la restitution à distance des gestes pendant l'acquisition.

Un prototype de l'environnement virtuel collaboratif et du système d'acquisition des gestes a été réalisé au moyen d'ordinateurs personnels de type grand public.

Abstract :

Gesture is an important means of human communication. It can be associated with other means such as voice or it can be the main channel as in sign language. When coworkers share a remote application, gestures can improve reciprocal awareness. Video is one of the technological resources available for gestural communication in collaborative environments, but it requires high bandwidth and complex interfaces (for example, with one window per user) that may be poorly integrated in the collaborative environment.

Alternatively, synthetic virtual environments allow the integration of distant collaborators and other objects. In these environments, remote gestural communication can be achieved at low bandwidth using virtual humans (avatars).

Our contribution is based on the concept of a virtual inhabited world for remote sharing of 2D applications that integrates gestural communication. In this environment, avatars simulate user interactions on the application interface. Furthermore, they support predefined communicative gestures, independently from user actions on the application.

Moreover, we have developed a prototype system for real time gesture acquisition using a single camera and without markers. This system has been integrated into our virtual inhabited world and it allows gestural communication with avatar remote animation using the acquired gesture.

The collaborative virtual environment and the gesture acquisition system have been implemented with low cost personal computers.


Présentation en ligne / On-line presentation :

Autres publications / Other publications :

P. Horain, J. Marques Soares, P. Rai, A. Bideau, Virtually enhancing the perception of user actions, Proceedings of the 15th International Conference on Artificial Reality and Telexistence (ICAT 2005), December 5th-8th, 2005, University of Canterbury, Christchurch, New Zealand, p. 245-246.

J. Marques Soares, P. Horain, A. Bideau, "Communication gestuelle et télévirtualité: Interaction autour d'une application partagée et acquisition des gestes par vision artificielle en temps réel », Actes du colloque Compression et REprésentation des Signaux Audiovisuels (CORESA 2004), Lille, 25 et 26 mai 2004, pp. 187-190.

J. Marques Soares, P. Horain, A. Bideau, Manh Hung Nguyen, "Acquisition 3D du geste par vision monoscopique en temps réel et téléprésence", Actes de l'atelier "Acquisition du geste humain par vision artificielle et applications", Toulouse, 27 janvier 2004, pp. 23-27.

J. Marques Soares, P. Horain, A. Bideau, "Sharing and immersing applications in a 3D virtual inhabited world", Laval Virtual 5th virtual reality international conference (VRIC 2003), Laval, France, 13-18 May 2003, pp. 27-31.

J. Marques Soares, P. Horain, A. Bideau, "Sharing and immersing applications in a 3D virtual inhabited world", The 5th International Workshop on Gesture and Sign Language based Human-Computer Interaction (Gesture Workshop 2003), Genova, Italy, 15th-17th April 2003 (2 pages).

J. Marques Soares, P. Horain, A. Bideau, « Partage d'applications et immersion dans un monde 3D virtuel habité », actes sur CDROM de la Conférence Internationale Sciences Electroniques, Technologies de l'Information et des Télécommunications (SETIT 2003), Sousse, Tunisie, 17-21 mars 2003.

Rapport de recheche / Research report :



J. Marques Soares, P. Horain, A. Bideau, M. H. Nguyen, 3D gesture acquisition real time using a single camera and televirtuality, Collection des rapports de recherche de l'INT, ISSN 0183-0570, RR n° 04008-EPH, BN 39209774, 2004.

Contacts :

José Marques Soares :

UFC / DETI / LESC, Campus do Pici, Caixa Postal 6007, CEP 60.755-640, Fortaleza-Ceará, Brasil.
marques@lesc.ufc.br.

Patrick Horain, André Bideau :

GET / INT / EPH, 9 rue Charles Fourier, 91011 Evry Cedex, France.
patrick.horain@IT-SudParis.eu, andre.bideau@IT-SudParis.eu.


Adresse de cette page: http://www-eph.IT-SudParis.eu/~horain/MarquesSoares
Page modifiée le 03/11/04 par P. Horain.