Journée de travail : Vision pour la réalité virtuelle


L'Opération Thématique 5.4 Vision pour la réalité virtuelle du GdR ISIS a organisé conjointement avec le Groupe de Travail Réalité Virtuelle une journée de travail sur le thème:
 

La réalité augmentée: problèmes et applications

le mercredi 24 mai 2000 à l'ENST (salle B 312), 46 rue Barrault, Paris 13ème.
Résumé: Cette journée a comporté 2 exposés invités présentant les applications de la réalité augmentée en téléopération robotique et chirurgie. Les 5 autres interventions ont décrit des applications en maintenance industrielle, post-production vidéo, l'acquisition du geste par le vision et l'animation de visages de synthèse, la vision temps réel et les interfaces haptiques. 23 personnes ont assisté à cette journée.

Mariant l'analyse et la synthèse d'image, la réalité augmentée peut être définie comme l'ensemble des méthodes destinées à améliorer la perception d'un opérateur vis à vis de son environnement réel, généralement par superposition d'images de synthèse sur des images réelles ou vidéo.

Programme de la journée :

10 h :

Présentation de la journée
P. Horain & J.-L. Dugelay

10 h 05 :

Présentation invitée : "De la téléopération à la réalité virtuelle - Modélisation interactive et réalité augmentée pour les applications nucléaires" par R. FOURNIER et P. EVEN (CEA/STR et UVSQ/LRP).

10 h 50 :

Pause

11 h :

"Réalité augmentée et maintenance industrielle : le projet StarMate" par J.  FIGUE et F. VU HONG (Thomson CSF Optronique).

11 h 40 :

"Gestion des occultations dans un système de réalité augmentée" par V. LEPETIT et M.-O. BERGER (INRIA/ISA).

12 h 20 :

Repas

14 h :

Présentation invitée : "Chirurgie et réalité augmentée: illustration, classification et principes de conception" par E. DUBOIS (CLIPS/IIHM et TIMC/GMCAO).

14 h 45 :

"Suivi multi-caméras de personnes et modèles 3D articulés" par Q. DELAMARRE et O. FAUGERAS (INRIA/ROBOTVIS).

15 h 25 :

Pause

15 h 35 :

"Design of quickly adaptable models for Talking heads to be used in interactive Internet applications" par A. C. ANDRES DEL VALLE (AT&T Labs Research).

16 h 15 :

"Système de vision temps réel embarqué pour la robotique mobile - Interfaces haptiques" par P. BONNIN, A. KHEDDAR, V. HUGEL, P. BLAZEVIC, N. M'SIRDI, P. COIFFET (UVSQ/LRP, IUT de Villetaneuse/GEII et UEVE/CEMIF).

16 h 55 :

Bilan et perspectives

17 h

Clôture de la journée


Résumés des interventions :

De la téléopération à la réalité virtuelle - Modélisation interactive et réalité augmentée pour les applications nucléaires

Raymond FOURNIER et Philippe EVEN

CEA/STR, B.P. 6, route du Panorama, 92265 Fontenay aux Roses Cedex
LRP, UVSQ, 10-12 avenue de l’Europe, 78140 Vélizy
Mél :  FOURNIER@ortolan.cea.fr, even@ortolan.cea.fr
L’exploitation d’un modèle géométrique de l’environnement d’un robot téléopéré est une voie prometteuse pour améliorer les tâches de supervision. Pour garantir l’efficacité des assistances produites, il est nécessaire de fournir des moyens de vérification de la validité du modèle 3D de l’environnement, et le cas échéant de mise à jour de ce modèle.
Pour assurer ces fonctions, un concept de modélisation interactive a été proposé (Even et Marcé, 1988). Il est basé sur l’exploitation d’images vidéo fournies par des caméras embarquées sur le robot et la mise en oeuvre de techniques interactives pour obtenir la coïncidence entre mondes réels et virtuels. Le CEA/STR a réalisé l’outil de modélisation interactive Pyramide pour valider ce concept en situations réalistes. Les principales évolutions apportées au cours de la dernière décennie ont visé la réduction du temps de modélisation en intégrant des techniques de Vision par Ordinateur (Bonneau et Even, 1993, Even et Malavaud, 2000) ou en exploitant les connaissances structurelles de l’opérateur sur l’environnement (Even et al., 2000).
A l’occasion de cette journée, nous évoquerons plus particulièrement les techniques utilisées dans ce contexte applicatif pour obtenir une mise en correspondance rapide du modèle sur les images vidéo.

Références :

  1. Bonneau P, et Even P., 1993. Man machine cooperation for 3D objects pose estimation. In: International Conference on Systems, Man, and Cybernetics, IEEE, Le Touquet, France, pp. 294-299 (vol. 2).
  2. Even P. and Malavaud A., 2000. Semi-automated edge segment specification for an interactive modelling system of robot environments. In: XIXth Congress of the ISPRS : Geoinformation for All, Amsterdam, The Netherlands.
  3. Even P. and Marcé L., 1988. Modélisation interactive pour la Téléopération Assistée par Ordinateur. IRISA, Publication Interne No 399, mars 1988.
  4. Even P., Fournier R. and Gelin R., 2000. Using structural knowledge for interactive 3-D modeling of piping environments. In : International Conference on Robotics and Automation, IEEE, San Francisco, CA.
Revoir le programme

Réalité augmentée et maintenance industrielle : le projet StarMate

Jean FIGUE et Franck VU HONG

Thomson CSF Optronique, rue Guynemer, 78283 GUYANCOURT Cedex
Mél :  jean.figue@tco.thomson-csf.com, figue@magic.fr, franck.vu-hong@tco.thomson-csf.com
Thomson-CSF Optronique développe des systèmes intégrant de nombreuses technologies (mécanique, optique, électronique, logiciel, asservissements, algorithmes, etc...) présentant, chacune, un très haut niveau de sophistication. Par ailleurs, la nature des missions réalisées par nos clients impose que nos produits, militaires ou civils professionnels, soient maintenus constamment en condition opérationnelle. La complexité des produits conduit a des documentations très volumineuses. De cette complexité découle également la nécessite de formation
continuelle des personnels de maintenance (dans l'entreprise ou chez nos clients).
Pour ces raisons, TCO développe, dans le cadre du projet StarMate, un système d'assistance et de formation a la maintenance d'équipements complexes. Ce système a recours, en particulier, a des techniques de réalité augmentée pour fournir a l'utilisateur (technicien de maintenance) les informations utiles, au bon moment, directement recalées dans son environnement de travail.
Revoir le programme

Gestion des occultations dans un système de réalité augmentée

Vincent LEPETIT et Marie-Odile BERGER

Projet ISA, Inria Lorraine, B.P. 101, 54602 Villers les nancy
Mél : berger@loria.fr
L'objectif de nos travaux est de permettre l'incrustation d'objets virtuels dans des séquences  vidéo  de la manière  la  plus automatique possible. Afin d'obtenir une composition géométriquement correcte, il est évidemment nécessaire que  la position de  la camera pour  chaque image de la séquence puisse être calculée afin  de positionner correctement l'objet virtuel dans la scène. Pour  assurer le réalisme de  la scène composée,  il est de plus indispensable  que les interactions  entre objets virtuels  et objets de la scène soient   prises en compte:  occultation des  objets  virtuels
par des objets réels, interreflexion   lumineuses   entre objets réels et objets virtuels...
Nous proposons ici une méthode  permettant de gérer les occultations entre objets  réels  et   objets  virtuels.   Théoriquement, le problème des occultations revient a comparer la  profondeur   de  la scène avec la profondeur de  l'objet incruste.  Cependant, les cartes de profondeur que l'on peut inférer par stéréovision sur  la séquence n'ont pas une précision suffisante pour permettre une  détermination précise des bords des objets occultants, notamment parce que le déplacement de la  camera est calcule et est donc entache d'incertitude. Nous avons donc défini une méthode semi-interactive qui s'appuie sur la notion d'images-clé dans lesquelles l'utilisateur détoure les objets occultants. L'apport de cette connaissance  a priori nous permet de reconstruire localement les contours 3D des objets  localement et d'en inférer leur position dans les images intermédiaires.
Une méthode de suivi a base de régions  permet   ensuite de localiser très précisément dans les images  les  objets occultants.  De nombreux exemples d'incrustation viendront compléter cette présentation.

Références :

Voir : http://www.loria.fr/~lepetit/Occlusions
  1. "A Semi Automatic Method for Resolving Occlusions in  Augmented Reality", V. Lepetit and M.-O. Berger, Internation Conference on Computer Vision, Juin 2000.
  2. "Computer Vision Methods for Registration: Mixing 3D Knowledge and 2D Correspondences for Accurate Image Composition", G. Simon, V. Lepetit and M.-O. Berger, International Worshop on Augmented Reality, San Francisco, 1998.
Revoir le programme

Chirurgie et réalité augmentée: illustration, classification et principes de conception

Emmanuel DUBOIS

Labo. CLIPS/IIHM, Domaine Universitaire, BP 53, 38041 Grenoble Cedex 9

Labo. TIMC/GMCAO, Faculté de Médecine, 38706 La Tronche cedex
Mél : Emmanuel.Dubois@imag.fr
De nos jours, la place de l'ordinateur dans le domaine médical ne se limite plus seulement à la gestion des données administratives. L'ordinateur occupe désormais une place centrale lors du déroulement des interventions chirurgicales. Son utilisation permet principalement de réduire le caractère invasif des interventions, diminuant ainsi les risques encourus par le patient. Cette assistance aux gestes médico-chirurgicaux se traduit par l'apport de données médicales complémentaires dans le bloc opératoire au cours de l'opération. Ces informations peuvent être des informations de guidage, de localisation d'une pathologie ou d'un organe. Les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO) s'apparentent clairement au paradigme de Réalité Augmentée (RA). Aussi, afin de pouvoir proposer une méthode de conception pour les interfaces chirurgien-système, nos travaux nous ont conduit à établir un parallèle entre ce deux domaines : RA et GMCAO. Je présenterai donc un ensemble de systèmes de RA et de GMCAO puis présenterai les éléments de notre classification. Sur la base de cette classification, je montrerai comment identifier des problèmes de conception et quels principes de conceptions en déduire.
Revoir le programme

Suivi Multi-caméras de Personnes et Modèles 3D Articulés

Quentin Delamarre et Olivier Faugeras

Projet RobotVis, INRIA Sophia-Antipolis, 2004 route des Lucioles, B.P. 93, 06902 Sophia-Antipolis Cedex
Mél : Quentin.Delamarre@sophia.inria.fr et Olivier.Faugeras@sophia.inria.fr
Nous proposons une méthode pour estimer le mouvement d'une personne filmée par plusieurs caméras fixes. La nouveauté de cette technique repose sur l'utilisation d'une nouvelle méthode de segmentation du mouvement à base d'EDP dans les images et sur la souplesse apportée par l'utilisation de forces physiques pour guider la minimisation.
Nous montrons les résultats sur une séquence d'images avec des mouvements rapides et des occultations. La méthode consiste à comparer les projections dans les images d'un modèle 3D aux silhouettes détectées de la personne, et à créer des forces qui attireront le modèle 3D articulé vers l'estimation finale de la pose réelle. Pour calculer le mouvement du modèle 3D soumis à  ces forces, on résout les équations de la dynamique grâce à un algorithme rapide.  Le système que nous avons développé donne de bons résultats, même si les images sont de mauvaise qualité et si elles sont mal synchronisées. Nous montrons aussi un exemple d'estimation de la position d'une main filmée par deux caméras, où cette fois le modèle 3D est attiré directement par une reconstruction par stéréo-corrélation de la main de l'utilisateur.

Références :

Voir http://www-sop.inria.fr/robotvis/personnel/qdelam/PUBLI.html
Revoir le programme

Design of quickly adaptable models for Talking heads to be used in interactive Internet applications

Applications and services (teleconferencing, e-commerce, information desktops?) could improve their user interface by introducing animated head avatars or Talking Heads. The animation system has to provide a complete synchronization between facial animation and voice in order to make the Talking Head realistic. The use of facial animation (FA) in interface design has been the primary research focus of several studies of multi-modal interfaces. Talking Heads can get their voices from several sources. Voice can be naturally recorded from an individual or it can be synthesized with a Text To Speech Synthesizer (TTS).
The creation of 3D face models will eventually become a basic need for those FA systems that use 3D polygon meshes. Currently, the techniques used to build personalized face models are costly in terms of time and money. Most of them use 3D scanning and semi-automatic construction of frames that have to be manually modified to make the model resemble the individual as much as possible. This kind of expense is worth for applications where high quality is the major constraint. This procedure is not helpful when a great amount of models are needed, the individual cannot participate in the creation of the model or we are looking for a fast solution. In most Internet applications, choosing the Talking Head model should be as flexible as possible. The user should pick the model that he wants; moreover, the application could use models from popular people to increase the sense of reliability. Here, where quality is not the only constraint, a quick, easy and inexpensive method for model creation is required.
The presentation will overview the complete process that was followed in ATT to create an application that could quickly construct new 3D-Head Models by adapting their proprietary Model. These models are used by ATT's application FACETTS. FACETTS is an MPEG-4 compliant head animator. It animates heads and synchronizes them with a synthesized voice provided by a Text To Speech Synthesizer. The new adapted models will be used along with FACETTS in other applications to enhance the user interfaces.
One of these applications will be «Searchable, browsable TV» (SBTV). SBTV is an Internet program that provides the user with news video clips. SBTV user interface has been carefully designed. It is intended to make the user feel comfortable while browsing through the information it shows on the screen. A talking head will improve the user interface by humanizing the environment.

Références :

Voir http://www.research.att.com/~osterman/AnimatedHead
Revoir le programme

Système de vision temps réel embarqué pour la robotique mobile, et interfaces haptiques

Patrick BONNIN(+x), Abder KHEDDAR(*), Vincent HUGEL(+), Pierre BLAZEVIC(+), Nacer M'SIRDI(+), Philippe COIFFET(+)

(+) LRP, UVSQ, 10-12 avenue de l’Europe, 78140 Vélizy
(x) IUT de Villetaneuse, Dépt GEII
(*) CEMIF,Université d'Évry Val d'Essonne, 40 rue du Pelvoux, Courcouronnes, 91020 EVRY Cedex
Mél :  nom@robot.uvsq.fr
L'exposé comportera deux parties. Pour la première partie, nous replaçons cette étude dans le cadre plus général de la robotique personnelle. Nous présenterons ensuite la place et les contraintes du système de vision pour un robot mobile et autonome. Nous illustrerons tout ceci par la présentation du système de vision implanté sur les robots AIBO de SONY dans le contexte de la RoboCup, et la possibilité d'interagir avec un opérateur humain.
La réalité virtuelle et la réalité augmentée pouvant concerner d'autres domaines que la vision, le but de la seconde partie de l'exposé est de présenter les tendances en recherche concernant le  retour haptique. Il s'agit de développer des algorithmes et des lois de commande pour l'interconnexion de systèmes biologiques (de nature incertains) avec un environnement virtuel (de nature discret) via des dispositifs mécatroniques (de nature continus et non linéaires).  La notion d'infohaptie sera introduite ainsi que les résultats obtenus.
 

Références :

  1. Pierre Blazevic, Conception de Systèmes Mécatroniques Autonomes et Téléopérés pour la Locomotion, HDR soutenue au LRP le 25 / 01 / 2000
  2. Patrick Bonnin, Vers une Méthode de Conception et de Réalisation de Systèmes de vision temps réel pour la robotique, HDR soutenue au LRP le 25 / 01 /2000
Revoir le programme

Liste des participants :

 

Nom

Equipe

Mél

1

Raymond Fournier

CEA / CEREM

Raymond.Fournier@cea.fr

2

Emmanuel Dubois

CLIPS / IIHM & TIMC / GMCAO

Emmanuel.Dubois@imag.fr

3

Stéphane Valente

ENSMP / CAOR

valente@caor.ensmp.fr

4

Olivier Magneau

CNRS / LIMSI

magneau@limsi.fr

5

Damien Touraine

CNRS / LIMSI

touraine@limsi.fr

6

Francis Schmitt

ENST / TDI

schmitt@enst.fr

7

Rafael Vitasun

ENST / TDI

vitasun@tsi.enst.fr

8

Ana C. Andrés del Valle

Eurecom

ana.andres@eurecom.fr

9

Alain Trubuil

INRA Jouy-en-Josas

at@jouy.inra.fr

10

Philippe Gerard

INRIA

philippe.gerard@inria.fr

11

Marie-Odile Berger

INRIA / ISA

berger@loria.fr

12

Vincent Lepetit

INRIA / ISA

lepetit@loria.fr

13

Quentin Delamarre

INRIA / ROBOTVIS

Quentin.Delamarre@sophia.inria.fr

14

Gérald Bianchi

INRIA Sophia-Antipolis

Gerald.Bianchi@sophia.inria.fr

15

Patrick Horain

INT / SIM

Patrick.Horain@int-evry.fr

16

Patrick Bonnin

IUT de Villetaneuse & UVSQ / LRP

bonnin@robot.uvsq.fr

17

Florence Denis

UCB Lyon 1 / LIGIM

fdenis@ligim.univ-lyon1.fr

18

Hervé Gauthier

UCB Lyon 1 / LIGIM

h-gaut97@bat710.univ-lyon1.fr

19

Abderrahim Kheddar

UEVE / CEMIF / SC

kheddar@iup.univ-evry.fr

20

Nazim Agoulmine

U. Paris 6 / LIP6

nazim@rp.lip6.fr

21

Philippe Even

UVSQ / LRP & CEA / STR

even@robot.uvsq.fr

22

Jean Figue

Thomson-CSF / Optronique

jean.figue@tco.thomson-csf.com

23

Frank Vu-Hong

Thomson-CSF / Optronique

franck.vu-hong@tco.thomson-csf.com


Depuis l'A.G. de Branville en 1999, l'OT 5.4 est, au sein du GT 5 Vision, l'interface du Groupe de Travail Réalité Virtuelle avec le GdR ISIS. Cette journée de travail a pour but de permettre aux deux communautés de se rencontrer, d'identifier les problèmes ouverts et de réfléchir à des applications croisées de leurs compétences respectives. Elle est ouverte aux membres du GdR ISIS (adhésion gratuite pour les laboratoires académiques).

Rappel : Le GT-RV organise le Premier colloque franco-britannique sur la Réalité Virtuelle les 11 et 12 juillet 2000 à Brest.


Dernière modification le 29/5/2000 par P. Horain.