L'Opération Thématique 5.4
Vision pour la réalité virtuelle du GdR ISIS
a organisé conjointement avec le Groupe
de Travail Réalité Virtuelle une journée
de travail sur le thème:
Résumé: Cette journée a comporté 2 exposés invités présentant les applications de la réalité augmentée en téléopération robotique et chirurgie. Les 5 autres interventions ont décrit des applications en maintenance industrielle, post-production vidéo, l'acquisition du geste par le vision et l'animation de visages de synthèse, la vision temps réel et les interfaces haptiques. 23 personnes ont assisté à cette journée.
Mariant l'analyse et la synthèse d'image, la réalité augmentée peut être définie comme l'ensemble des méthodes destinées à améliorer la perception d'un opérateur vis à vis de son environnement réel, généralement par superposition d'images de synthèse sur des images réelles ou vidéo.
10 h : |
Présentation de la journée |
10 h 05 : |
Présentation invitée : "De la téléopération à la réalité virtuelle - Modélisation interactive et réalité augmentée pour les applications nucléaires" par R. FOURNIER et P. EVEN (CEA/STR et UVSQ/LRP). |
10 h 50 : |
Pause |
11 h : |
"Réalité augmentée et maintenance industrielle : le projet StarMate" par J. FIGUE et F. VU HONG (Thomson CSF Optronique). |
11 h 40 : |
"Gestion des occultations dans un système de réalité augmentée" par V. LEPETIT et M.-O. BERGER (INRIA/ISA). |
12 h 20 : |
Repas |
14 h : |
Présentation invitée : "Chirurgie et réalité augmentée: illustration, classification et principes de conception" par E. DUBOIS (CLIPS/IIHM et TIMC/GMCAO). |
14 h 45 : |
"Suivi multi-caméras de personnes et modèles 3D articulés" par Q. DELAMARRE et O. FAUGERAS (INRIA/ROBOTVIS). |
15 h 25 : |
Pause |
15 h 35 : |
"Design of quickly adaptable models for Talking heads to be used in interactive Internet applications" par A. C. ANDRES DEL VALLE (AT&T Labs Research). |
16 h 15 : |
"Système de vision temps réel embarqué pour la robotique mobile - Interfaces haptiques" par P. BONNIN, A. KHEDDAR, V. HUGEL, P. BLAZEVIC, N. M'SIRDI, P. COIFFET (UVSQ/LRP, IUT de Villetaneuse/GEII et UEVE/CEMIF). |
16 h 55 : |
Bilan et perspectives |
17 h |
Clôture de la journée |
Résumés des interventions :
CEA/STR, B.P. 6, route du Panorama, 92265 Fontenay aux Roses Cedex
LRP, UVSQ, 10-12 avenue de l’Europe, 78140 Vélizy
Mél : FOURNIER@ortolan.cea.fr, even@ortolan.cea.fr
L’exploitation d’un modèle géométrique de l’environnement d’un robot téléopéré est une voie prometteuse pour améliorer les tâches de supervision. Pour garantir l’efficacité des assistances produites, il est nécessaire de fournir des moyens de vérification de la validité du modèle 3D de l’environnement, et le cas échéant de mise à jour de ce modèle.
Pour assurer ces fonctions, un concept de modélisation interactive a été proposé (Even et Marcé, 1988). Il est basé sur l’exploitation d’images vidéo fournies par des caméras embarquées sur le robot et la mise en oeuvre de techniques interactives pour obtenir la coïncidence entre mondes réels et virtuels. Le CEA/STR a réalisé l’outil de modélisation interactive Pyramide pour valider ce concept en situations réalistes. Les principales évolutions apportées au cours de la dernière décennie ont visé la réduction du temps de modélisation en intégrant des techniques de Vision par Ordinateur (Bonneau et Even, 1993, Even et Malavaud, 2000) ou en exploitant les connaissances structurelles de l’opérateur sur l’environnement (Even et al., 2000).
A l’occasion de cette journée, nous évoquerons plus particulièrement les techniques utilisées dans ce contexte applicatif pour obtenir une mise en correspondance rapide du modèle sur les images vidéo.
Bonneau P, et Even P., 1993. Man machine cooperation for 3D objects pose estimation. In: International Conference on Systems, Man, and Cybernetics, IEEE, Le Touquet, France, pp. 294-299 (vol. 2).
Even P. and Malavaud A., 2000. Semi-automated edge segment specification for an interactive modelling system of robot environments. In: XIXth Congress of the ISPRS : Geoinformation for All, Amsterdam, The Netherlands.
Even P. and Marcé L., 1988. Modélisation interactive pour la Téléopération Assistée par Ordinateur. IRISA, Publication Interne No 399, mars 1988.
Even P., Fournier R. and Gelin R., 2000. Using structural knowledge for interactive 3-D modeling of piping environments. In : International Conference on Robotics and Automation, IEEE, San Francisco, CA.
Revoir le programme
Thomson CSF Optronique, rue Guynemer, 78283 GUYANCOURT Cedex
Mél : jean.figue@tco.thomson-csf.com, figue@magic.fr, franck.vu-hong@tco.thomson-csf.com
Thomson-CSF Optronique développe des systèmes intégrant de nombreuses technologies (mécanique, optique, électronique, logiciel, asservissements, algorithmes, etc...) présentant, chacune, un très haut niveau de sophistication. Par ailleurs, la nature des missions réalisées par nos clients impose que nos produits, militaires ou civils professionnels, soient maintenus constamment en condition opérationnelle. La complexité des produits conduit a des documentations très volumineuses. De cette complexité découle également la nécessite de formation
continuelle des personnels de maintenance (dans l'entreprise ou chez nos clients).
Pour ces raisons, TCO développe, dans le cadre du projet StarMate, un système d'assistance et de formation a la maintenance d'équipements complexes. Ce système a recours, en particulier, a des techniques de réalité augmentée pour fournir a l'utilisateur (technicien de maintenance) les informations utiles, au bon moment, directement recalées dans son environnement de travail.
Revoir le programme
Projet ISA, Inria Lorraine, B.P. 101, 54602 Villers les nancy
Mél : berger@loria.fr
L'objectif de nos travaux est de permettre l'incrustation d'objets virtuels dans des séquences vidéo de la manière la plus automatique possible. Afin d'obtenir une composition géométriquement correcte, il est évidemment nécessaire que la position de la camera pour chaque image de la séquence puisse être calculée afin de positionner correctement l'objet virtuel dans la scène. Pour assurer le réalisme de la scène composée, il est de plus indispensable que les interactions entre objets virtuels et objets de la scène soient prises en compte: occultation des objets virtuels
par des objets réels, interreflexion lumineuses entre objets réels et objets virtuels...
Nous proposons ici une méthode permettant de gérer les occultations entre objets réels et objets virtuels. Théoriquement, le problème des occultations revient a comparer la profondeur de la scène avec la profondeur de l'objet incruste. Cependant, les cartes de profondeur que l'on peut inférer par stéréovision sur la séquence n'ont pas une précision suffisante pour permettre une détermination précise des bords des objets occultants, notamment parce que le déplacement de la camera est calcule et est donc entache d'incertitude. Nous avons donc défini une méthode semi-interactive qui s'appuie sur la notion d'images-clé dans lesquelles l'utilisateur détoure les objets occultants. L'apport de cette connaissance a priori nous permet de reconstruire localement les contours 3D des objets localement et d'en inférer leur position dans les images intermédiaires.
Une méthode de suivi a base de régions permet ensuite de localiser très précisément dans les images les objets occultants. De nombreux exemples d'incrustation viendront compléter cette présentation.
Voir : http://www.loria.fr/~lepetit/Occlusions
"A Semi Automatic Method for Resolving Occlusions in Augmented Reality", V. Lepetit and M.-O. Berger, Internation Conference on Computer Vision, Juin 2000.
"Computer Vision Methods for Registration: Mixing 3D Knowledge and 2D Correspondences for Accurate Image Composition", G. Simon, V. Lepetit and M.-O. Berger, International Worshop on Augmented Reality, San Francisco, 1998.
Revoir le programme
Chirurgie et réalité augmentée: illustration, classification et principes de conception
Labo. TIMC/GMCAO, Faculté de Médecine, 38706 La Tronche cedex
Mél : Emmanuel.Dubois@imag.fr
De nos jours, la place de l'ordinateur dans le domaine médical ne se limite plus seulement à la gestion des données administratives. L'ordinateur occupe désormais une place centrale lors du déroulement des interventions chirurgicales. Son utilisation permet principalement de réduire le caractère invasif des interventions, diminuant ainsi les risques encourus par le patient. Cette assistance aux gestes médico-chirurgicaux se traduit par l'apport de données médicales complémentaires dans le bloc opératoire au cours de l'opération. Ces informations peuvent être des informations de guidage, de localisation d'une pathologie ou d'un organe. Les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO) s'apparentent clairement au paradigme de Réalité Augmentée (RA). Aussi, afin de pouvoir proposer une méthode de conception pour les interfaces chirurgien-système, nos travaux nous ont conduit à établir un parallèle entre ce deux domaines : RA et GMCAO. Je présenterai donc un ensemble de systèmes de RA et de GMCAO puis présenterai les éléments de notre classification. Sur la base de cette classification, je montrerai comment identifier des problèmes de conception et quels principes de conceptions en déduire.
Revoir le programme
Projet RobotVis, INRIA Sophia-Antipolis, 2004 route des Lucioles, B.P. 93, 06902 Sophia-Antipolis Cedex
Mél : Quentin.Delamarre@sophia.inria.fr et Olivier.Faugeras@sophia.inria.fr
Nous proposons une méthode pour estimer le mouvement d'une personne filmée par plusieurs caméras fixes. La nouveauté de cette technique repose sur l'utilisation d'une nouvelle méthode de segmentation du mouvement à base d'EDP dans les images et sur la souplesse apportée par l'utilisation de forces physiques pour guider la minimisation.
Nous montrons les résultats sur une séquence d'images avec des mouvements rapides et des occultations. La méthode consiste à comparer les projections dans les images d'un modèle 3D aux silhouettes détectées de la personne, et à créer des forces qui attireront le modèle 3D articulé vers l'estimation finale de la pose réelle. Pour calculer le mouvement du modèle 3D soumis à ces forces, on résout les équations de la dynamique grâce à un algorithme rapide. Le système que nous avons développé donne de bons résultats, même si les images sont de mauvaise qualité et si elles sont mal synchronisées. Nous montrons aussi un exemple d'estimation de la position d'une main filmée par deux caméras, où cette fois le modèle 3D est attiré directement par une reconstruction par stéréo-corrélation de la main de l'utilisateur.
Voir http://www-sop.inria.fr/robotvis/personnel/qdelam/PUBLI.html
"Suivi Multi-caméras de Personnes et Modèles 3D Articulés", Q. Delamarre et O. Faugeras, RFIA 2000, Vol. I, pages 37-46.
"3D Articulated Models and Multi-View Tracking with Silhouettes", Q. Delamarre et O. Faugeras, ICCV 99, pages 726-721.
"Finding pose of hand in video images: a stereo-based approach", Q. Delamarre et O. Faugeras, FG'98, pages 585-590.
"Geodesic Active Regions and Level Set Methods: Contributions and Applications on Artificial Vision", N. Paragios, Thèse de doctorat de l'Université de Nice Sophia-Antipolis, 1999; http://www-sop.inria.fr/robotvis/personnel/nparagio.
Revoir le programme
AT&T Labs Research, Red Bank, NJ, USA.
Adresse actuelle:
Institut EURECOM, Dép. Multimédia, 2229 Route des Crêtes, B.P. 193, 06904 Sophia Antipolis Cedex
Mél : andres@eurecom.fr
Applications and services (teleconferencing, e-commerce, information desktops?) could improve their user interface by introducing animated head avatars or Talking Heads. The animation system has to provide a complete synchronization between facial animation and voice in order to make the Talking Head realistic. The use of facial animation (FA) in interface design has been the primary research focus of several studies of multi-modal interfaces. Talking Heads can get their voices from several sources. Voice can be naturally recorded from an individual or it can be synthesized with a Text To Speech Synthesizer (TTS).
The creation of 3D face models will eventually become a basic need for those FA systems that use 3D polygon meshes. Currently, the techniques used to build personalized face models are costly in terms of time and money. Most of them use 3D scanning and semi-automatic construction of frames that have to be manually modified to make the model resemble the individual as much as possible. This kind of expense is worth for applications where high quality is the major constraint. This procedure is not helpful when a great amount of models are needed, the individual cannot participate in the creation of the model or we are looking for a fast solution. In most Internet applications, choosing the Talking Head model should be as flexible as possible. The user should pick the model that he wants; moreover, the application could use models from popular people to increase the sense of reliability. Here, where quality is not the only constraint, a quick, easy and inexpensive method for model creation is required.
The presentation will overview the complete process that was followed in ATT to create an application that could quickly construct new 3D-Head Models by adapting their proprietary Model. These models are used by ATT's application FACETTS. FACETTS is an MPEG-4 compliant head animator. It animates heads and synchronizes them with a synthesized voice provided by a Text To Speech Synthesizer. The new adapted models will be used along with FACETTS in other applications to enhance the user interfaces.
One of these applications will be «Searchable, browsable TV» (SBTV). SBTV is an Internet program that provides the user with news video clips. SBTV user interface has been carefully designed. It is intended to make the user feel comfortable while browsing through the information it shows on the screen. A talking head will improve the user interface by humanizing the environment.
Voir http://www.research.att.com/~osterman/AnimatedHead
Andrés del Valle, A.C., Ostermann, J., System and apparatus for customizing a computer animation wireframe, US Patent Filed, July 1999.
Ana C. Andrés del Valle, Design of quickly adaptable models for talking heads to be used in interactive Internet applications, Projecte Final de Carrera. Escola Tècnica Superior de Barcelona - UPC. Feb. 2000.
Revoir le programme
(+) LRP, UVSQ, 10-12 avenue de l’Europe, 78140 Vélizy
(x) IUT de Villetaneuse, Dépt GEII
(*) CEMIF,Université d'Évry Val d'Essonne, 40 rue du Pelvoux, Courcouronnes, 91020 EVRY Cedex
Mél : nom@robot.uvsq.fr
L'exposé comportera deux parties. Pour la première partie, nous replaçons cette étude dans le cadre plus général de la robotique personnelle. Nous présenterons ensuite la place et les contraintes du système de vision pour un robot mobile et autonome. Nous illustrerons tout ceci par la présentation du système de vision implanté sur les robots AIBO de SONY dans le contexte de la RoboCup, et la possibilité d'interagir avec un opérateur humain.
La réalité virtuelle et la réalité augmentée pouvant concerner d'autres domaines que la vision, le but de la seconde partie de l'exposé est de présenter les tendances en recherche concernant le retour haptique. Il s'agit de développer des algorithmes et des lois de commande pour l'interconnexion de systèmes biologiques (de nature incertains) avec un environnement virtuel (de nature discret) via des dispositifs mécatroniques (de nature continus et non linéaires). La notion d'infohaptie sera introduite ainsi que les résultats obtenus.
Pierre Blazevic, Conception de Systèmes Mécatroniques Autonomes et Téléopérés pour la Locomotion, HDR soutenue au LRP le 25 / 01 / 2000
Patrick Bonnin, Vers une Méthode de Conception et de Réalisation de Systèmes de vision temps réel pour la robotique, HDR soutenue au LRP le 25 / 01 /2000
Revoir le programme
|
Nom |
Equipe |
Mél |
1 |
Raymond Fournier |
CEA / CEREM |
Raymond.Fournier@cea.fr |
2 |
Emmanuel Dubois |
CLIPS / IIHM & TIMC / GMCAO |
Emmanuel.Dubois@imag.fr |
3 |
Stéphane Valente |
ENSMP / CAOR |
valente@caor.ensmp.fr |
4 |
Olivier Magneau |
CNRS / LIMSI |
magneau@limsi.fr |
5 |
Damien Touraine |
CNRS / LIMSI |
touraine@limsi.fr |
6 |
Francis Schmitt |
ENST / TDI |
schmitt@enst.fr |
7 |
Rafael Vitasun |
ENST / TDI |
vitasun@tsi.enst.fr |
8 |
Ana C. Andrés del Valle |
Eurecom |
ana.andres@eurecom.fr |
9 |
Alain Trubuil |
INRA Jouy-en-Josas |
at@jouy.inra.fr |
10 |
Philippe Gerard |
INRIA |
philippe.gerard@inria.fr |
11 |
Marie-Odile Berger |
INRIA / ISA |
berger@loria.fr |
12 |
Vincent Lepetit |
INRIA / ISA |
lepetit@loria.fr |
13 |
Quentin Delamarre |
INRIA / ROBOTVIS |
Quentin.Delamarre@sophia.inria.fr |
14 |
Gérald Bianchi |
INRIA Sophia-Antipolis |
Gerald.Bianchi@sophia.inria.fr |
15 |
Patrick Horain |
INT / SIM |
Patrick.Horain@int-evry.fr |
16 |
Patrick Bonnin |
IUT de Villetaneuse & UVSQ / LRP |
bonnin@robot.uvsq.fr |
17 |
Florence Denis |
UCB Lyon 1 / LIGIM |
fdenis@ligim.univ-lyon1.fr |
18 |
Hervé Gauthier |
UCB Lyon 1 / LIGIM |
h-gaut97@bat710.univ-lyon1.fr |
19 |
Abderrahim Kheddar |
UEVE / CEMIF / SC |
kheddar@iup.univ-evry.fr |
20 |
Nazim Agoulmine |
U. Paris 6 / LIP6 |
nazim@rp.lip6.fr |
21 |
Philippe Even |
UVSQ / LRP & CEA / STR |
even@robot.uvsq.fr |
22 |
Jean Figue |
Thomson-CSF / Optronique |
jean.figue@tco.thomson-csf.com |
23 |
Frank Vu-Hong |
Thomson-CSF / Optronique |
franck.vu-hong@tco.thomson-csf.com |
Depuis l'A.G. de Branville en 1999, l'OT 5.4 est, au sein du GT 5 Vision, l'interface du Groupe de Travail Réalité Virtuelle avec le GdR ISIS. Cette journée de travail a pour but de permettre aux deux communautés de se rencontrer, d'identifier les problèmes ouverts et de réfléchir à des applications croisées de leurs compétences respectives. Elle est ouverte aux membres du GdR ISIS (adhésion gratuite pour les laboratoires académiques).
Rappel : Le GT-RV organise le Premier colloque franco-britannique sur la Réalité Virtuelle les 11 et 12 juillet 2000 à Brest.
Dernière modification le 29/5/2000 par P. Horain.