Analyse
dynamique des transformations des traits du visage lors de la
production d'une émotion
Facial features boundaries segmentation
and facial expressions analysis
Zakia Hammal, Alice Caplier
alice.caplier@inpg.fr
Résumé
L'objectif de notre travail est l'étude dynamique des émotions
faciales. Puisque certaines expériences en psychologie ont mis en
évidence le fait que l'être humain est capable de reconnaître les
émotions sur un visage à partir de la visualisation de l'évolution
temporelle de ses certains points caractéristiques, nous travaillons à
l'extraction automatique des contours des traits du visage. Dans un
travail précédent, nous avons développé un algorithme de segmentation
automatique du contour des lèvres. Dans cet article, on s'intéresse au
problème de la segmentation des yeux et des sourcils. L'ensemble des
deux algorithmes conduit à l'extraction de ce que nous appelons des
"squelettes d'émotions". L'algorithme proposé pour l'extraction des
contours des yeux et des sourcils met en jeu une segmentation statique
lors de la phase d'initialisation et une segmentation dynamique pour
les images suivantes. Dans les deux cas, la segmentation est constituée
de trois étapes : d'abord, on définit un modèle paramétrique pour
modéliser au mieux le contour de chaque trait considéré; ensuite, les
modèles choisis sont initialisés sur les images à segmenter grâce à
l'extraction d'un ensemble de points caractéristiques ; enfin, les
modèles initiaux sont ajustés finement en tenant compte d'information
de gradient de luminance. Des séquences de squelettes constitués des
contours extraits sont construites pour chaque type d'émotion.
Plusieurs distances caractéristiques compatibles avec la description
MPEG-4 des six émotions universelles sont définies sur chaque
squelette. Nous montrons que l'analyse temporelle de l'évolution de ces
distances peut conduire à la mise au point d'un système automatique de
reconnaissance émotionelle.
Abstract
The aim of our work is the dynamic analysis of facial emotions. Since
some experiences in psychology have shown that humans are able to
recognize facial expressions by the analysis of the temporal evolution
of keypoints of facial features, we are working on facial features
extraction. In a previous work, we have developed a robust and fast
algorithm for accurate lip contour segmentation. In this paper, we are
focusing on the problem of eyes and eyebrows boundaries extraction.
Both algorithms yields to the extraction of what we call "emotion
skeleton". The proposed algorithm for eyes and eyebrows segmentation
involves a static segmentation for the initialization and a dynamic
segmentation for the following frames. In both cases, the segmentation
requires three steps: first, an accurate model based on flexible curves
is defined for each feature; second, models are initialized on the
image to be processed after the detection of characteristic points;
third, models are accurately fitted to the facial features according to
some information of luminance gradient. Temporal sequences with the
extracted boundaries (or skeletons) of facial features are build for
each type of emotion. Several distances compliant with the MPEG-4
description of the six basic emotions are computed on each skeleton. We
show that the temporal analysis of these distances will yield to the
automatic classification of the six universal emotions.
Actes électroniques de l'atelier Acquisition
du geste
humain par vision artificielle et
applications, Toulouse, 27 janvier 2004, http://www-eph.int-evry.fr/~horain/AtelierGeste.