La reconnaissance émotionnelle faciale : validation préliminaire de stimuli virtuels dynamiques et comparaison avec les Pictures of Facial Affect (POFA)

Cigna, Marie-Hélène; Guay, Jean-Pierre; Renaud, Patrice

doi:https://doi.org/10.7202/1033845ar

La reconnaissance émotionnelle faciale

Les travaux sur la reconnaissance émotionnelle faciale (REF) ont établi que les individus, de manière universelle, reconnaissent les expressions de joie, de tristesse, de colère, de dégoût, de surprise et de peur, bien qu’il existe des différences culturelles subtiles dans la manière de les encoder et de les décoder (Keltner et Ekman, 2000). Pour ces raisons, ces émotions de base sont communément regroupées sous le terme d’émotions fondamentales (Barbeau, Joubert et Felician, 2009 ; Keltner et Ekman, 2000). Les expressions émotionnelles faciales constituent l’une des plus importantes manières de communiquer les émotions, et ce, via une transmission rapide de l’information. Elles permettent à l’observateur d’inférer les états émotionnels ainsi que les intentions d’autrui et d’anticiper ses gestes, mais aussi de réguler ses propres comportements en conséquence. Ainsi, l’aptitude à reconnaître les émotions influence les capacités d’adaptation à l’environnement et de ce fait, constitue une habileté indispensable au fonctionnement interpersonnel de l’individu (Barbeau et al., 2009 ; Blair, 2003, 2005 ; Labruyère et Hubert, 2009 ; Malone, Carroll et Murphy, 2012).

Déficits dans la reconnaissance des émotions et fonctionnement interpersonnel

Bien qu’il s’agisse d’une habileté universelle, le traitement des informations émotionnelles faciales demeure un processus complexe. Une mauvaise interprétation des informations non verbales pourrait mener à l’incapacité à répondre à l’environnement social de manière adéquate. Des déficits spécifiques sont d’ailleurs présents dans plusieurs psychopathologies et troubles neurologiques associés à des difficultés de fonctionnement interpersonnel. Par exemple, différents travaux indiquent que les individus souffrant du syndrome d’Asperger présentent un déficit général dans la reconnaissance des émotions (Baron-Cohen, Wheelwright, Hill, Raste et Plumb, 2001), que les individus atteints de la maladie de Huntington ont un déficit spécifique quant à l’identification du dégoût (Sprengelmeyer et al., 1996), alors que des dommages à l’amygdale sont associés à des difficultés dans l’identification des expressions de peur (Adolphs et al., 2005 ; Calder et al., 1996). En outre, la personnalité borderline chez une population adolescente est associée à une hyposensibilité émotionnelle, c’est-à-dire que ces individus ont besoin d’émotions plus intenses afin d’être en mesure de les identifier (Robin et al., 2011). Cela étant, il semble que l’incapacité à interpréter correctement l’état affectif d’autrui aurait des conséquences considérables sur la socialisation de l’individu (Barbeau et al., 2009 ; Jovev et al., 2011 ; Snowden, Craig et Gray, 2012). Des déficits dans la REF seraient liés à des troubles dans le développement de l’empathie, ce qui, à long terme, pourrait conduire au développement de comportements antisociaux et même violents (Blair, 2003 ; Malone et al., 2012 ; Richell et al., 2003 ; Sharp, 2008).

Stimuli affectifs employés et limites méthodologiques

Afin de mieux comprendre la question du traitement de l’information émotionnelle, l’utilisation d’expressions faciales d’émotions, le plus souvent sous forme de photographies, est de plus en plus courante, particulièrement dans le domaine des troubles de la personnalité (Dolan et Fullam, 2006 ; Gur et al., 2002 ; Goeleven, De Raedt, Leyman et Verschuere, 2008 ; Jovev et al., 2011 ; Robin et al., 2011). L’ensemble de stimuli affectifs le plus important est le POFA (Pictures of Facial Affect ; Ekman et Friesen, 1976) qui contient des exemples prototypiques d’expressions faciales associées aux six émotions fondamentales (joie, tristesse, colère, dégoût, surprise et peur). Celui-ci est constitué de 110 photographies en noir et blanc dans lesquelles 14 comédiens expriment à tour de rôle chacune des six émotions ainsi qu’une expression neutre. Bien qu’il s’agisse de l’outil d’évaluation de la reconnaissance des émotions le plus utilisé et qu’il ait été validé, on y décèle plusieurs failles. Notamment, en plus d’être constitué d’images en noir et blanc, d’être désuet (chevelure, maquillage, etc.) et de ne contenir que des expressions émotionnelles pleinement exprimées (100 %), celui-ci ne tient pas compte des différences culturelles dans le choix des modèles (Goeleven et al., 2008 ; Tottenham et al., 2009).

D’autres tests ont été développés dans les dernières années pour succéder au POFA tels que le JACFEE (Biehl et al., 1997), le MSFDE (Beaupré, Cheung et Hess, 2000), le KDEF (Lundqvist, Flykt et Öhman,1998), ou encore le RaFD (Langner et al., 2010). Toutefois, ces ensembles de stimuli comportent aussi différentes limites méthodologiques. Les plus importantes concernent les stimuli affectifs employés qui sont parfois peu nombreux (moins de 100 ; Tottenham et al., 2009), généralement exprimés à pleine intensité et présentés sous forme statique (Dolan et Fullam, 2006 ; Goeleven et al., 2008 ; Gur et al., 2002 ; Kosson, Suchy, Mayer et Libby, 2002 ; Pham et Philippot, 2010 ; Tottenham et al., 2009).

En effet, certains ensembles comprennent un nombre restreint de stimuli (Kosson et al., 2002 ; Tottenham et al., 2009). Par exemple, le JACFEE (Biehl et al., 1997), bien qu’il regroupe des modèles japonais et caucasiens, contient un nombre limité de photographies (N = 56). L’utilisation d’émotions prototypiques, qui est courante, s’avère aussi discutable puisqu’il s’agit de stimuli simplistes, exagérant la manière dont les émotions sont exprimées dans la vie quotidienne (Tottenham et al., 2009). Ces tâches sont problématiques, car en plus d’offrir peu de validité écologique et d’être facilement identifiables, elles font face au problème d’effet de plateau (Barbeau et al., 2009 ; Kosson et al., 2002 ; Pham et Philippot, 2010). La plupart des ensembles de stimuli affectifs présentent également un manque de diversité ethnique (Gur et al., 2002 ; Tottenham et al., 2009). En outre, le KDEF (Goeleven et al., 2008) et le RaFD (Langner et al., 2010) ne comportent tous deux que des modèles caucasiens. Il apparaît pourtant important de tenir compte de l’ethnicité des modèles dans les ensembles standardisés puisque celle-ci aurait des impacts sur les processus de reconnaissance faciale, les individus étant plus habiles à reconnaître des visages de leur propre type ethnique (De Viviés, Kelly, Cordier et Pascalis, 2010). Enfin, la plupart des études ont recours à une série de photographies afin de mesurer la reconnaissance des émotions. Il s’agit alors d’expressions émotionnelles faciales statiques, moins fidèles à la réalité (Goeleven et al., 2008 ; Gur et al., 2002). Plusieurs auteurs recommandent d’employer des paradigmes plus écologiques, en utilisant des expressions émotionnelles dynamiques (Barbeau et al., 2009 ; Baron-Cohen et al., 2001 ; Jovev et al., 2011 ; Kosson et al., 2002 ; Krumhuber, Tamarit, Roesh et Scherer, 2012 ; Van Der Schalk, Hawk, Fischer et Doosje, 2011).

Conception de la recherche

Le morphisme. Dans le but d’adopter une approche plus écologique, la technique du morphisme a été employée afin de créer des expressions émotionnelles faciales dynamiques. Cette technique consiste à ce qu’un stimulus facial au départ neutre évolue graduellement jusqu’à présenter l’une des six émotions de base pleinement exprimée. Plus spécifiquement, le morphisme réfère à des techniques graphiques informatiques utilisées afin de créer un continuum entre deux prototypes : ici, les expressions à 0 % et à 100 %. Pour ce faire, il s’agit de localiser les positions d’un nombre important de points spécifiques sur chacun des deux prototypes d’image, permettant de définir les traits du visage les plus importants. Après cette étape de délimitation, la forme d’un des prototypes peut évoluer vers celle de l’autre prototype : chaque point spécifique est conduit selon une ligne droite à partir de sa position sur l’affect neutre à sa position correspondante sur l’émotion pleinement exprimée (processus décrit dans Rowland et Perrett, 1995). Bien que cette interpolation linéaire ne permette pas d’obtenir une représentation exacte de l’expression réelle des expressions faciales (la typologie du modèle doit demeurer invariante ; Garchery, 2004 ; Krumhuber et al., 2012), cette méthode comporte plusieurs avantages. Notamment, ce paradigme permet de mesurer la REF de manière plus fine à l’aide d’intensités d’expressions inférieures et par conséquent, de mettre en évidence des déficits plus subtils (Calder et al., 1996 ; Robin et al., 2011). Jusqu’à présent, le morphisme a été essentiellement utilisé dans le domaine des troubles de la personnalité et commence à être intégré dans les travaux portant sur la psychopathie (Robin et al., 2011). Toutefois, la majorité des études n’emploient pas de séquences d’animations continues (Blair, Colledge, Murray et Mitchell, 2001 ; Blair et al., 2004 ; Lynch et al., 2006 ; Robin et al., 2011), mais plutôt des images intermédiaires créées entre deux prototypes d’image. En d’autres termes, 10 à 20 stades successifs sont créés entre le visage neutre et l’émotion prototypique, chaque stade intermédiaire étant présenté pendant quelques secondes, ce qui équivaut à évaluer des stimuli statiques. Dans quelques cas où des séquences de morphisme continues sont employées (Gagliardi et al., 2003 ; Gordon, 2004), il s’agit d’une interpolation entre deux photographies, ce qui peut détériorer la qualité de l’image obtenue. La clarté et la netteté des images intermédiaires sont moins précises comparativement à l’utilisation de personnages virtuels. La présente recherche emploie des séquences d’animations continues.

Création d’un nouvel ensemble de stimuli affectifs. À l’aide du morphisme, nous avons créé un ensemble de personnages virtuels présentant plusieurs avantages. Les avatars, en plus d’être dynamiques, contiennent une grande variété d’expressions émotionnelles, alors que plusieurs autres ensembles ne tiennent pas compte de la surprise (Beaupré et al., 2000 ; Dadds, Hawes et Merz, 2004 ; Dyck et al., 2008 ; Ebner, Riediger et Linderberger, 2010 ; Gur et al., 2002). Ils sont nombreux (324 animations), en couleurs, variés en termes de diversité ethnique et exprimés à différentes intensités et sous différents angles. De plus, une expression neutre a été incluse pour chaque personnage, un élément qui s’avère utile comme condition de comparaison, particulièrement dans les études d’imagerie cérébrale (Tottenham et al., 2009). Enfin, afin de respecter au mieux l’expression naturelle des émotions, le mouvement se transmet au niveau des muscles faciaux, mais également à travers l’axe de la tête des avatars.

Utilité et applications de la réalité virtuelle. À notre connaissance, il s’agit du premier ensemble d’avatars présentant une telle qualité graphique à être utilisé afin de mesurer la REF. Ces avatars, une fois validés, permettront de constituer des personnages idiosyncrasiques qui seront incorporés à différents scénarios virtuels (Renaud et al., 2010). Ultimement, il s’agit d’employer ces stimuli dans le champ de la criminologie, notamment pour l’étude des comportements violents et du trouble psychopathique. En effet, la réalité virtuelle couvre un large champ d’applications, dans le domaine de la recherche émotionnelle, mais aussi dans un contexte de santé mentale (Dyck et al., 2008). Par exemple, des avatars sont déjà employés, en recherche et en clinique, auprès de patients schizophrènes (Dumais, Potvin, Renaud et Joyal, 2015) ou encore de délinquants sexuels (Renaud et al., 2011). L’utilisation de personnages virtuels plutôt que de photographies offre plusieurs avantages, notamment la manipulation des stimuli (âge, origine ethnique, sexe) en fonction des besoins du chercheur (Dyck et al., 2008 ; Krumhuber et al., 2012). En plus de fournir d’innombrables possibilités de personnalisation, cette méthode permet de contrôler l’influence de variables telles que l’attirance éprouvée face à des personnes réelles, ainsi que de manipuler l’expression faciale présentée, son intensité tout comme sa durée (Blascovich et al., 2002 ; Krumhuber et Kappas, 2005). Les environnements d’immersion virtuelle constituent une innovation majeure en facilitant à la fois le contrôle expérimental et le réalisme, deux facettes traditionnellement difficiles à conjuguer (Dyck et al., 2008). Tout en permettant au chercheur un contrôle quasi parfait de l’environnement expérimental et des actions, la réplication devient également plus aisée (Blascovich et al., 2002).

Objectif de la recherche

Les travaux sur la reconnaissance des émotions se heurtent à différents problèmes méthodologiques se rapportant principalement aux stimuli utilisés. Plusieurs auteurs recommandent d’adopter une approche plus écologique en favorisant l’utilisation de stimuli dynamiques. Les objectifs de la recherche sont multiples : 1) améliorer la validité écologique des travaux sur la REF ; 2) valider un nouvel ensemble de stimuli affectifs composé d’avatars dynamiques ; 3) comparer les stimuli virtuels aux stimuli du POFA. Dans l’étude 1, avant de constituer des animations, il s’agit de procéder à la validation des personnages sous forme de photographies et de les comparer aux stimuli du POFA. Dans l’étude 2, la REF est étudiée à l’aide des personnages dynamiques en fonction de 1) la catégorie d’émotion ; 2) l’intensité d’expression ; et 3) la prise de vue. Bien que la question de l’effet de l’origine ethnique sur la reconnaissance des émotions soit intéressante, elle sera abordée dans un article ultérieur.

Étude 1

Méthodologie

Participants

Le recrutement des participants a été effectué dans les cours de premier cycle de l’Université de Montréal au cours de l’été et de l’automne 2012. Les groupes variaient d’une trentaine à une centaine de personnes. L’échantillon était constitué de 150 étudiants âgés de 18 à 36 ans (M = 20,84, É-t = 2,38). Plus des trois quarts des individus étaient caucasiens (85,8 %). Les Afro-Américains et les Latino-Américains représentaient respectivement 2,1 % et 2,8 % de l’échantillon tandis que la catégorie « Autres » (origine indienne, arabe, asiatique, etc.) comptait 9,2 % des individus. La majorité des participants étaient de sexe féminin (74 %).

Stimuli

Création des stimuli virtuels. À partir des Pictures of Facial Affect d’Ekman et Friesen (1976) et du Facial Action Coding System (Ekman, Friesen et Hager, 2002), un artiste multimédia spécialisé en traitement des visages a créé des personnages virtuels à l’aide de BehaVR Solutions. Leurs visages ont été modelés afin d’y appliquer les six émotions fondamentales (joie, tristesse, colère, dégoût, surprise, peur) à pleine intensité. La technique graphique du morphisme a par la suite été employée pour l’obtention des images intermédiaires à 60 % (processus décrit dans Rowland et Perrett, 1995). Au final, ont été créées 104 images en couleurs qui comprenaient huit personnages (quatre hommes et quatre femmes ; quatre Caucasiens et quatre minorités ethniques) exprimant les six émotions ainsi qu’une expression neutre. Les émotions étaient exprimées à deux niveaux d’intensité (60 % et 100 %). Le choix de créer des images à une intensité inférieure s’explique par la possibilité de mettre en évidence des déficits de reconnaissance plus subtils et ainsi accroître la validité écologique (voir aussi Gur et al., 2002 ; Hastings, 2005 ; Krumhuber et al., 2012). En aucun moment le matériel n’a été rendu public, mis à part dans le cadre des deux tests.

Stimuli employés. Afin d’éviter que le test ne soit trop long, la première tâche était constituée de 48 photographies des Pictures of Facial Affect et de 84 stimuli virtuels. Huit expressions du POFA et quatorze expressions virtuelles étaient présentées pour chacune des six émotions, de manière aléatoire. L’ordre de présentation des stimuli était le même pour tous les participants[2]. Parmi les expressions virtuelles, pour chacune des émotions on comptait sept stimuli à 60 % ainsi que sept stimuli à 100 %. Après un examen préliminaire, un modèle caucasien féminin a été mis de côté en raison du fait que son maquillage et sa coiffure rendaient les expressions émotionnelles plus difficilement reconnaissables. Nous avons donc employé sept modèles différents (4H ; 3F) de quatre origines ethniques (trois Caucasiens (2H ; 1F), deux Afro-Américains (1H ; 1F), une Latino-Américaine et un Asiatique). Chaque expression était vue de face (se référer à la figure 1 pour des exemples).

Figure 1

Exemples de chaque émotion à l’aide des différents personnages de l’ensemble de stimuli virtuels

-> See the list of figures

Procédure

La tâche était visionnée dans une présentation PowerPoint projetée sur une grande toile à l’avant de la salle de cours à l’aide d’un projecteur[3]. Les consignes ont été lues à voix haute à l’ensemble du groupe et étaient inscrites sur une diapositive au début de la présentation afin de s’assurer de la standardisation de la procédure. Après avoir reçu les consignes, les participants ont effectué un exercice en compagnie de l’expérimentateur. Ils ont ensuite accompli la tâche sans assistance dans la salle de classe. Chacun des 132 stimuli était présenté pendant un laps de dix secondes avant de passer au prochain stimulus. Durant ces dix secondes, les participants devaient indiquer leurs réponses sur les feuilles distribuées à cet effet. Pour chaque stimulus, ils devaient : 1) déterminer laquelle des six émotions fondamentales était exprimée par le visage en choisissant parmi les six choix qui leur étaient offerts ; 2) évaluer le degré de difficulté de la tâche sur une échelle de 1 (très difficile) à 7 (très facile) et 3) déterminer l’intensité d’expression pour chacune des six émotions sur une échelle de 1 (pas du tout) à 7 (très intensément).

Analyses statistiques

Une analyse de variance à mesures répétées à deux facteurs ayant un plan factoriel 6 × 2 a été réalisée, celle-ci permettant de mesurer les mêmes participants dans toutes les conditions de l’étude. Ainsi, deux variables indépendantes ont été manipulées dans le test, à savoir la catégorie d’émotion, qui comprenait six niveaux (joie, tristesse, colère, dégoût, surprise et peur) et l’intensité d’expression, qui en comptait deux (60 % et 100 %). La variable dépendante correspondait au score obtenu à la tâche de reconnaissance. Chaque sujet a été exposé à tous les niveaux des deux variables catégorielles, permettant d’obtenir un score pour chacune des douze conditions, le maximum possible étant de sept. Dans les cas où le test de Mauchly indiquait que l’hypothèse de sphéricité n’était pas respectée, les degrés de liberté ont été ajustés à l’aide des estimations de sphéricité de Greenhouse-Geisser ou de Huynh-Feldt. Le seuil alpha de p <0,05 a été employé.

Résultats

Habileté à reconnaître les émotions

Les scores obtenus au POFA s’échelonnent de 17 à 46 (M = 36,35, É-t = 4,20) sur un score possible de 48, tandis que les scores pour les stimuli virtuels varient de 25 à 72 (M = 56,35, É-t = 7,40), le maximum possible étant de 84. Pour chacun des 132 stimuli, a d’abord été calculé le taux de réussite des participants, ce qui représente la proportion de participants qui ont correctement identifié l’émotion exprimée. Par souci de concision, sont présentés dans le tableau 1 les taux de réussite combinés pour chaque catégorie d’émotion en distinguant les différents types de stimuli.

Tableau 1

**Taux de réussite en fonction du type de stimuli et de la catégorie d’émotion**

Identification des stimuli virtuels. Pour l’ensemble des stimuli virtuels, toutes intensités confondues, la proportion d’identifications correctes est de 70,5 %. La surprise (88,4 %) est l’émotion la mieux reconnue, suivie de près par la joie (87,1 %), tandis que les expressions de peur (39,9 %) sont les moins bien identifiées par les participants. Afin d’étudier plus en profondeur l’influence de la catégorie d’émotion et de l’intensité d’expression sur la performance à la tâche, une analyse de variance à mesures répétées à deux facteurs a été réalisée. Les résultats confirment qu’il existe des différences significatives dans les scores moyens obtenus à travers les différentes conditions expérimentales. Le contenu émotionnel (Greenhouse-Geisser F [3,55 ; 528,22] = 209,53, p <0,001, η² = 0,58), le niveau d’intensité (F [1 ; 149] = 571,24, p <0,001, η² = 0,79) ainsi que l’interaction entre ces deux paramètres (Huynh-Feldt F [4,69 ; 699,10] = 84,56, p <0,001, η² = 0,36) ont tous un effet significatif sur la performance. L’analyse des comparaisons multiples révèle que les participants sont significativement moins habiles dans l’identification des expressions de colère (M = 4,34), de dégoût (M = 3,58) et de peur (M = 2,59) (ajustement des comparaisons multiples avec Bonferroni p <0,05). La surprise (M = 5,97), la joie (M = 5,91) et la tristesse (M = 5,79) sont les émotions les plus facilement reconnues, bien que les scores obtenus pour celles-ci ne se distinguent pas significativement les uns des autres. Les expressions prototypiques (M = 5,25) sont significativement mieux identifiées que les émotions exprimées à 60 % (M = 4,14) (ajustement des comparaisons multiples avec Bonferroni p <0,05). En plus de ces constats, en tenant compte des effets d’interaction, il semble que le profil des scores moyens obtenus pour les stimuli de différentes intensités soit distinct selon la catégorie d’émotion. Dans le cas des émotions les mieux identifiées, c’est-à-dire la surprise, la joie et la tristesse, les données indiquent que les scores obtenus demeurent essentiellement les mêmes, indépendamment de l’intensité d’expression. Les participants obtiennent des scores moyens élevés, même lorsque ces émotions sont exprimées de manière plus subtile. L’intensité semble également avoir peu d’influence sur la performance pour les expressions de peur, qui demeure faible, même lorsque celles-ci sont pleinement exprimées (60 % : M = 2,41 ; 100 % : M = 2,76). De manière distincte, la reconnaissance de la colère (60 % : M = 3,09 ; 100 % : M = 5,59) et du dégoût (60 % : M = 2,48 ; 100 % : M = 4,68) apparaît être fortement influencée par le niveau d’intensité ; les participants sont nettement meilleurs dans l’identification de ces émotions lorsqu’elles sont exprimées à 100 %.

Comparaisons entre les stimuli virtuels exprimés à 100 % et le POFA. Des tests T à mesures répétées ont ensuite été réalisés entre les scores obtenus aux stimuli du POFA et aux stimuli virtuels pleinement exprimés. Rappelons que les stimuli du POFA sont constitués d’émotions exprimées à pleine intensité, d’où la nécessité de les comparer uniquement aux stimuli virtuels à 100 %. Les données indiquent que les participants obtiennent des taux de réussite similaires pour les deux types de stimuli t (149) = 0,97, p = 0,33, η² = 0,01. Toutefois, les taux moyens sont significativement différents pour les émotions de joie t (149) = 8,96, p <0,001, η² = 0,35, de tristesse t (149) = -11,34, p <0,001, η² = 0,46 et de peur t (149) = 7,94, p <0,001, η² = 0,30. La proportion moyenne de participants qui obtiennent la bonne réponse pour les émotions de joie et de peur est plus élevée au POFA. Inversement, le taux de réussite moyen pour les expressions de tristesse est plus faible au POFA comparativement aux stimuli virtuels.

Matrice de confusion

Afin d’examiner les émotions qui sont le plus souvent confondues entre elles, deux matrices de confusion, qui servent à comptabiliser la distribution des réponses des participants pour chaque émotion, ont été générées. On notera toutefois que la matrice dédiée aux stimuli virtuels regroupe deux intensités d’expressions (60 % et 100 %). Il est donc attendu que certaines confusions soient plus grandes, en raison de la plus grande difficulté à reconnaître des émotions exprimées de manière plus subtile. Pour les deux types de stimuli, l’erreur la plus fréquente est de confondre la peur et la surprise, bien que la confusion soit plus élevée dans le cas des expressions virtuelles. Le dégoût est le plus souvent incorrectement identifié comme de la colère, cette confusion étant plus marquée pour le POFA (voir les Tableaux 2 et 3).

Tableau 3

**Matrice de confusion des stimuli du POFA**

En somme, les analyses soulèvent un certain problème pour les expressions virtuelles de peur qui sont les moins bien reconnues de la tâche, et ce, même lorsqu’elles sont exprimées à 100 %. Bien que le problème de la confusion entre la peur et la surprise apparaisse également avec le matériel d’Ekman et Friesen, le taux de réussite demeure moins élevé pour les stimuli virtuels à 100 %. Ces constats ont été considérés pour la réalisation de l’étude 2 et seront détaillés dans la discussion.