Article body

Cinq études menées ces dernières années en France ont été retenues pour présenter des manières d’évaluer la médiation culturelle de la musique en contexte scolaire depuis différentes institutions musicales et selon différentes modalités de recherche. Leur examen sera précédé d’une réflexion sur les enjeux de l’évaluation et la façon dont l’évaluation de la médiation interroge les pratiques d’évaluation. Il sera suivi d’un élargissement théorique convoquant les questions qui touchent à l’efficience et aux droits culturels. Dans ce croisement entre une approche empirique à partir des pratiques et une approche théorique sur les enjeux, il ressort que lorsque la méthodologie adoptée pour l’évaluation est à la fois continue, participative et récursive, elle devient, au-delà même de la mesure des résultats de la médiation, un des outils de celle-ci. Cette triade méthodologique de l’évaluation, dans la mesure où elle relance la réflexion sur les objectifs, s’avère être le cadre dans lequel peut s’opérer le travail en commun du sens.

Mesurer, apprécier, interroger la valeur

Il existe une abondante littérature consacrée à l’évaluation, qu’il s’agisse de textes de théorisation ou de préconisations d’ordre pratique (Bouniol et Vial 1997). Deux champs en sont particulièrement friands : l’éducation (Ardoino et Berger 1986 et 1989) et les politiques publiques (Bozio 2014). Elle peut se décliner en études soit qualitatives (sur le ressenti des bénéficiaires…), soit quantitatives (analyse d’impact, analyse coût-bénéfice…) sur une variété de critères et des évaluations ex ante (Blanchet et al. 2016) ou ex post et des approches économétriques ou politiques (Viveret 1989).

Dans le champ culturel français, les résultats de l’évaluation ont fait l’objet d’analyses et de débats réguliers, dont les plus récents ayant donné lieu à publication se sont déroulés à Paris lors des 7e Journées d’économie de la culture et de la communication (Nicolas et Gergaud 2016). L’évaluation des institutions et des équipes musicales a fait l’objet de réflexions au sein du service de l’inspection de la création artistique du ministère de la Culture sur le cadre méthodologique (Guide actualisé en 2017) et sur la déontologie (Charte de 2005). L’évaluation de la politique du spectacle vivant (musique, danse, théâtre) a donné lieu à un rapport (Loiseau 2014). De manière globale, on assiste à une généralisation de la mesure de la performance. Si l’on resserre la focale sur l’évaluation de la médiation de la musique, les travaux francophones disponibles sont peu nombreux (Jacob 2012, Lauret 2017).

Repartons de l’étymologie pour approcher par étapes d’une définition de l’évaluation de la médiation culturelle de la musique. Si l’on en croit les dictionnaires, la première mention du verbe « esvaluer » remonte à 1366[1]. Comme l’indique son préfixe, c’est l’opération qui consiste à extraire la valeur de quelque chose. Les verbes employés pour qualifier cette opération dessinent deux modalités : déterminer ou fixer la valeur, qui lui donne une couleur objective, celle de la mesure ; l’apprécier ou l’estimer, qui introduit une dose de subjectivité[2]. Entre ces deux modalités, c’est tout l’écart entre une mesure à exécuter et un jugement à élaborer.

Dans le champ des politiques publiques, une première question surgit pour préciser ces premières ébauches de définition : « par rapport à quoi » les actions sont-elles évaluées ? Existe-t-il un critère préalable ? Si oui, l’évaluation se trouve cantonnée à une opération de contrôle, le contrôle de l’adéquation entre les résultats et les objectifs, avec la dimension gestionnaire du contrôle de l’utilisation des moyens dévolus. Dans ce cas, l’évaluation va être focalisée sur des questions de méthode et de technique.

Si au contraire la référence est évolutive ou complexe, alors la question de la valeur revient au centre et l’évaluation se présente comme le résultat d’une double interrogation portant non seulement sur les résultats, mais aussi sur les objectifs. C’est la dimension critique de l’évaluation. Dans la mesure où le choix des buts ne relève pas de la science, les interroger redonne sa dimension politique à l’évaluation. Dans le jeu des allers et retours entre questionnement des réalisations et questionnement des objectifs apparaît également une dimension récursive de l’évaluation, qui fait de l’évaluation non plus seulement un outil de contrôle des politiques publiques, mais un outil d’orientation des choix politiques.

Une deuxième question, qui fait souvent défaut dans les définitions de l’évaluation, est pourtant de taille ! « Qui » évalue ? Bien sûr, s’il s’agit d’une simple mesure des résultats, la délégation de l’évaluation à des personnes ayant la compétence technique pour le faire ne pose pas de problème, dès lors qu’à cette compétence se joignent les garanties de transparence et d’indépendance du travail d’évaluation. Si en revanche, il s’agit d’une évaluation critique ou récursive, la compétence technique ne suffit pas et il convient alors d’aménager un pluralisme des regards. C’est la position de Patrick Viveret (1989, p. 15-16) : « On ne saurait sans danger oublier qu’avant d’être un ensemble de techniques, l’évaluation est un acte politique […] l’organisation pluraliste de la demande et de l’offre d’évaluation est une condition de son développement et de sa qualité démocratique[3] ».

La complexité féconde de la médiation

Dans l’évaluation de la médiation culturelle de l’art, ces questions se posent de façon particulièrement forte. Une première raison tient à la diversité des formes de médiation, qui confronte l’évaluation quantitative à des limites de comparabilité et donc d’agrégation de résultats[4]. Pour les pratiques collectives instrumentales, il s’avère impossible de comparer les travaux d’évaluation qualitatifs existants en raison de la variabilité de la taille des groupes, du volume horaire hebdomadaire et du nombre d’années dévolues à chacun des programmes (Lauret 2017)[5].

La difficulté la plus intéressante est celle qui résulte de la complexité intrinsèque des dispositifs de médiation, et ce, pour deux raisons principales. Pour évaluer des actions ou des programmes institutionnels de médiation culturelle de l’art, il n’est en effet pas possible de traiter séparément la question des critères de jugement de la question de savoir « qui » juge. Parce qu’elles associent plusieurs parties prenantes, parce que ces parties prenantes appartiennent à des mondes professionnels différents, les actions de médiation sont un creuset dans lequel les attentes s’expriment différemment selon l’environnement dans lequel a lieu la rencontre : monde éducatif, monde socio- éducatif, monde du handicap, monde hospitalier, monde carcéral… L’évaluation de la médiation se déploie au croisement des attentes de chacun de ces mondes et le travail va consister à formuler ce qui peut être commun dans les objectifs et la place de chacun dans la mise en oeuvre des actions.

Par ailleurs, il n’est pas non plus possible d’isoler le seul temps d’un bilan ex post. L’évaluation se trouve déployée dans les différents temps des actions. Dans le temps de leur conception, dans le ou les temps de leur réalisation et enfin dans le temps du bilan critique. Avec l’évaluation de la médiation apparaît la nécessité de passer de la seule évaluation a posteriori par un·e spécialiste à une évaluation partagée et continue. Dans cette perspective, l’évaluation se constitue comme outil de la médiation.

Musique et médiation

La pratique de la musique, qu’elle prenne la forme de l’écoute, du chant, du jeu instrumental ou de l’invention (composition, mixage, arrangement) fait l’objet d’une médiation dès lors qu’elle se produit dans un dispositif qui permet la rencontre d’univers différents. C’est le contexte qui différencie la médiation de l’apprentissage, comme celui proposé dans les conservatoires, où la pratique s’inscrit dans un cursus et sera évaluée sur la base des étapes d’un parcours technique et expressif mesurable. Les critères techniques et expressifs qui sous-tendent l’évaluation artistique des enseignements de conservatoire n’ont pas de sens dans un contexte de médiation. L’enjeu est ailleurs, et la musique est ici convoquée comme médium d’une rencontre qui vise à la fois une expérience sensible individuelle et collective et un partage culturel, social et institutionnel. Souvent la médiation est définie à partir d’une typologie des actions, selon la place qu’y prend la parole (visite, présentation…) ou la pratique (atelier, …) dans des espaces physiques ou numériques… fort intéressante, mais qui est de peu d’utilité pour évaluer si elle n’est pas articulée aux objectifs de ces actions. D’où l’expression adoptée ici de « médiation culturelle de la musique », qui situe la musique non pas tant comme la finalité de la médiation que comme le moyen d’une rencontre pour faire culture ensemble. À ce titre, ce que la « qualité » musicale vient attester sans doute dans l’expérience sensible d’un contexte de médiation, c’est l’accordage, à travers la découverte d’un espace et de modalités expressives, entre le surgissement de singularités et le sentiment de faire partie d’un collectif[6]. La fonction culturelle de la médiation de la musique passe par ce double saisissement. Loin des enjeux de maîtrise technique, l’écoute, au sens le plus fort de disponibilité à l’inconnu de l’autre et/ou de soi, devient la condition de la qualité, d’une part de l’expérience, et d’autre part de la réalisation sonore ou musicale. Le réagencement des valeurs qui s’opère dans l’évaluation de la médiation pourrait à son tour questionner les fondements d’une évaluation artistique ou pédagogique dans les contextes d’évaluation plus courants de la création, la diffusion ou l’enseignement dans les conservatoires.

La présentation de cinq études récentes permet de présenter différentes modalités de réflexion sur l’évaluation de la médiation culturelle de la musique. La première permet d’observer la manière dont des lieux de création et de diffusion musicale en musique classique et en musiques actuelles envisagent l’évaluation d’un panel de 23 actions de médiation. Il en ressort, sans entrer dans la description des actions, que la pratique de l’évaluation y est pour le moment tâtonnante. La deuxième étude qui porte sur l’évaluation qualitative par l’Institut français de l’Éducation d’une opération en milieu scolaire, menée par l’Opéra de Lyon, montre l’importance de construire une culture commune des objectifs. La troisième étude, confiée à des chercheur·e·s en psychologie, a été menée en transversalité artistique (musique, danse, théâtre et arts plastiques) dans les champs scolaires et périscolaires. L’apport de cette étude concerne les conditions de réalisation des actions de médiation autour des effets du dispositif (relatifs à l’institution) et du cadre (relatifs à l’expérience). La quatrième étude, portée par la Fondation Carasso, a été retenue moins pour son objet – les conservatoires – que pour la visée de l’évaluation – leur impact social et citoyen –, pour la méthode participative employée pour définir les enjeux de l’évaluation et pour le kit d’évaluation de l’impact des projets artistiques à vocation sociale qui en résulte. La cinquième étude, conduite par l’Opéra de Paris dans le contexte scolaire et avec un cadre méthodologique d’évaluation non participatif, met en regard un volet quantitatif et un volet d’entretiens, constate la présence d’écarts entre les deux et finalement questionne la pertinence d’une méthode chiffrée ayant engagé de lourds moyens.

Une approche tâtonnante de l’évaluation

Dans la vie des lieux de musique, l’évaluation de la médiation, sans doute du fait de son caractère relativement récent, complexe et sensible, n’est pas pour le moment une pratique aisée.

La Direction générale de la création artistique du ministère de la Culture a mené une étude sur les enjeux de 23 actions de médiation conduites dans 19 lieux labellisés de la musique (Courant et Pébrier 2017) portés par des Centres nationaux de création musicale (2 actions), des Opéras (6 actions), des orchestres (7 actions) et des Scènes de musiques actuelles (8 actions). Les partenaires de ces actions étaient principalement le monde scolaire et universitaire (50 %), le monde culturel (conservatoires et autres établissements culturels, 16 %), le monde social (11 %) et plus marginalement le monde carcéral (4 %) et celui de la santé (2 %), auxquels s’ajoutent les propositions individuelles (2 %) et les programmes mixtes (15 %).Cette étude montre en effet que l’évaluation est peu pratiquée : peu de bilans par action, ni quantitatif, ni qualitatif, ni budgétaire, moins encore de réflexion prospective où l’analyse des fragilités permette de faire évoluer la proposition de médiation culturelle[7].

Dans les cas où l’action a fait l’objet d’une évaluation, celle-ci s’appuie sur les témoignages des personnes qui ont pris part à cette action. La présentation de témoignages est bien entendu une dimension forte de l’évaluation de l’action, dans la mesure où elle donne la parole aux acteurs, mais elle gagnerait à être accompagnée d’une réflexion sur la méthode[8] et sur les enjeux, notamment en termes institutionnels, expérientiels, sociaux et esthétiques.

Un premier tâtonnement apparaît dans une tendance hagiographique de l’évaluation. La frontière est souvent poreuse entre communication et évaluation. La présence d’un questionnement sur la mise en oeuvre, les fins et la méthode est rare. De plus l’évaluation des effets des actions de médiation est orientée quasi exclusivement du côté des « destinataires » : enfants, adolescents, adultes, patients, détenus, migrants… Les effets pour les artistes sont rarement mentionnés[9] et l’évaluation ne dit rien de l’effet pour l’établissement en termes de positionnement, de capacité d’innovation et de coopération d’un point de vue culturel ou territorial. D’ailleurs elle est rarement partagée avec les partenaires[10], et parfois même est déléguée à des expert.es du champ scientifique. Ce flottement de l’évaluation peut être lu comme le fruit de l’instabilité des objectifs des actions de médiation et de leur statut dans le projet des établissements.

Un deuxième tâtonnement tient à la difficulté à déplier la question du « comment ? », beaucoup d’établissements rapportant comme évaluation la simple liste des objectifs[11]. Lorsqu’un établissement met au crédit de son action qu’elle « a fait se rencontrer des personnes issues de plusieurs catégories sociales », on peut se demander si la valeur porte sur la rencontre en tant que telle ou sur la « façon » dont la rencontre s’est déroulée et ce que les uns et les autres en ont retiré. Parler du comment, c’est mettre l’expérience au centre. En effet, la « valeur » d’une action de médiation se mesure-t-elle au nombre de personnes concernées ? À la capacité à faire un geste en réponse à une consigne ? Dès lors qu’on pose que la médiation se distingue de l’enseignement et ne peut être ramenée à un pré-enseignement, alors il importe de ne pas se cantonner à la nature de l’acte artistique proposé, mais de se centrer sur l’expérience des participant·e·s et de ce qui en résulte.

Le troisième tâtonnement tient aux impensés sociaux ou esthétiques présents dans les discours de certains établissements. Un impensé, spécifique au champ musical, qui sous-tend la distinction entre « pédagogie » et « médiation »[12]. L’action pédagogique s’articulerait au cadre scolaire (degré élémentaire, collège, lycée), universitaire ou aux conservatoires, tandis que les actions de médiation concerneraient le champ social, hôpital, prison, migration inclus. Force est de constater qu’une valeur distincte est attribuée dans les deux cas. La pédagogie se voit accordée une valeur supérieure à la médiation : comme si la pédagogie incarnait la noblesse de la transmission, tandis que la médiation serait attachée aux valeurs de solidarité[13]. Des impensés esthétiques aussi. Le premier concerne la question de l’écriture musicale, le second l’écoute. Quand on lit que l’action « a aboli la mise à distance du musical, de la technique, par le jeu collectif et l’inventivité[14] », l’axiome implicite est que l’écriture et la technique sont des obstacles à la musique. La question peut être intéressante, mais n’est pas univoque, car l’écriture peut aussi être un mode d’accès à une forme d’expérience musicale. Dans le cas présenté, cet axiome n’était pas nécessaire pour se demander ce que le jeu collectif et l’inventivité produisent comme effets. L’implicite valeur de l’immédiateté est également perceptible dans les propos sur l’écoute : le projet a permis de « repenser la relation du musicien et de l’auditeur… Il évite la frontalité pour créer une intimité et une écoute immersive[15] ». Clarifier l’implicite permet d’enrichir l’évaluation. Dans ce cas, cela permettrait de s’interroger sur les avantages ou les inconvénients attendus de la frontalité, ou encore les avantages ou inconvénients d’une écoute immersive. Les travaux du sociologue Emmanuel Pedler (2003) sur l’opéra montrent notamment que l’expérience de la voix peut aussi être source d’angoisse et valident le besoin de médiation.

Voyons si d’autres études peuvent offrir des points d’ancrage pour faire de l’évaluation de la médiation un espace de travail en commun sur le sens des actions et plus largement des projets des équipes et des lieux. Les études présentées maintenant ont expérimenté des manières d’évaluer les actions de médiation. Au-delà des différences de démarches liées aux disciplines auxquelles elles se rattachent, nous tenterons de mettre en relief les points saillants de convergence ou de frottements en lien avec les enjeux généraux de l’évaluation énoncés précédemment.

Opéra à l’école, 2011-2014 : construire une culture commune des objectifs

L’Opéra national de Lyon a expérimenté une évaluation partagée du projet « Opéra à l’école » conduit sur trois années scolaires, de 2011 à 2014, par trois artistes en résidence (un musicien-compositeur, une comédienne-conteuse, un plasticien) dans un territoire inscrit en Contrat urbain de cohésion sociale, à Vénissieux[16]. Le montage du projet a été exemplaire à plus d’un titre[17] et notamment du fait des modalités de l’évaluation du projet pensées ab initio, l’équipe évaluatrice étant intégrée à la co-construction du projet (Maire Sandoz et Martin-Dametto 2015). Ces modalités, élaborées dans une logique participative, ont impliqué l’ensemble des acteurs du projet et se sont déployées dans la temporalité double d’une évaluation concomitante et d’une évaluation a posteriori. Les différentes étapes de l’évaluation, au rythme de deux par an, ont permis de faire évoluer le projet[18]. L’évaluation continue est ainsi apparue comme un outil permettant l’accompagnement réflexif des acteur·rice·s du projet, leur permettant d’ajuster leurs manières de faire et dans ce même mouvement de mieux intégrer la complexité des objectifs visés depuis les différentes places professionnelles et institutionnelles des participants. Le rapport a eu le mérite de ne pas masquer les tensions qui se sont manifestées à l’occasion du projet, tensions qui portaient pour l’essentiel sur des enjeux d’altérité – reconnaissance professionnelle, question de l’autorité :

L’étude sur trois ans montre assez bien que ce qui est vécu comme une remise en cause des compétences des uns relève souvent d’une méconnaissance de la culture professionnelle ou des contraintes de métier de l’autre. Les sphères d’activités de chacun, les logiques de métier, donnent raison à tous. Seuls des espaces d’échanges et de régulation permettant de communiquer, de partager ses inquiétudes, de travailler ensemble, artistes et enseignants, peuvent permettre de dépasser le stade des préjugés et des représentations au service d’une collaboration efficiente.

Ibid., p. 122[19]

Dans ce projet, l’évaluation a eu des effets critiques et heuristiques. Critiques, car le projet a questionné les modes d’évaluation des élèves par les enseignant.es (appréciation et/ou note, évaluation individuelle et/ou collective) et plus globalement fonctionné comme révélateur de questions sur l’école et sur l’art. Heuristiques, car l’évaluation a révélé chemin faisant que les pratiques pédagogiques des enseignant.es pouvaient s’ouvrir à de nouvelles formes : davantage d’oralité, de liberté corporelle y compris dans l’organisation spatiale de la salle de classe… L’évaluation, en relevant ces effets sur le cadre et les environnements professionnels des différentes parties prenantes, a apporté une réponse décalée par rapport aux objectifs énoncés à l’origine, qui étaient à la fois d’ordre scolaire, personnel et culturel[20]. Laisser ouverte la possibilité de ces écarts est sans doute le gage de la fécondité de l’évaluation.

Comme dans l’étude qui va maintenant être présentée, l’étude conduite par l’ife montre que la présence des évaluateur·rice·s aux côtés des artistes et des partenaires représente un élément facilitateur de la conduite du projet. Elle contribue au travail de sens qui est nécessaire pour constituer une culture commune des objectifs. Il apparaît à travers ces expériences que l’accompagnement, qu’on l’appelle évaluatif, réflexif ou compréhensif, est un des leviers de la réussite d’un projet.

L’étude commandée par la dgca, 2016-2017 : la fonction du dispositif institutionnel et le cadre de l’expérience

Une recherche qualitative a été commandée en 2016 par la Direction générale de la création artistique (dgca) du ministère de la Culture à une équipe de chercheurs en psychologie clinique sur les effets des actions de médiation culturelle auprès d’enfants et d’adolescents durant le temps scolaire et périscolaire Il ressort quelques points communs dans la conduite de l’évaluation avec l’étude précédente, indépendamment des différences de champ disciplinaire des chercheurs, d’un côté en sciences de l’éducation et anthropologie, de l’autre en psychologie clinique d’orientation psychanalytique.

Le premier volet de la recherche (Gozlan 2017) s’est appuyé sur une observation in situ des actions de médiation avec la présence de binômes de recherche à chacun des ateliers. Plutôt que l’observation du résultat final qui aurait focalisé l’attention sur la qualité artistique, l’observation continue de l’ensemble du processus était nécessaire pour repérer les enjeux psychiques de la médiation du point de vue subjectif et groupal. Composée de neuf personnes, l’équipe de recherche était en lien avec une équipe d’inspectrices dans la définition de la méthode, l’observation et la relecture des analyses, d’où un premier niveau de croisement des regards, du vocabulaire et plus largement des références professionnelles. La dimension participative de la recherche était également présente dans le second volet de la recherche (Gozlan 2018a), cette fois en impliquant les enfants et les adolescent·e·s ayant participé à ces mêmes ateliers, les entretiens ayant pour objectif de recueillir les traces de cette expérience un an après l’avoir vécue. La participation rétrospective des jeunes à l’évaluation des actions de médiation avait pour objectif de compléter l’évaluation, en confortant ou en infirmant certains points de l’évaluation experte.

Le travail a consisté à repérer au fil des ateliers ce que la rencontre avec la pratique artistique produisait comme effets. Des situations aisées, d’autres plus difficiles, conduisant à un surgissement fécond ou bien restant irrésolues... L’évaluation a également produit une montée en généralité théorique, où les notions de dispositifs et de cadre sont apparues comme jouant un rôle central.

Le terme de dispositif a été employé au sens de structure qui permet la mise en relation et l’interactivité de divers éléments : des personnes, des institutions, des matières artistiques et scolaires, toutes jouant un rôle pour initier la rencontre avec l’objet artistique. La recherche est ainsi passée de l’évaluation des effets à la définition de critères pour que la rencontre produise des effets bénéfiques et a ainsi contribué à la clarification des objectifs méthodologiques :

Quatre invariants sont apparus comme déterminants dans la réussite des actions de médiation culturelle : le partenariat entre les diverses structures participantes au projet (co-construction et co-réalisation du projet), l’expérience sur plusieurs années de ces projets et de leur mise en place (co-évaluation et ajustement du projet), l’articulation des places et rôles de chacun, l’importance de la dimension sensible au regard d’une pédagogie directive et normative.

Gozlan 2018b, p. 2

Si la notion de dispositif permet de qualifier la dimension complexe du projet et de positionner l’évaluation à l’échelle institutionnelle, la notion de cadre se situe au niveau des ateliers, où il remplit « trois fonctions essentielles pour les enfants et les adolescents : une fonction de réassurance, une fonction de mise en sens et une fonction stabilisatrice de l’expérience » (ibid.). Pour qualifier le type d’expérience de la médiation, Isabelle Orrado envisage deux lectures possibles du cadre : d’un côté une conception du cadre comme conformité, un cadre dans lequel il s’agirait de faire entrer l’enfant.

Transmettre son savoir à un enfant qui ne sait pas, permet au pédagogue de rendre conforme l’individu à ce qu’on attend de lui. Il s’agira là de ce que nous nommerons une pédagogie de conformité, un « répétez tous en choeur ». (Orrado, citée dans Gozlan 2017, p. 207-208)

De l’autre côté, une pratique artistique qui invite les participant.es à se tenir devant le cadre, envisagé cette fois comme une ouverture. Dans ce cas, la pratique artistique permet « de rencontrer ce point d’intime propre à chacun et toujours étranger à soi-même : “jouez chacun à votre rythme, cela donnera une fréquence à laquelle la troupe résonnera”[21] » (ibid., p. 208).

En installant ces points d’appui théoriques que sont les notions de dispositifs et de cadre, l’étude a permis d’affiner les enjeux des actions de médiation, non plus seulement du point de vue des réalisations artistiques et d’une qualité qui serait observable en soi, mais du côté de l’expérience sensible. Ce que le regard de psychologues clinicien·ne·s, rompu·e·s à l’observation fine des mécanismes psychiques, apporte, c’est l’attention à ce qui favorise le développement de la subjectivité individuelle, et en découvrant la part d’étrangeté qui est en soi, permet de mieux se relier aux autres et de s’inscrire dans une dimension culturelle. La focale ici aussi a été déplacée de la qualification des résultats à un questionnement des objectifs et à des propositions quant aux conditions de possibilité de ces objectifs reformulés.

L’évaluation comme médiation

De l’observation d’un dispositif de médiation, il ressort que chaque intervenant·e a un rôle et une fonction bien spécifiques, et que tou·te·s sont indispensables au fonctionnement de l’expérience d’ouverture créative, l’artiste bien évidemment, mais aussi le ou la médiateur·rice culturel·le et les enseignant·e·s[22]. La qualité du dispositif de médiation dépend de l’articulation des mondes artistique, scolaire et aussi familial :

Les intervenants qu’ils soient artistes, médiateurs, enseignants ont cette fonction de liant […].
La disponibilité de l’artiste ou du médiateur à l’autre, à son style, à ses difficultés et à ses trouvailles, ainsi que la possibilité de pouvoir improviser une réponse artistique à partir de cela est sans doute un des leviers essentiels de l’efficacité de la médiation culturelle.

Gozlan 2018b, p. 3-4

La qualité attendue de l’artiste c’est de se rendre disponible à ce contexte, de faire preuve de souplesse et d’adaptabilité et de considérer ces différentes situations comme des enjeux de création.

Comme l’évaluation du projet lyonnais, la recherche conduite par les psychologues s’est construite dans un feuilletage des regards[23]. Comme à Lyon, la présence régulière de l’évaluation a permis des ajustements importants des actions. L’importance de la coopération de l’ensemble des parties prenantes n’est pas seulement utile pour l’organisation du projet, elle est nécessaire pour construire un environnement relationnel favorable, elle permet de prendre en charge certains éprouvés négatifs vécus par les jeunes dans leur rencontre avec l’art, elle favorise l’élaboration d’un récit qui fasse sens. Le travail d’ajustement interpersonnel est aussi un travail d’ajustement interinstitutionnel qui, même s’il peut paraître chronophage, est essentiel pour une bonne médiation. Dans ce contexte, pour jouer son rôle d’intermédiaire entre monde interne et externe, la qualité principale de l’objet musical c’est sa malléabilité, sa capacité à prendre forme, à prendre des formes[24].

On le constate avec ces deux études, lorsque l’évaluation endosse ces trois qualificatifs : continue, participative et récursive, qui semblent former une triade, elle devient, au-delà de la mesure des résultats de la médiation, un des outils de celle-ci dans le mouvement même par lequel elle relance la réflexion sur les objectifs.

La Fondation Carrasso, 2015-2016 : visées et méthodologie de l’évaluation

Dans son travail sur les écoles de musique en tant qu’écoles de la citoyenneté, la Fondation Carasso a associé le cabinet de conseil Nuova Vista à sa démarche d’évaluation de l’impact social associant les 33 porteurs de projets soutenus par la fondation. De cette démarche partagée est issue un kit d’évaluation de l’impact des projets artistiques à vocation sociale[25] : ce kit est composé de la « Boussole » qui répertorie quatre impacts clés et 19 indicateurs qui permettent de les évaluer, ainsi que du « Catalogue d’impact », qui compte 170 indicateurs complémentaires, à disposition des porteurs de projets s’ils souhaitent enrichir la Boussole. S’y ajoutent des outils de collecte des données à mobiliser (questionnaires, échelles d’évaluation, entretiens individuels et collectifs) et enfin quelques bonnes pratiques issues des enseignements tirés des deux années d’expérimentation avec les porteurs de projet. Ce kit constitue un document de référence qui réussit le pari difficile de la simplicité tout en déplaçant les représentations courantes. Il apporte une contribution précieuse à la définition des visées et des méthodologies d’évaluation de la médiation.

La dimension participative y est centrale avec l’association de l’ensemble des parties prenantes. Comme dans la méthodologie des droits culturels développée par Païdeïa[26], un des premiers bénéfices de cette méthodologie est interne. Le travail du sens au sein de la ou des structures porteuses du projet, s’il ne va pas de soi au début, conduit à une meilleure appropriation des objectifs, à une conscience plus forte du rôle de chacun·e et à une motivation renforcée. L’arrière-plan humaniste de la démarche s’exprime dans l’éditorial de la Boussole : « Quels meilleurs regards que ceux d’hommes et de femmes sur le terrain, pour saisir les changements créés par l’éducation et les pratiques artistiques et montrer leur contribution à l’épanouissement personnel et la construction d’une dynamique citoyenne ? » (Fondation Daniel et Nina Carasso 2018a, p. 2).

La dimension continue est affirmée comme nécessaire : « Il est important de calibrer le pilotage de la démarche : il doit être intégré au projet dès sa conception » (ibid., p. 16). La Boussole recommande d’anticiper l’évaluation, afin que les objectifs de l’évaluation, le périmètre, les temporalités, les parties prenantes fassent l’objet d’une discussion ouverte et constructive où se partagent les différentes attentes. Cet amont de l’évaluation est également un moment en soi de travail du sens, un moment où l’enjeu est de s’accorder. Enfin, les dimensions participatives et continues de l’évaluation sont aussi liées à la dimension récursive. En s’intéressant à la vocation sociale des projets de médiation, la méthodologie déplace la focale souvent placée sur les apprentissages pour la situer sur le développement des capabilités et renforce ce faisant la conscience d’un droit pour tous[27].

La récursivité apparaît alors comme doublement importante, car elle permet de consolider les objectifs et car elle crée une dynamique autour des conditions de possibilité de réalisation de ces objectifs. Elle est enfin l’occasion de questionner les pratiques et de susciter leur évolution.

L’évaluation comme travail d’accordage

Créer l’espace d’une interrogation commune sur les objectifs devient la posture du professionnel de l’évaluation qui n’est pas tant chargé de déclarer la valeur des actions que de faire en sorte que cette valeur s’élabore en commun. Dans ce commun des acteur·rice·s et des destinataires se joue beaucoup plus que la publication de résultats. Ce qui est en jeu, c’est un accordage professionnel, social, culturel entre les attentes, valeurs et identités des différentes parties prenantes. C’est un travail de chaque instant, de l’amont de l’évaluation à sa restitution. Produire une objectivation des résultats qui accueille la parole de tou·te·s et favorise un tissage en commun, c’est bien sûr utile pour optimiser le pilotage des projets, mais c’est surtout envisager l’évaluation comme médiation, c’est affirmer une dimension performative de l’évaluation dès lors qu’elle se positionne comme travail en commun du sens.

Les pratiques d’évaluation de la médiation sont dans un moment expérimental. Dans les exemples présentés précédemment se dégagent des lignes de force qui témoignent d’un tournant où le référentiel des sciences « dures » fondé sur le paradigme de l’objectivité semble céder le pas à une évaluation où la subjectivité n’est plus rejetée, mais au contraire valorisée dès lors qu’elle s’élabore. Pour ce faire les outils de l’approche psychanalytique sont la neutralité bienveillante, l’auto- observation et l’écoute flottante[28], tandis que ceux de l’approche collective pragmatique reposent sur la confrontation des regards.

Pour situer en quoi ces démarches se démarquent d’approches plus traditionnelles, nous prendrons un seul exemple où la production chiffrée, si elle est remarquablement encadrée d’un point de vue scientifique, produit peu d’effets dynamiques sur les acteurs, sur les objectifs et sur les leviers d’optimisation des résultats.

Dix mois d’école et d’opéra, 2003-2018 : quali versus quanti

Commandée par l’Opéra national de Paris, l’étude sur l’impact du dispositif d’éducation artistique et culturelle « Dix mois d’école et d’opéra » (dmeo) a été conduite sous la direction du sociologue Philippe Coulangeon[29]. Composée d’une étude quantitative portant sur plus d’un millier d’élèves de 2003 à 2018 sur le territoire d’Île-de-France, elle a cherché à mesurer la relation entre la participation à dmeo, les notes au Diplôme national du brevet et au contrôle continu ainsi que les décisions d’orientation en fin de troisième[30]. La méthodologie de cette étude est imposante et s’appuie sur la collaboration des services de la Direction de l’évaluation, de la prospective et de la performance (depp) du ministère de l’Éducation nationale, avec laquelle une convention d’accès aux données du Fichier anonymisé pour les études et la recherche (faere) a été signée en juillet 2015[31]. La rigueur scientifique se manifeste également dans une vigilance méthodologique à l’égard des différents biais, qui a conduit les chercheurs à utiliser la méthode d’analyse contrefactuelle avec un groupe contrôle soigneusement constitué par la technique d’appariement par score de propension[32].

Cette étude permet d’établir plusieurs résultats très satisfaisants. Tout d’abord l’analyse de l’échantillon confirme la surreprésentation des élèves issu·e·s des classes populaires (employés ou ouvriers) et de parents inactifs ou chômeurs. Le programme dmeo touche donc bien la population visée, à savoir un public scolaire socialement défavorisé. L’étude montre également l’augmentation globale des notes au brevet et au contrôle continu pour les élèves ayant participé au programme dmeo[33]. La différenciation des effets selon le milieu social des élèves, mesurée par la catégorie socioprofessionnelle du ou de la responsable légal·e, est très nette. En effet, l’impact de la participation au programme apparaît plus prononcé et plus significatif pour les élèves de parents employés ou ouvriers que pour les élèves de parents cadres ou issus des professions intermédiaires. Cet impact valide la dimension redistributive du programme, prioritairement ciblé sur des élèves issus de ces catégories, et constitue à ce titre un des enseignements majeurs de cette évaluation. Enfin, l’élève qui a participé à dmeo a plus de probabilité de s’orienter vers une seconde générale et technologique qu’un·e élève apparié·e non participant au programme[34].

Au travail quantitatif s’est joint un travail qualitatif à travers huit entretiens avec des élèves ayant participé au programme en 2009-2010[35], complété par le dépouillement des Carnets d’Opéra et le Journal de dmeo réalisé en fin d’année scolaire, à destination des publics, qui consigne des témoignages de participant·e·s, élèves et enseignant·e·s. Cette partie de l’étude fait apparaître sur une échelle réduite, quelques discordances dans la réception du programme. Les sentiments d’émerveillement de la visite, de soulagement par rapport aux contraintes scolaires que représente la sortie de classe à Paris (Coulangeon 2018, p. 38), côtoient des sentiments d’intimidation, de distance sociale, parfois même de résistance au projet (ibid., p. 42), et pour certains élèves qui adhèrent au programme, des conflits de loyauté par rapport à leur environnement familial ou amical.

Plusieurs limites de l’étude sont soulignées par les rédacteur·rice·s. D’un côté, disent-ils, « l’impact de dmeo ne saurait être strictement circonscrit au domaine des effets chiffrables et mesurables » (ibid., p. 121). D’un autre côté, le statut des sources de l’étude qualitative est

pour des raisons différentes, relativement fragile. Nous les avons principalement exploitées ici dans le but de contextualiser et d’éclairer les résultats de l’analyse statistique des effets du programme sur les résultats scolaires présentée dans la section suivante. Le travail sur archives et à partir des entretiens rétrospectifs ne saurait remplacer l’enquête de terrain qui n’est par définition pas réalisable a posteriori.

Ibid., p. 135

En déclarant que l’évaluation de l’impact excède l’approche chiffrée et que l’évaluation qualitative optimale est celle de terrain, car elle est contemporaine des actions, les rédacteur·rice·s invitent à considérer des manières d’évaluer autres et implicitement à interroger un investissement dans des méthodologies hypercomplexes pour une réponse incomplète, d’autant qu’ils remarquent que le lien entre le programme dmeo et les résultats scolaires qui est l’objet de l’étude quantitative, apparaît peu dans les entretiens. Reste la limite qui tient au portage institutionnel de l’étude, qui apparaît dans la postface rédigée par la responsable de la médiation à l’Opéra national de Paris qui est visiblement orientée par des enjeux de communication.

Après avoir mis en comparaison les trois dimensions de continuité, de participation et de récursivité dans quelques études, il est intéressant de revenir sur ce qui peut fonder d’un point de vue théorique l’importance de la participation au coeur de l’évaluation de la médiation.

Intelligence collective et « empowerment evaluation »

Pour fonder la légitimité de l’évaluation partagée, les travaux sur l’intelligence collective apportent de précieux enseignements. Largement valorisée, l’intelligence collective a fait l’objet de nombreux travaux, allant du potentiel du cyberespace dans une perspective anthropologique (Lévy 1994) à la contribution au vivant (Cristol et Joly 2017). De son côté, Émile Servan-Schreiber (2018) s’intéresse aux conditions permettant d’optimiser le fonctionnement de l’intelligence collective. L’important n’est pas tant la qualité des neurones des personnes qui composent un groupe que la qualité de la communication au sein du groupe. La réponse à une question posée à un groupe sera d’autant meilleure que la répartition de la parole sera équilibrée et que le groupe préfèrera la confrontation des points de vue à la conformité et prouvera par là sa capacité à exprimer les différences et à associer l’ensemble des parties prenantes à la réflexion[36]. Les entreprises les plus innovantes ne sont pas celles qui dépensent le plus d’argent, mais celles qui impliquent le plus les salarié·e·s dans l’effort d’idéation. Un troisième facteur décisif de réussite est la composition du groupe, sa diversité sociale et culturelle ainsi que la proportion de femmes présentes dans le groupe. Les chercheur·e·s lient ce constat à la capacité des femmes à répartir équitablement le temps de parole et à leur sensibilité sociale[37]. Ainsi, les résultats de l’intelligence collective amènent-ils à questionner les pratiques de l’évaluation individuelle par des experts et à repenser le positionnement de ceux-ci au milieu et en accompagnement de collectifs composés sur un principe de diversité.

Les écrits sur l’évaluation partagée et participative sont de plus en plus nourris (Jacob et Ouvrard 2009[38], Ridde 2006, Monnier et Baron 2003[39], Carton 2006[40]). Ils montrent que plus le processus repose sur l’implication des participant·e·s, moins l’intervenant·e dirige le processus, et plus on a de chance d’obtenir les effets escomptés. Ce sont les conditions d’une évaluation qui développe les capacités de chacun·e, d’une « empowerment evaluation » (Miller et Campbell 2006).

On rejoint ici la différence évoquée initialement entre des procédures qui « s »’appliquent et un cadre pensé comme un espace destiné à favoriser des interrelations et des confrontations. D’un côté une approche technicienne, réglementaire, qui comporte le risque d’une clôture sur soi et d’une déresponsabilisation, de l’autre un cadre ouvert où se développe une dynamique commune.

Si la recherche de l’efficience conduit à considérer l’évaluation partagée, bâtie sur la diversité et l’équilibre du collectif, comme la condition de son succès, l’évaluation partagée se fonde également sur les évolutions législatives récentes qui mettent la participation au centre des droits culturels (Fetterman et Wandersman 2005). Dans cette approche, le processus évaluatif gagne à la fois en fiabilité des résultats, en renforcement de la capacité des acteurs et en meilleure appropriation des résultats de l’évaluation.

L’évaluation dans le référentiel des droits culturels

Les droits culturels ont été introduits dans le droit français dans un contexte marqué ces dernières années par une évolution profonde des pratiques d’évaluation des politiques publiques aussi bien en interne de la fonction publique d’État et territoriale, qu’en externe dans la relation posée avec les acteur·rice·s sectoriel·le·s, les citoyen·ne·s, voire les populations. La démarche des droits culturels au regard de l’évaluation conduit à revisiter les pratiques d’évaluation dans plusieurs dimensions : les « objets » évalués, la valeur recherchée, la relation aux personnes, la place de l’évaluateur·rice/expert·e et la méthode. Les droits culturels sont aussi une méthode d’observation et de fabrication de la valeur, du côté d’une élaboration commune. Le déplacement qui s’opère est celui d’un accès du plus grand nombre à l’élaboration de la valeur.

Dans les travaux d’évaluation mis en place par Païdeïa[41], la participation part des équipes des projets et des lieux. Cette participation à l’observation est nécessaire, non pas tant pour favoriser la collecte des données que parce qu’elle induit un mouvement d’interrogation et donc de transformation favorable au développement et à la qualité des projets. Le processus d’observation permet de montrer comment s’opèrent des enrichissements, voire des acquis en termes d’expériences, de savoirs, de capacités, etc., et de repérer ce qui, dans la présence d’autres acteur·rice·s et dans les interactions qui se développent entre elles et eux, y contribue plus ou moins. La valeur est envisagée de façon globale, par rapport au projet bien sûr, mais aussi par rapport à ses interconnexions avec le territoire[42].

Le fait de donner la parole aux personnes, qu’elles soient usager·ère·s ou non des structures culturelles, dans le cadre de l’évaluation reste toutefois rare, difficile à mettre en oeuvre et peu pratiqué dans le champ culturel. L’avis du Conseil économique, social et environnemental (cese) de novembre 2017 sur la démocratie culturelle préconise une représentation des associations dans les organes de gouvernance des lieux.

Par ailleurs, à l’occasion d’un travail sur la cohésion sociale, le Conseil de l’Europe a élaboré en 2005 un guide méthodologique où se trouvent des propositions d’évaluation par domaine de vie. Celles-ci sont rapportées aux droits de l’homme parmi lesquels sont mentionnés les droits culturels, après le droit à l’éducation et à l’information. Les indicateurs proposés pour la culture témoignent de l’opportunité offerte par les droits culturels de pousser plus loin l’ambition des politiques publiques. Si l’accès à la culture et le développement du niveau culturel des personnes restent un objectif important, les politiques publiques se fixent pour objectif également de veiller à ce que les conditions des interactions entre les différentes expressions culturelles, le développement des capabilités des personnes dans toutes les étapes et dimensions de la vie, les conditions de participation, la prise en compte des plus vulnérables... soient réunies. C’est l’enjeu d’une culture vue du côté non plus seulement des objets artistiques, mais aussi comme lien.

Difficulté méthodologique, atout politique

On l’a vu, l’évaluation de la médiation culturelle se heurte à des obstacles pour réaliser une mesure des actions, du fait de son caractère multiforme et du fait qu’elle ne peut s’extraire de son ancrage dans la vie commune et des débats qui la traversent, ce d’autant plus qu’elle prétend être une des modalités régulatrices de la vie sociale.

Cette difficulté méthodologique se retourne en atout politique. Puisque l’expertise ne peut être portée par un seul regard, fut-il scientifique, le croisement des regards des participant·e·s, artistes, médiateur·rice·s, enseignant·e·s, parents, responsables culturels et politiques est nécessaire. Ce croisement appelle une méthodologie continue, participative et récursive, où l’évaluation devient un outil au service de la médiation. Ce croisement présente des avantages importants. Par la dynamique d’altérité, il produit des effets de déplacement et d’interrogation des pratiques de chacun. Il relance les pédagogies comme les processus de création, modifie le regard que portent les partenaires sur leurs « publics »… Il met au travail le sens des actions, les places, responsabilités et légitimités.

Comme toute évaluation, mais de manière amplifiée, le lieu de l’évaluation de la médiation est politique. Par l’espace et la dynamique qu’elle suscite, quand elle est aménagée dans la perspective d’un travail en commun du sens, elle pourrait bien être le laboratoire dans lequel se pensent les conditions d’une évaluation démocratique du champ culturel.