Corps de l’article

Introduction

Les sociétés sont de plus en plus confrontées à de multiples défis, qu’ils soient en lien avec la pauvreté, les problèmes environnementaux, économiques, ou encore sur le plan de la santé publique et de l’éducation. Alors que plusieurs programmes sont mis en place pour y remédier, une reddition de comptes s’est imposée avec le temps afin de légitimer et d’optimiser l’allocation des ressources qui sont mobilisées, celles-ci n’étant pas illimitées. Ce constat permet de comprendre l’émergence de l’évaluation de programme qui est exigée afin de certifier le renouvellement d’un financement.

Pour sa part, la pratique de l’évaluation est également confrontée à de nombreux défis, notamment en ce qui a trait à l’indépendance de la personne évaluatrice et à la valeur accordée aux conclusions générées (Picciotto, 2020). En effet, plusieurs personnes évaluatrices témoignent de pressions exercées pour ajuster les résultats lorsque ceux-ci ne correspondent pas aux attentes de certains groupes d’intérêt. Elles se trouvent ainsi contraintes à défendre leurs conclusions afin de préserver leur intégrité et cela se révèle d’autant plus véridique en temps de crise (Jakubik, 2020) ou de contextes sociaux fortement polarisés.

Des membres de la communauté évaluative se sont grandement intéressés à la qualité de l’évaluation, sur le plan des décisions tant stratégiques que méthodologiques (House, 1980 ; Hurteau et al., 2012a ; Hurteau & William, 2014). Leurs résultats suscitent une réflexion à l’égard de la question de la crédibilité du jugement et, plus spécifiquement, à l’égard des conditions qui garantissent sa recevabilité et son acceptabilité aux yeux des parties prenantes. Ces travaux ont permis de générer des façons de modéliser le processus sous-jacent à la production d’un jugement crédible en évaluation. Celles-ci s’appuient en grande partie sur la posture de personnes professionnelles. Or, considérant les défis actuels, il apparaît de plus en plus opportun d’observer dans quelle mesure cette vision est aussi partagée par l’ensemble des parties prenantes concernées. Ce questionnement est d’autant plus légitime que la pratique actuelle tend vers une démocratisation de l’évaluation qui favorise les approches participatives (Bourgeois & Hurteau, 2018 ; Brandon & Fukunaga, 2014 ; Cousins et al., 2013 ; Fetterman et al., 2017 ; Fleischer & Christie, 2009 ; Greene, 2006 ; Mathison, 2005 ; Orr, 2010 ; Torres-Cuello et al., 2018 ; Whitmore, 1998). Ainsi, comment ces parties prenantes, porteuses d’intérêts, perçoivent-elles la démarche évaluative et quelle crédibilité accordent-elles aux résultats générés ? Quels sont les facteurs qui contribuent à cette crédibilité et en quoi la perspective des parties prenantes se distingue-t-elle de celle des personnes qui évaluent ? Une compréhension approfondie de ces questions pourrait éventuellement aider à envisager des modalités toutes aussi innovantes qu’efficaces pour que les démarches d’évaluation entreprises soient en mesure d’atteindre leurs finalités, c’est-à-dire de porter un jugement et d’éclairer la prise de décision. Le présent article relate une recherche qui s’est intéressée à ces questions (Marchand, 2020). En développant une compréhension approfondie de ces enjeux, il sera possible d’envisager des stratégies permettant d’assurer la recevabilité des résultats par l’ensemble des parties prenantes.

Cadre conceptuel

La crédibilité du jugement

Le terme crédible, du latin credibilis, signifie sur le plan étymologique « que l’on peut croire, croyable ». Ainsi, la crédibilité est tributaire d’une certaine subjectivité individuelle et culturelle (Mabry, 2009). Au même titre, l’évaluation peut être reconnue comme une « réalité pluraliste », les connaissances qui en émergent étant subjectives et contextuelles (Dubeau et al., 2018 ; Dubois & Marceau, 2005 ; Guba & Lincoln, 1989). Du coup, un manque de confiance à l’égard de la personne évaluatrice ainsi que du processus évaluatif peut entraver l’implantation d’une évaluation, de même que la recevabilité des résultats qui en découlent (Taut & Alkin, 2003).

Si l’idée du recours à des choix méthodologiques judicieux permet d’éviter une telle impasse (Brandon & Fukunaga, 2014 ; Chen, 2004 ; Donaldson et al., 2009 ; Mertens & Hesse-Biber, 2013), la validité et la rigueur, bien qu’essentielles, ne peuvent à elles seules garantir la crédibilité d’une démarche évaluative et de ses résultats (Chelimsky, 2006 ; Greene, 2006 ; Hurteau et al., 2012b ; Mabry, 2009 ; Schwandt, 2009). D’ailleurs, selon Fleming (2011), les parties prenantes qui ne possèdent que peu d’expertise en matière d’évaluation peuvent être moins portées à considérer les aspects méthodologiques. Ainsi, pour Toulemonde (2005), Mabry (2009) et Smith (2011), il est nécessaire de rendre compte adéquatement des différents points de vue des personnes concernées. Schwandt (2009) résume la situation de la façon suivante : « […] however necessary, developing credible evidence in evaluation is not sufficient for establishing the credibility of an evaluation » (p. 209). En ce sens, l’implication des parties prenantes permet d’aspirer à ce que l’évaluation soit plus sensible à leur réalité ainsi qu’au contexte, tout en favorisant une meilleure représentativité des groupes en présence (Brandon & Fukunaga, 2014 ; Cousins & Chouinard, 2012 ; Dagenais et al., 2012 ; Hansen et al., 2013 ; Harnar, 2014 ; Luskin & Ho, 2013). Ultimement, elle représente une stratégie permettant une meilleure réceptivité des résultats de l’évaluation (Chadillon-Faranacci et al., 2022 ; Fetterman et al., 2017 ; Rodriguez-Campos & Rincones-Gómez, 2012).

Puisque la crédibilité du jugement semble intimement liée au point de vue des parties prenantes, il s’avère nécessaire de s’intéresser à ce concept.

Les parties prenantes

Taut et Alkin (2003) soulèvent le fait que différents éléments propres aux parties prenantes peuvent influencer l’implantation efficace d’une évaluation. Ces éléments concernent entre autres leur confiance à l’égard de la personne évaluatrice, leurs connaissances et leurs expériences antérieures en matière d’évaluation, les craintes entretenues relativement aux résultats et aux bénéfices de l’évaluation ainsi que leur personnalité. À cela s’ajoute le fait que les parties prenantes sont variées et qu’elles occupent des fonctions distinctes selon leur expertise, leur champ de compétences et leurs habiletés spécifiques.

Diverses catégorisations ont été élaborées pour regrouper les différents types de parties prenantes (Daigneault & Jacob, 2012 ; Nelson, 2009 ; Weiss, 1983) et bien que les propositions comportent certaines variations, les regroupements qu’elles mettent de l’avant demeurent essentiellement similaires. La typologie suggérée par Daigneault et Jacob (2012) se révèle applicable dans la majorité des contextes évaluatifs, car elle met en évidence le lien de proximité et les différentes perspectives des groupes de parties prenantes par rapport au programme évalué. Le tableau 1 expose quatre grands groupes : 1) les personnes décisionnaires, conceptrices et gestionnaires du programme ; 2) les responsables de la mise en oeuvre du programme ; 3) les bénéficiaires (directement et indirectement) et les tierces personnes négativement affectées par un programme et 4) la société civile.

Tableau 1

Typologie des différents groupes de parties prenantes

Typologie des différents groupes de parties prenantes
Adapté de Daigneault & Jacob, 2012, p. 242

-> Voir la liste des tableaux

Il ressort de cette présentation que les parties prenantes peuvent entretenir une variété d’intérêts (organisationnels, professionnels et personnels) (Dubeau et al., 2018) et qu’elles peuvent ne pas détenir une expertise ou une expérience en matière d’évaluation. En ce sens, leur perception quant à la crédibilité d’une démarche d’évaluation et à la crédibilité du jugement qui en découle est susceptible d’être distincte de celle de la personne qui évalue, qui ancre notamment sa pratique au coeur de convictions éthiques ainsi que sur des intérêts scientifiques (Chadillon-Farinacci et al., 2022), cherchant à impliquer les parties prenantes afin de produire ultimement un jugement scientifiquement valide et socialement légitime (Champagne et al., 2011 ; Thiebaut et al., 2011).

Le processus de « crédibilisation » du jugement : une modalité pour rendre opérationnelle la crédibilité

Les résultats de Hurteau et al. (2012a, 2012b) ainsi que de Hurteau et Williams (2014) et Hurteau et al. (2016) ont permis de conceptualiser une modélisation afin d’assurer la crédibilité du jugement évaluatif qui est composée de six principes s’énonçant comme suit :

  1. Le jugement crédible est le fruit d’un processus itératif qui se produit dans le cadre d’une rencontre entre la personne qui évalue et les parties prenantes, lesquelles sont appelées à entretenir une collaboration constante et une conversation soutenue tout au long de la démarche d’évaluation ;

  2. Les choix méthodologiques rigoureux assurant la validité constituent une condition essentielle, mais insuffisante pour garantir la crédibilité ;

  3. Le processus de gestion de l’information collectée dans le cadre de la démarche gagne à être empreint de souplesse et d’adaptabilité ;

  4. Le parcours pour générer un jugement crédible est rarement linéaire, l’argumentation étant une dimension essentielle à l’activité évaluative, car c’est elle qui permet d’établir le lien entre le jugement qui est généré et les données collectées ;

  5. La contribution des parties prenantes est essentielle, notamment, car celles-ci constituent une importante source d’information, mais également puisque ce sont elles qui accordent la crédibilité ;

  6. La production d’un jugement crédible requiert de la part de la personne évaluatrice des qualités particulières tant professionnelles que personnelles.

En résumé, le caractère essentiel de la contribution des parties prenantes (Hurteau et al., 2018) ainsi que les qualités personnelles requises de la part de la personne évaluatrice ressortent comme des facteurs importants assurant une crédibilité, sur le plan tant de la démarche que des résultats générés et des jugements formulés (Houle et al., 2018 ; Hurteau et al., 2020 ; Hurteau & Archibald, 2023 ; Hurteau & Gagnon, 2022). Considérant que cette modalisation a été développée en s’appuyant sur les témoignages de personnes professionnelles de l’évaluation, il est pertinent de se demander dans quelle mesure elle peut s’appliquer aux parties prenantes qui sont porteuses d’intérêts divers. Comme annoncé antérieurement, une compréhension approfondie de cette réalité aidera à envisager des modalités innovantes et efficaces pour assurer la recevabilité des résultats évaluatifs.

Méthodologie

Tout comme dans l’enquête menée par Hurteau et al. (2012a, 2012b), il a été décidé d’effectuer des entrevues individuelles en profondeur auprès des parties prenantes, non pas dans l’optique de valider les résultats qui viennent d’être exposés, mais plutôt afin de mieux comprendre leur perspective. Les personnes participantes de l’étude ont été sélectionnées sur une base intentionnelle, en fonction de leur participation actuelle ou antérieure à une démarche d’évaluation. La sélection a commencé par un échantillonnage par réseau, puis a été combinée à une démarche élargie réalisée grâce à un repérage sur Internet (organisations affichant sur leur site Web un rapport d’évaluation ou énonçant une participation à une démarche d’évaluation, par exemple). Cette technique a permis de sélectionner des personnes participantes qui incarnaient un exemple d’intérêt (Patton, 2015) et d’initier une prise de contact par courriel pour la diffusion du message d’invitation à participer à l’étude. La démarche a par ailleurs obtenu la certification d’un comité d’éthique institutionnel.

Au total, 27 personnes ont été interrogées, celles-ci étant rattachées à des organisations offrant des services variés et relevant de différents secteurs d’intervention. Toutes oeuvrent sur le territoire québécois, à l’exception de l’une d’entre elles qui est issue d’une autre province canadienne. Malgré diverses tentatives de sollicitation, aucun entretien n’a pu être réalisé auprès de bénéficiaires de programmes évalués. Le tableau 2 résume le profil des personnes ayant pris part à l’étude.

De façon générale, les expériences évaluatives relatées répondaient à des objectifs variés ; une importante proportion de celles-ci visait une analyse de la qualité des services offerts ainsi que la documentation des résultats à court et moyen termes auprès des clientèles bénéficiaires. Plusieurs de ces évaluations ont été pilotées par une ou des ressources externes à l’organisation (n = 21).

L’utilisation d’un guide d’entretien précisant des questions générales et des sous-questions à formuler a permis d’orienter le déroulement des entrevues. Les questions se voulaient à caractère exploratoire en fonction d’une situation concrète vécue et choisie par les personnes participantes. Cette situation pouvait représenter un cas positif, un exemple d’évaluation crédible, c’est-à-dire en laquelle elle croit, à laquelle elle accorde une valeur, ou qu’elle associe à une évaluation de qualité et de confiance. À l’inverse, un cas négatif est un exemple d’évaluation non crédible, soit à laquelle elle n’adhère pas, à laquelle elle n’accorde que peu de valeur et de confiance, ou pas du tout, ou qu’elle juge de moindre qualité. Ces situations ont ainsi favorisé l’amorce des entretiens exploratoires, permettant également de comparer différentes expériences vécues. Plusieurs éléments ont été discutés au regard de l’influence qu’ils peuvent avoir sur la crédibilité de l’évaluation et des résultats qui en émergent : implication lors de l’évaluation, compétence de la personne évaluatrice, interactions avec la personne évaluatrice, nature et présentation des résultats de l’évaluation, etc.

Tableau 2

Profil des personnes participantes interrogées1

Profil des personnes participantes interrogées1

1. Ces informations reflètent les fonctions, les domaines d’intervention et les secteurs principaux du profil des personnes participantes à l’étude. Une même personne peut assumer plus d’une fonction et intervenir dans plus d’un domaine et plus d’un secteur, ce qui explique que les effectifs identifiés dépassent le nombre total de personnes participantes interrogées.

-> Voir la liste des tableaux

Les entretiens ont duré en moyenne 35 minutes et ont fait l’objet d’un enregistrement audio, avec l’accord des personnes participantes. Les entretiens se sont poursuivis jusqu’à l’atteinte d’une saturation théorique (Charmaz, 2006), c’est-à-dire jusqu’à ce que le fait de collecter des données additionnelles n’apporte plus de nouvelles informations. Les données ont été colligées avec le logiciel NVivo. L’analyse de type inductif, inspirée de Thomas (2006), s’est déroulée en quatre étapes : 1) la préparation des données brutes ; 2) la lecture approfondie des données brutes ; 3) l’identification et la description des premières catégories et 4) la révision et le raffinement des catégories. Le codage a été réalisé en suivant une logique inductive modérée, reconnaissant l’influence du cadre conceptuel qui précède à titre de référentiel général à la démarche et non en tant que structure rigide (Paillé & Mucchielli, 2016 ; Savoie-Zajc, 2018) et sans avoir recours à une grille d’analyse spécifique afin que les données recueillies tracent la « trame d’analyse » (Savoie-Zajc, 2018, p. 207). Afin d’assurer la rigueur du procédé analytique, une vérification externe de la clarté des catégories a été effectuée auprès des personnes participantes à différentes reprises lors du déroulement de la démarche ainsi qu’auprès d’un chercheur externe.

Les limites

Parmi certaines limites méthodologiques qui exercent une influence sur les résultats de l’étude, il y a le nombre restreint de personnes participantes aux entretiens ainsi que le manque de représentativité de certains groupes de parties prenantes dont certaines sont essentielles (bénéficiaires de programmes). Ces limites écartent la possibilité de généraliser les résultats. Comme les parties prenantes inhérentes à un programme et à son évaluation demeurent variées et porteuses d’intérêts divers, elles ne partagent assurément pas les mêmes perceptions à l’égard de l’évaluation et de ce en quoi consiste une évaluation crédible.

De plus, il importe de reconnaître que les expériences évaluatives auxquelles ont fait référence les personnes interrogées lors des entretiens ont été essentiellement de nature positive. La comparaison initialement prévue avec les évaluations qualifiées de négatives n’a donc pas été possible. Cette situation amène à supposer que les personnes participantes retenues pour l’étude peuvent entretenir certaines prédispositions favorables à l’évaluation. Il est plausible que ces personnes qui ont accepté de prendre part à un entretien, par leur nature ou par leur personnalité, entretiennent un intérêt marqué pour les pratiques évaluatives et qu’elles soient enclines à adhérer à un exercice évaluatif. En ce sens, les facteurs d’influence de la crédibilité décrits plus tôt semblent relever de contextes spécifiques, propices à la conduite d’une évaluation. Dans certaines situations plus polarisées, l’espace participatif comme le nomment Chouinard et Milley (2016) est tout simplement inexistant. Dans pareils cas, l’évaluation peut alimenter les tensions déjà présentes et être marquée par une opposition claire de groupes de parties prenantes, ce qui rend ardu le déploiement d’un véritable dialogue. Les dimensions d’influence de la crédibilité perçues par les parties prenantes issues de contextes plutôt hostiles seraient certainement très différentes de celles qu’ont relevées les personnes participantes à l’étude. En ce sens, la personne lectrice doit être consciente du fait que les résultats de l’étude trouvent une application dans les contextes où certaines prédispositions favorables à l’évaluation sont présentes.

Résultats

Quel est le point de vue des parties prenantes quant à certains facteurs influençant la crédibilité qu’elles accordent, sur le plan tant de la démarche d’évaluation que du jugement qui en découle ? Les facteurs d’influence qui émergent de l’étude concernent les différentes finalités évaluatives poursuivies dans le cadre de l’évaluation, la collaboration entre la personne évaluatrice et les parties prenantes, leur contribution respective à la démarche d’évaluation ainsi que certaines considérations méthodologiques.

Les facteurs liés aux finalités évaluatives poursuivies

Aux yeux des personnes interrogées, une évaluation est pertinente si elle répond à un besoin réel et si ses résultats sont utiles. En ce sens, elle représente un outil d’analyse et d’aide à la prise de décision. Elle fournit l’information nécessaire pour apporter des ajustements à la programmation et pour améliorer les services offerts, mais elle sert aussi à appuyer les demandes de financement auprès des bailleurs de fonds. Le témoignage qui suit montre cette double finalité associée à l’évaluation par les parties prenantes :

Je pense que ça permet de renforcer l’image qu’on a, comme des gens professionnels qui ne [font] pas juste des choses comme ça, sans trop réfléchir. Non, on réfléchit à ce qu’on fait, comment on le fait, pourquoi on le fait et on veut avoir des preuves de ça. Pour augmenter aussi notre crédibilité et pour après revendiquer du financement. Si j’arrive à démontrer que par mon projet, j’atteins tel et tel objectif, ça sera plus facile après de légitimer le fait de demander plus de financement pour ce projet.

Extrait tiré du verbatim d’un entretien

Pour les personnes questionnées, l’évaluation est aussi une occasion de réaliser des apprentissages pour développer une culture évaluative et pour renforcer leurs capacités en la matière, apprentissages qui sont facilités lorsque les parties prenantes sont impliquées pendant toute la démarche.

Les facteurs liés à la collaboration entre la personne évaluatrice et les parties prenantes

Une évaluation est crédible dans la mesure où elle est le fruit d’une coconstruction entre les parties prenantes et la personne évaluatrice, qui s’établit par l’entremise d’un dialogue véritable. Cette coconstruction permet de situer l’évaluation au coeur des préoccupations des parties prenantes et d’alimenter la personne évaluatrice dans sa familiarisation avec le programme et avec le contexte, grâce au partage de leurs champs d’expertise complémentaires. Lorsque cette collaboration dure pendant tout le processus évaluatif, l’instauration d’un climat de confiance et l’apparition des zones consensuelles s’en trouvent favorisées. Pour les parties prenantes, cela se traduit par la mise en place, dès le début du processus, de modalités communicationnelles favorisant les interactions entre les différentes personnes concernées, notamment afin que la planification de l’évaluation puisse tenir compte des besoins des parties prenantes.

Je pense que la communication, c’est vraiment la base. La communication entre les [évaluateurs] et l’équipe sur le terrain, les participants aussi. Je pense que c’est ça qui rend crédible, comparativement à quelque chose qui serait plus déconnecté. Je pense que c’est vraiment la communication. […] La réciprocité entre l’équipe d’[évaluation], l’équipe terrain et les participants.

Extrait tiré du verbatim d’un entretien

Les facteurs liés à la contribution des parties prenantes

Les parties prenantes mentionnent se percevoir comme les expertes du contenu à évaluer. Ainsi, elles peinent à accorder de la crédibilité aux résultats de l’évaluation si leur point de vue n’est pas pris en considération, comme en font état les propos de cette personne interrogée :

Je pense que pour arriver à trouver exactement ce qu’on veut évaluer et la façon dont on veut le faire, je pense qu’il faut qu’on soit plusieurs têtes et qu’on soit plusieurs regards qui se portent sur l’action. […] Je pense, de toute façon, que ça serait trop simple si ça pouvait être ça, parce qu’on sauverait du temps de le faire seul, au lieu de se battre pour se concerter et argumenter. Mais c’est ce qui fait que ça enrichit la démarche aussi et nécessairement ça enrichit aussi les résultats qui vont avec.

Extrait tiré du verbatim d’un entretien

Le cumul d’expériences évaluatives positives ainsi que l’appropriation du processus favorisent une amélioration de l’acceptabilité à l’égard de l’évaluation. Il semble important que la sélection des parties prenantes qui contribuent à l’exercice évaluatif soit mûrement réfléchie et réalisée dans un souci de représentativité. Selon les personnes participantes à l’étude, le déploiement du processus gagne aussi à être adapté à leur réalité afin qu’il ne soit pas trop lourd et n’interfère pas avec leurs tâches professionnelles habituelles. Plusieurs d’entre elles affirment être peu familières avec les pratiques évaluatives. Bien que leur implication dans la démarche soit associée à un engagement accru, elles perçoivent leur participation comme un ajout de travail. Cette situation est observée dans plusieurs milieux où les ressources sont limitées. Finalement, les personnes participantes à l’étude ont évoqué les défis subsistants liés à la mise en oeuvre des recommandations de l’évaluation pour leur organisation afin que le rapport évaluatif ne soit pas tabletté.

Les facteurs liés à la contribution de la personne évaluatrice

La personne évaluatrice est principalement campée dans un rôle d’accompagnement, partageant son expertise évaluative avec les parties prenantes. Selon les personnes interrogées, une fois bien imprégnée du contexte général, la personne évaluatrice doit faire preuve d’un esprit de concision et de vulgarisation afin de rendre accessibles les opérations dans lesquelles l’évaluation se déroulera. Au-delà du partage d’expertise, les personnes interrogées ont évoqué l’importance de l’approche relationnelle adoptée par la personne évaluatrice ainsi que son savoir-être, notamment dans sa façon de communiquer. Questionnée sur sa façon de percevoir l’apport de la personne évaluatrice, une personne participante énonce ceci :

Sa façon d’animer aussi. C’est une personne très conviviale. C’est une personne à qui on a le goût de se confier et de dire les choses aussi. Une personne qui a beaucoup d’ouverture, qui comprend rapidement les enjeux […]. Elle comprenait très rapidement quand on nommait des enjeux et elle rebondissait bien pour reposer les bonnes questions et aller pousser et aller creuser. Donc, elle avait autant les connaissances théoriques, en termes d’évaluation, que les connaissances du milieu, avec une attitude très positive et ouverte de coconstruction.

Extrait tiré du verbatim d’un entretien

De plus, en ce qui concerne la mise en oeuvre des recommandations de l’évaluation, la personne évaluatrice peut aussi jouer un rôle postévaluation afin de guider les parties prenantes dans leur appropriation des résultats de l’évaluation.

Ce qu’on s’est rendu compte, il faut vraiment que les gens qui nous accompagnent connaissent bien le travail de notre organisation, soient de très bons vulgarisateurs, connaissent bien ce qu’est l’évaluation, mais soient en mesure de bien le vulgariser auprès de[s] gens de l’organisme et de leur fournir les outils pour qu’après ils puissent l’utiliser. Et ça, c’est hyper important.

Extrait tiré du verbatim d’un entretien

Les facteurs liés aux considérations méthodologiques

Aux yeux des parties prenantes interrogées, les outils de collecte de données doivent s’harmoniser avec leur réalité professionnelle, mais aussi être adaptés à leurs destinataires (conviviaux, ludiques, compréhensibles). Elles tendent également à valoriser les données de type qualitatif. Bien qu’elles reconnaissent une complémentarité entre les données qualitatives et quantitatives, les parties prenantes rencontrées mentionnent apprécier la teneur des informations qualitatives, car celles-ci sont davantage significatives au regard de la nature de leur travail où la dimension humaine est essentielle.

Parce qu’en fait les chiffres intéressent très peu les intervenants terrain […]. Je pense qu’on ne travaille pas pour avoir des résultats chiffrés, on travaille pour accompagner l’humain dans son développement. C’est sûr que ça, il n’y a pas toujours un petit chiffre qui va apparaître au bout de ça […]. Je pense que le qualitatif est peut-être le résultat le plus important dans le travail que l’on fait. C’est sûr que pour [les] bailleur[s] de fonds, pour [eux], ce qui [leur] parle davantage [ce sont] des gens qui sont plus d’affaires […]. Cela dit, je pense que les bailleurs de fonds sont toujours très sensibles quand on leur présente des histoires de réussite de notre clientèle.

Extrait tiré du verbatim d’un entretien

En somme, ces différents facteurs peuvent constituer des conditions favorables ou défavorables pour l’émergence de la crédibilité de l’évaluation, sur le plan tant du processus que des résultats qui en découlent. Les nombreuses relations qui unissent ces facteurs d’influence permettent de dégager une meilleure compréhension de la façon dont peut se contextualiser la crédibilité aux yeux des parties prenantes.

Discussion

En guise de discussion, une comparaison des perspectives de la personne évaluatrice et des parties prenantes quant à la crédibilité est d’abord proposée. Cette comparaison est suivie d’un argumentaire mettant en lumière la nécessité d’effectuer un retour à la raison d’être de l’évaluation face à différents défis auxquels la pratique est confrontée. De façon générale, l’intérêt des résultats de l’étude ne réside pas nécessairement dans leur caractère novateur, mais plutôt dans le fait qu’ils tendent à confirmer certains aspects déjà connus de la communauté évaluative, mais entrevus sous la lunette des parties prenantes. Quoiqu’il en soi, les résultats ouvrent la porte à des réflexions pertinentes.

La comparaison des perspectives

La perspective entretenue par les parties prenantes quant à la crédibilité émanant de la recherche permet de réaliser différents constats lorsqu’elle est mise en relation avec celle de la personne évaluatrice (Hurteau et al., 2012a, 2012b, 2014 et 2016). La section qui suit présente les éléments de convergence et de divergence qui ressortent de cet exercice comparatif.

Les éléments de convergence

Trois dimensions similaires ressortent du discours des parties prenantes et de celui de la personne évaluatrice : 1) l’importance de la collaboration entre la personne évaluatrice et les parties prenantes ; 2) la contribution essentielle des parties prenantes et 3) la reconnaissance de la compétence de la personne évaluatrice.

Ainsi, le maintien d’une collaboration constante pendant toute la démarche d’évaluation s’avère important, sinon essentiel. Alors que la personne évaluatrice mentionne l’importance d’une conversation continuelle et soutenue, les parties prenantes soulignent pour leur part l’importance de privilégier des interactions de qualité et le dialogue, dès le début du processus évaluatif et pendant son déroulement afin qu’un consensus puisse éventuellement émerger. Hurteau et al. (2012a) avaient d’ailleurs souligné la relation entre le processus menant au jugement crédible et la participation active des parties prenantes. Le dialogue semble effectivement être une stratégie efficace pour amener les parties prenantes à prendre connaissance des résultats de l’évaluation qui émergent peu à peu et, ainsi, mieux en assumer la teneur.

La contribution essentielle des parties prenantes à la démarche d’évaluation ressort également comme une composante qui fait consensus dans les perspectives comparées. La personne évaluatrice souligne leur valeur pour documenter l’expérience, pour identifier des pistes de solution en cas d’impasse et pour assurer la crédibilité du jugement évaluatif qui en résulte. Les parties prenantes se considèrent comme les expertes du contenu et souhaitent participer dès le début du processus afin d’être en mesure d’établir la faisabilité opérationnelle de l’évaluation.

Finalement, selon ce que soutiennent de façon commune les deux perspectives comparées, la personne évaluatrice semble essentielle pour assurer le bon déroulement de l’évaluation et pour rendre davantage accessibles ses différentes étapes, notamment dans une optique de démocratisation de la pratique et de renforcement des capacités évaluatives organisationnelles.

La contribution des parties prenantes, mise en parallèle avec les défis, les impacts potentiels ainsi que les modalités de cette collaboration entre les parties prenantes et la personne évaluatrice, demeurent des thématiques sujettes à discussion dans le cadre de plusieurs publications (Chadillon-Farinacci et al. 2022 ; Dubeau et al., 2018 ; Fetterman et al., 2017 ; Leclerc & Lessard, 2015 ; Tello-Rozas et al., 2022 ; Torres-Cuello et al, 2018 ; Whitmore et al., 2017). Il en est de même pour la reconnaissance du rôle joué par la personne évaluatrice, élément que semble entériner la communauté évaluative. Le Référentiel des compétences professionnelles requises à l’exercice d’évaluation de programmes au Canada (Société canadienne d’évaluation, 2019, p. 6) le mentionne parmi les compétences relevant de la pratique contextuelle dont doit faire preuve la personne évaluative afin d’« assurer la mise en place de processus de réciprocité entre l’évaluateur et les parties prenantes afin de favoriser le partage des connaissances et de l’expertise et d’améliorer la compétence des parties prenantes en évaluation ». La personne évaluatrice demeure en ce sens un maillon central, car elle joue un rôle d’importance grâce au partage de son expertise (Bourgeois & Valiquette L’Heureux, 2018 ; Buetti, 2021).

Les éléments de divergence

Les éléments de divergence qui émanent de l’exercice de comparaison des perspectives concernent les finalités poursuivies dans le cadre d’une évaluation et les considérations méthodologiques. Bien que la réflexion entourant les divergences sur le plan des considérations méthodologiques soit importante, celle qui est associée aux finalités de l’évaluation s’avère assurément incontournable, mais ponctuée de divers questionnements, car elle tend à obliger un certain retour à la raison d’être de la démarche évaluative.

En ce qui concerne la divergence des perspectives sur le plan des finalités, le problème réside dans le fait que la personne évaluatrice se réfère au mandat qui lui est confié, à savoir, produire un jugement reflétant la réalité et qui s’avère crédible, c’est-à-dire en lequel il est possible de croire. Les parties prenantes, pour leur part, sont plutôt préoccupées par l’utilisation attendue des résultats de l’évaluation, qu’elles associent au maintien (ou non) d’un financement. Ce potentiel noeud d’achoppement est souvent exacerbé par le fait que, dans le cadre de sa pratique, la personne évaluatrice effectue la majorité de ses activités auprès des parties prenantes, alors que son mandat provient généralement d’instances supérieures qui souhaitent recevoir un regard lucide et indépendant sur le programme afin d’éclairer la prise de décision.

La comparaison des perspectives soulève par ailleurs diverses questions en ce qui a trait à la méthodologie. La personne évaluatrice insiste sur le maintien d’une rigueur, tout en reconnaissant que cette seule condition est insuffisante pour assurer la crédibilité du jugement évaluatif. Les parties prenantes valorisent quant à elles une instrumentation adaptée et accordent une valeur indéniable aux données qualitatives. Or, il est bien connu que si la conclusion ne satisfait pas un groupe d’intérêt, l’une des premières réactions est souvent d’analyser la méthodologie afin d’identifier des failles ou des manquements pour ultimement discréditer le jugement et les conclusions évaluatives. Plusieurs personnes ayant une expertise dans le domaine de l’évaluation pourraient en témoigner, ayant expérimenté de telles impasses de près ou de loin.

Le tableau 3 résume le propos ici exposé qui met en lumière les principales observations issues de l’exercice de comparaison des perspectives. En somme, alors que les points de convergence touchent les modalités liées à l’opérationnalisation de la démarche d’évaluation dans une perspective de crédibilité, il importe de relever que les points de divergence réfèrent à l’essence même de la démarche, à ses finalités, à sa raison d’être. Il s’agit possiblement d’un constat qui permet de comprendre pourquoi le problème de la crédibilité demeure encore d’actualité.

L’inévitable retour à la raison d’être de l’évaluation

L’analyse comparative des perspectives fait ressortir des points de vue qui peuvent apparaître irréconciliables, surtout en ce qui concerne les visées de l’activité évaluative. En effet, alors que l’évaluation a pour mandat de porter un jugement le plus objectif possible sur le rendement d’un programme dans une perspective de bien public (Greene, 2012), les parties prenantes, pour leur part, souhaitent qu’elle génère un résultat utile, c’est-à-dire confirmant le bien-fondé de leurs opérations ou de leur financement. Voilà deux positionnements qui soulèvent des défis, voire des conflits. La posture de la personne évaluatrice est d’autant plus complexe, quel que soit le domaine d’intervention, puisqu’elle nécessite une gestion des attentes de différents types de clients. Il y a d’une part, les personnes administratrices, qui sont souvent les mandataires de la démarche et qui veulent un portrait exhaustif et impartial de la situation afin d’être en mesure de prendre des décisions éclairées. D’autre part, se trouvent les personnes gestionnaires, rattachées aux programmes et avec lesquelles la personne évaluatrice est le plus souvent en interaction, qui souhaitent présenter les meilleurs résultats possibles afin d’assurer la poursuite d’un financement.

Tableau 3

Comparaison des perspectives

Comparaison des perspectives

-> Voir la liste des tableaux

Il n’est donc pas étonnant de relever des cas de figure bien concrets devenus problématiques puisque les conclusions évaluatives n’étaient pas celles espérées. Au cours des dernières décennies, le domaine de l’évaluation a envisagé des stratégies visant à amenuiser ces difficultés. La (possiblement) plus connue d’entre elles consiste à faire participer les parties prenantes à l’ensemble du processus évaluatif. Le postulat sous-jacent à cette idée consiste à engager les parties prenantes tout au long du processus afin qu’elles soient en mesure de réaliser que le programme a été documenté sérieusement et rigoureusement, facilitant du coup leur acceptation des résultats, même si ceux-ci s’avèrent en deçà de leurs attentes.

La réflexion entourant les résultats de la présente étude a pour effet de ramener au premier plan les fondements inhérents à la démarche évaluative, démarche au sein de laquelle il importe de considérer la participation des parties prenantes comme une stratégie, comme une modalité, et non comme une finalité en soi. En effet, à ce stade de la discussion, il peut être utile de rappeler les standards de vérité, beauté, et justice établis par House en 1980 pour déterminer la qualité d’une démarche d’évaluation. Selon ces trois fondements à la discipline, le jugement auquel aboutit une évaluation doit refléter la réalité, être présenté de façon acceptable et s’inscrire dans une perspective de justice sociale, c’est-à-dire constituer une solution pour les populations ayant des besoins. Au même titre, Lincoln et Guba (1985), qui prônent un engagement de la personne évaluatrice sur le terrain, considèrent que les résultats d’une évaluation ne devraient jamais surprendre les parties prenantes. En ce sens, le rôle de la personne évaluatrice consiste à déployer toutes les stratégies qui s’imposent pour mener à bien l’évaluation dans le respect des règles de l’art, et ce, tout au long du processus, afin d’accompagner adéquatement les parties prenantes.

Dans son chapitre intitulé L’apport de la sagesse pratique, House (2018) relate en détail l’exécution d’un mandat qui avait toutes les chances d’échouer. Son récit montre qu’il en a pourtant assuré le succès en prévoyant tous les obstacles, en mettant en place des stratégies afin de les éviter, en animant adéquatement, en proposant des solutions acceptables, réalistes et efficaces. Bref, il offre un exposé magistral de ce que constitue une démarche emprunte de sagesse pratique, tout en y révélant les différentes facettes de sa complexité. Ultimement, son témoignage indique que chacune de ses décisions a été axée sur le respect des personnes et sur la préservation de la qualité de la démarche, sans perdre de vue son mandat d’évaluateur. Cela s’avère essentiel. Est-ce possible, qu’avec le temps et l’évolution des pratiques en évaluation, certaines personnes aient perdu de vue cette raison d’être pourtant fondamentale, se concentrant plutôt sur les modalités (la participation des parties prenantes) ? Au regard de la multiplicité et de la diversité des intérêts des différentes personnes concernées dans le cadre d’une évaluation, ce questionnement trouve toute sa légitimité afin de garantir la qualité de la pratique face aux défis et tendances actuels dans le domaine.

Conclusion

La crédibilité accordée aux résultats d’une évaluation par les parties prenantes demeure une préoccupation importante dans la communauté évaluative, puisqu’elle vise à éviter que des résistances importantes soient soulevées ou que les conclusions évaluatives soient rejetées. Les solutions proposées jusqu’à ce jour pour orienter la personne évaluatrice qui fait face à de tels défis se traduisent bien souvent par la mise en place de stratégies participatives qui ne sont pas toujours efficaces. En effet, la question de l’acceptation des résultats demeure d’actualité.

La présente étude a mis en évidence l’écart possible des visions entretenues par la personne évaluatrice et par les parties prenantes, ce qui force le repositionnement des réelles visées de la démarche évaluative.

La participation des parties prenantes demeure une stratégie parmi d’autres pour approcher l’évaluation. Il faut toutefois reconnaître que dans certaines situations, de plus en plus fréquentes, les solutions sont difficiles à entrevoir pour accorder parfaitement les intérêts de l’ensemble des parties prenantes. Dans pareilles situations, la personne évaluatrice qui réussira à remplir son mandat est assurément dotée d’importantes habiletés interpersonnelles de façon à adopter une posture professionnelle éthique, responsable et empreinte d’une certaine sagesse. Comment les disciplines comme la médecine, les soins infirmiers ou la gestion, qui ont adopté cette perspective de sagesse pratique, pourraient-elles contribuer à développer le champ des connaissances en évaluation de programme ? La communauté évaluative pourrait-elle faire comme les personnes ouvrières qui, selon les observations d’Aristote, adaptaient les outils disponibles pour relever de nouveaux défis ? Cela est d’autant plus inspirant que cette approche a probablement orienté la construction des plus belles cathédrales de tous les temps.