L’évaluatrice externe comme médiatrice entre l’organisme communautaire et le bailleur de fonds

L’évaluation est une pratique qui rassemble plusieurs composantes d’un même rôle : capacité de recherche, d’analyse, de synthèse ; élaboration et application d’outils et de méthodes de collecte de données ; rédaction ; mathématiques et statistiques, etc. C’est d’ailleurs cette grande variété de tâches qui m’a tout d’abord attirée vers la carrière d’évaluatrice, et qui me garde tout aussi passionnée après six années de pratique. 

 Ce qui me plaît par-dessus tout dans l’évaluation, c’est qu’il s’agit d’un métier à vocation sociale, et d’une mesure concrète pour renforcer le secteur des organismes communautaires, grande priorité de mon activité professionnelle. C’est guidée par ces principes que j’exécute mes fonctions d’évaluatrice externe, et qu’au fil du temps, j’en suis venue à conclure que mon rôle d’évaluatrice avait en quelque sorte un rôle de médiation entre mes clients — les organismes communautaires — et leurs bailleurs de fonds. 

Dans cet article, je m’appuie sur mon expérience pratique pour explorer l’idée de l’évaluatrice comme médiatrice. En me penchant sur trois catégories d’intervention en évaluation — l’évaluatrice comme traductrice, l’évaluatrice comme alliée, et l’évaluatrice comme éducatrice — j’espère proposer une autre façon de penser à la relation entre l’évaluatrice, l’organisme et le bailleur de fonds. J’entreprends cet exercice de réflexion en toute modestie. Loin de vouloir prendre le crédit pour le travail important que mènent les organismes communautaires de première ligne avec lesquels je collabore, je pense qu’il est néanmoins utile d’examiner le rôle de l’évaluatrice externe. En comprenant les différentes facettes de ce rôle, il est alors plus facile de comprendre comment l’évaluatrice peut appuyer les organismes afin qu’ils optimisent leurs relations avec les bailleurs de fonds, et leur offre de services aux personnes qui en ont besoin.  

Vers une culture de la mesure du rendement dans le secteur communautaire

En tant que consultante en évaluation, j’ai le privilège d’accompagner des organismes communautaires dans l’évaluation de leurs activités et de leurs programmes. Mes clients sont des organismes qui offrent des services aux membres de communautés marginalisées, telles que les personnes utilisatrices de drogues, les personnes immigrantes et réfugiées, les personnes incarcérées, et les personnes issues de la diversité sexuelle et de genre. Ces organismes reçoivent leur financement de bailleurs de fonds publics, tels que les instances gouvernementales provinciales et fédérales, de fondations, et de sociétés privées par leurs programmes de responsabilité sociale. Les organismes consacrent une bonne proportion de leur temps et de leur énergie à interagir avec leurs bailleurs de fonds, soit lors du dépôt de demandes de financement, soit lors d’autres interactions visant à rendre des comptes.  

Parfois, le bailleur de fonds ne pose que des questions très générales, laissant à l’organisme une bonne marge de manoeuvre pour identifier les éléments importants de ses activités, et les méthodes requises pour en démontrer l’atteinte. Mais, de plus en plus, les organismes sont tenus de comptabiliser le fruit de leurs activités et d’émettre des rapports qui s’inscrivent dans une approche de mesure du rendement. Cela reflète des processus s’opérant à plus large échelle, y compris au niveau du Conseil du Trésor du Canada, dont la Politique sur l’évaluation et ses instruments a été remplacée par la Politique sur les résultats en juillet 2016.

Cette politique a pour objectifs de « contribuer à une meilleure réalisation des résultats à l’échelle du gouvernement » et « de permettre une meilleure compréhension des résultats que le gouvernement cherche à atteindre et atteint ainsi que des ressources utilisées pour y parvenir » (Secrétariat du Conseil du Trésor, 2016). Selon cette politique et les directives qui l’accompagnent, les Ministères sont tenus d’établir des objectifs clairs dans le cadre des programmes qu’ils entreprennent et financent, et de mettre en place des mécanismes de mesure du rendement pour rapporter l’atteinte des objectifs avec plus de transparence, et pour améliorer les programmes en analysant les résultats obtenus.

Même si les bailleurs de fonds ne relèvent pas tous directement du Conseil du Trésor, depuis quinze ans que j’oeuvre dans le secteur communautaire (dont plusieurs années comme gestionnaire de projets avant de devenir évaluatrice), je note une importance accrue octroyée à la mesure de la performance dans les attentes des bailleurs de fonds, y compris au niveau provincial/territorial et dans les fondations. Les formulaires de demandes de financement et de reddition de compte sont plus laborieux et plus détaillés qu’auparavant, et les organismes sont tenus de revisiter leur offre de services afin qu’elle s’aligne plus précisément avec une approche axée sur la performance. Ils doivent élaborer des objectifs qui incluent des cibles quantifiables, et mettre en place des processus et des outils qui permettront de démontrer l’atteinte des résultats ciblés.

Dans une mise à jour récente sur les pratiques en évaluation du secteur communautaire au Québec, on remarque que « les exigences générales en termes de reddition de comptes ont changé dans les dix dernières années. Ces exigences ont augmenté ou à tout le moins se sont transformées ». Les personnes ayant participé au processus de recherche nomment par exemple « le besoin de tout quantifier, de recueillir des données sur les effets à plus long terme ou d’obtenir des informations de nature qualitative » (Tello-Rozas et coll., 2022, p. 64). Dans ce contexte où les exigences varient d’un bailleur de fonds à un autre, une accompagnatrice à l’évaluation remarque :

Il y a vraiment une complexification puis il y a les acteurs autour de la table, etc. Donc c’est quasiment pour être évaluateur en contexte collectif, il faut, à la fois, que tu aies une expertise en évaluation, mais que tu aies une expertise aussi en processus collectif, en facilitation.

Tello-Rozas et coll., 2022, p. 90

L’évaluatrice comme traductrice

C’est dans ce contexte que mon rôle d’évaluatrice comme médiatrice/traductrice prend forme. D’une part, mon expertise et mon expérience me donnent une longueur d’avance pour déchiffrer les attentes du bailleur de fonds, y compris la terminologie spécifique à la mesure du rendement (indicateurs, extrants, objectifs à court, moyen et long terme, etc.). À première vue, ces termes peuvent sembler inusités pour le personnel qui consacre ses journées à offrir des services de première ligne aux personnes dans le besoin. C’est alors ma responsabilité d’expliquer ces termes et d’appuyer les organismes afin qu’ils puissent situer leurs activités dans des modèles comme les objectifs SMART et les cadres logiques, en ne perdant jamais de vue les principes qui motivent leur travail. 

Certes, le personnel d’organismes communautaires ne travaille pas sans logique ou cohérence. Bien au contraire, outre la clientèle elle-même qui demeure l’experte ultime de sa situation, les organismes sont bien placés pour connaître les besoins des personnes avec qui ils travaillent, et pour savoir comment les combler à court et moyen terme. Mais, tandis que les bailleurs de fonds exigent un exercice de quantification axé sur la mesure des résultats, le personnel des organismes communautaires opère plutôt dans l’action et dans un esprit d’empathie, cherchant à combler les besoins des personnes rejointes dans l’immédiat.

Comme évaluatrice, j’accompagne donc les organismes pour les aider à traduire ce qu’ils connaissent et ce qu’ils font déjà de manière implicite, pour que cela concorde avec les attentes explicites des bailleurs de fonds. Je les aide à déchiffrer les exigences d’évaluation et de reddition de compte, à situer leurs activités dans un modèle axé sur l’atteinte d’objectifs et la mesure du rendement, et à développer et appliquer des concepts et des plans d’évaluation. Je travaille avec le personnel de première ligne pour créer des outils qu’il pourra facilement intégrer à sa pratique, lui permettant de recueillir les données requises pour démontrer les retombées de ses interventions.

Ce processus de traduction dépend principalement des besoins de l’organisme et peut avoir lieu au tout début d’une démarche, alors que j’aide l’organisme à développer sa demande de financement pour s’assurer qu’elle corresponde aux lignes directrices de l’appel à propositions. Je peux aussi être appelée à m’impliquer à la toute fin d’un projet, alors qu’on m’invite à synthétiser les réalisations et les réussites de l’organisme en analysant les données d’évaluation et en rédigeant un rapport final qui cible le bailleur de fonds et répond à ses exigences. 

Lorsque je suis invitée à m’impliquer pendant toute la durée d’un projet, j’obtiens alors une vue d’ensemble que les organismes ne sont pas toujours en mesure d’avoir. Outre le roulement de personnel qui est souvent fréquent dans le milieu communautaire et qui fragilise la mémoire organisationnelle, il est parfois difficile de distinguer l’arbre de la forêt quand on mène un combat sur la ligne de front. En suivant l’évolution du projet sur une base continue, avec un grand intérêt ainsi qu’un certain recul, je peux ainsi fournir les réponses ou aider à trouver les informations demandées par le bailleur de fonds.

L’évaluatrice comme alliée

En règle générale, lorsqu’il accepte le financement d’un bailleur de fonds, l’organisme accepte aussi de répondre à ses exigences en matière de collecte de données et de reddition de comptes. Mais il arrive que les processus établis par le bailleur de fonds portent préjudice à la clientèle de l’organisme et, en tant qu’évaluatrice externe, je peux l’accompagner pour contester ces processus et l’aider à protéger ses bénéficiaires.

Par exemple, dans mon travail auprès d’organismes communautaires qui oeuvrent dans le domaine de la santé sexuelle, ou qui servent des personnes issues de minorités sexuelles ou de genre, il arrive parfois qu’un bailleur de fonds veuille obtenir des informations précises sur l’orientation sexuelle et/ou l’identité de genre des personnes rejointes. Ils s’attendent alors à ce que l’organisme pose la question à ses bénéficiaires afin de pouvoir fournir les données demandées, ce qui soulève un enjeu éthique.

En effet, quiconque s’y connaît un peu en matière de diversité sait que ces questions ne sont pas vides de sens. D’une part, elles peuvent soulever toute une gamme d’enjeux émotifs et personnels, alors qu’on exige de la personne de se révéler à autrui, même si elle ne souhaite pas le faire. D’autre part, poser ce type de question dans un contexte public, par exemple dans un formulaire d’évaluation qui doit être rempli à la fin d’une activité, peut parfois s’avérer dangereux. L’exemple le plus flagrant est celui du contexte carcéral, où demander aux personnes qui participent à une activité de dévoiler leur homosexualité ou leur transidentité est tout simplement trop risqué ; elles pourraient en subir des conséquences néfastes.

Il en va de même pour les catégories préétablies des bailleurs de fonds, qui ne concordent pas toujours avec les réalités vécues par les personnes. Le langage et les identités sont en constante évolution, que ce soit au niveau du genre ou d’autres catégories identitaires. La bureaucratie ne permet pas aux institutions d’évoluer au même rythme que les communautés, et les catégories proposées par les bailleurs de fonds ne sont pas toujours celles que choisissent les communautés pour se définir. Le fait de demander aux personnes d’employer des termes identitaires qui ne leur correspondent pas peut nuire à la crédibilité de l’organisme. 

Dans ce type de situation, il n’est tout simplement pas possible de recueillir certaines informations, car cela pourrait compromettre le bien-être des personnes rejointes, ou le lien de confiance qui existe entre l’organisme et sa clientèle. Je peux alors accompagner l’organisme pour expliquer qu’il ne lui est pas possible de fournir les données, et pour bâtir un argumentaire justifiant cette position. 

Je comprends bien que le bailleur de fonds ait besoin d’informations :

après tout, il s’agit là d’une des raisons d’être de mon métier. Mais pour moi, la priorité est d’abord et avant tout de veiller au bien-être des personnes qui reçoivent les services, et au maintien du lien entre ces personnes et l’organisme qui les appuie. Mon rôle d’évaluatrice externe m’offre ainsi la possibilité d’agir comme alliée pour défendre les intérêts des personnes concernées.

L’évaluatrice comme éducatrice

Lorsque je rédige un rapport d’évaluation pour un bailleur de fonds, je demande toujours à mon client s’il désire communiquer une information particulière à ce dernier. Cela ne nuit pas à la rigueur de mon travail qui est de mesurer, d’analyser et de rapporter ce qui a été fait, en utilisant mon oeil critique d’évaluatrice externe avec une certaine objectivité. Mais les bailleurs de fonds, souvent éloignés des réalités du terrain, ne comprennent pas toujours les facteurs qui déterminent les expériences des personnes marginalisées et des organismes qui leur fournissent des services. Comme évaluatrice/éducatrice, je peux aider à les éclairer sur ces enjeux.

Les rapports d’évaluation offrent une belle occasion d’éduquer les bailleurs de fonds au sujet de ces réalités. Je pense par exemple à la situation d’un des organismes avec lesquels je travaille, qui offre des services à une population marginalisée en contexte urbain. J’évalue un programme de formations offertes à la clientèle et aux partenaires de l’organisme. Ces activités de formation ont été mises en suspens en raison de la COVID-19 en mars 2020, alors que toutes les ressources humaines de l’organisme ont été affectées à la prestation de service d’urgence. 

Pendant au moins huit mois, les activités habituelles ont cessé pour permettre au personnel d’offrir le dépannage alimentaire et la distribution d’équipements de protection individuelle, et pour répondre aux autres besoins de base de leurs membres. Bien que les choses se soient replacées un peu depuis, la clientèle reste fortement affectée par les séquelles de la pandémie tant au niveau social et économique qu’au niveau de la santé mentale et émotionnelle. Tout en expliquant pourquoi il n’a pas été possible d’atteindre certains des résultats visés dans un tel contexte, les rapports d’évaluation permettent aussi d’expliquer aux bailleurs de fonds ce qui se passe dans la vie des personnes, en mettant l’accent sur le volet humain du travail, qui est parfois obscurci par les données quantitatives.

Les sections méthodologiques des rapports d’évaluation sont un autre élément propice à l’éducation, particulièrement en ce qui concerne les contraintes dans l’application des méthodes de collecte de données. Souvent, le bailleur de fonds demande beaucoup d’informations, ce qui nécessite des efforts de collecte de données importants. Par exemple, un autre organisme avec lequel je travaille offre ses services aux jeunes qui font face à des contraintes d’accès à l’emploi. Ce sont des jeunes qui ont bien souvent des problèmes de concentration, des troubles du déficit de l’attention, ainsi que des niveaux de littératie variables. D’avoir à compléter un questionnaire écrit peut s’avérer fort laborieux et risque d’empiéter sur le temps d’intervention. Pour les jeunes qui ne sont pas en mesure de lire le questionnaire ou de le comprendre, cela peut être démoralisant. 

Dans un tel contexte, je travaille avec l’organisme pour simplifier les outils et l’aider à développer des stratégies qui permettront de recueillir les données de manière plus facile et moins contraignante. Dans certains cas, il n’est tout simplement pas possible de recueillir toutes les données requises ; je me sers alors du rapport d’évaluation pour transmettre ces informations au bailleur de fonds et pour le sensibiliser aux limites possibles de ses exigences quand elles se butent aux réalités du terrain.

L’évaluatrice comme médiatrice — une position privilégiée

La lecture de ce texte vous laisse probablement entrevoir mon parti pris pour les organismes communautaires. Ces organismes sont mes clients et c’est au sein du milieu communautaire que je préfère investir mon énergie professionnelle. Cela dit, je ne veux certainement pas laisser sous-entendre que la relation entre les bailleurs de fonds et les organismes bénéficiaires est une relation antagoniste, ou que les bailleurs de fonds sont motivés par des principes malintentionnés. Bien au contraire, de part et d’autre, les bailleurs de fonds et les organismes communautaires veulent le bien des personnes et des communautés rejointes.

Cependant, leur vision et leur langage respectif ne concordent pas toujours, et c’est mon rôle, en tant qu’évaluatrice externe de faciliter une compréhension mutuelle entre les deux parties. D’une part, je peux aider à éduquer les bailleurs de fonds pour qu’ils prennent conscience des réalités du terrain et des populations qu’ils cherchent à rejoindre par leur financement. D’autre part, je peux accompagner les organismes afin qu’ils soient mieux outillés pour comprendre les attentes des bailleurs de fonds et pour y répondre, mais aussi pour les contester lorsqu’elles menacent le bien-être de leur clientèle ou le lien de confiance qui est essentiel à leur travail.

Il s’agit là d’un rôle privilégié, et j’apprécie grandement mes expériences collaboratives avec les organismes communautaires, dont la débrouillardise et le dévouement ne cessent de m’inspirer. J’espère que nos échanges leur sont également bénéfiques, et qu’au-delà de mon rôle d’évaluatrice externe/médiatrice, je contribue à accroître leurs connaissances et leurs capacités en évaluation et en mesure du rendement. Que notre collaboration dure un mois, deux ou cinq ans, l’une de mes priorités reste d’accroître la capacité de mes clients à comprendre les exigences des bailleurs de fonds et à y répondre, à pérenniser leur financement, tout en continuant de prioriser leur mission et le bien-être des personnes à qui ils offrent leurs services.