Corps de l’article

L’évaluation comme pratique attire l’attention de plusieurs chercheurs, chercheures, professionnels et professionnelles travaillant notamment avec les organismes communautaires dont les actions et interventions visent à influencer l’action collective et à contribuer au changement social. Dans le contexte spécifique du Québec, de nombreux travaux ont été réalisés au cours des années 1990 et 2000 afin de mieux connaître les pratiques d’évaluation au sein des organismes communautaires. Ces travaux ont donné lieu à l’élaboration d’outils et à la réalisation d’initiatives visant le renforcement des capacités en évaluation, de même qu’une appropriation des démarches d’évaluation par et pour le milieu (ex. : Gaudreau et Lacelle, 1999; Gaudreau et coll., 2000; Midy et coll., 1998). En 2005, le Service aux collectivités de l’UQAM (SAC UQAM), avec la collaboration de plusieurs organismes communautaires, a publié un rapport de recherche intitulé Analyse des pratiques d’évaluation dans les organismes communautaires (ARPÉOC) (Hébert et coll., 2005). Il avait pour objectif de présenter l’état des pratiques évaluatives des organismes communautaires et de dégager les conditions qui facilitent le renforcement de ces pratiques. Depuis, plusieurs initiatives ont été mises en oeuvre, notamment le projet L’évaluation par et pour le communautaire, au service de la transformation sociale, piloté depuis 2010 par le Centre de formation populaire (CFP) en partenariat avec Centraide du Grand Montréal.

Actuellement, on note que plusieurs fondations emboîtent le pas et développent des expertises en évaluation pour les mobiliser dans les organismes qu’elles financent. Dans la foulée, de nombreuses ressources de soutien à l’évaluation développent une offre de services spécialisés en évaluation. Toutefois, malgré ce foisonnement de services, il n’existait pas avant 2021 de portrait récent des pratiques d’évaluation au sein des organismes communautaires. Ainsi, cet article présente les principaux résultats d’une recherche réalisée pour faire un état des lieux sur les pratiques évaluatives des organismes communautaires, et ce, dans une perspective de mise à jour de l’étude ARPÉOC (Hébert et coll., 2005). Pour circonscrire l’évaluation, nous reprenons ici la perspective selon laquelle l’évaluation est comprise comme un « processus participatif et systématisé de réflexion critique visant à poser un jugement sur la valeur d’une pratique » (Hébert et coll., 2005, p. 5). Cette perspective s’éloigne de la reddition de comptes qui pour sa part est définie comme un mécanisme qui rend compte de l’utilisation des sommes allouées par des bailleurs de fonds, notamment par le biais d’un rapport ou d’un bilan d’activité. Plus spécifiquement, cet article s’articule autour des objectifs suivants : faire état du portrait des pratiques d’évaluation dans les organismes communautaires au Québec (types, approches, objets, cibles, outils, méthodes, techniques, utilisation des résultats) et identifier les conditions favorables et obstacles au renforcement de ces pratiques (soutien, accompagnement, ressources humaines et financières, capacités et perceptions de l’évaluation). Notre étude s’appuie sur des données quantitatives et qualitatives issues de différents groupes d’acteurs concernés par le sujet. Soulignons que nous reconnaissons les particularités du statut des organismes communautaires du Québec qui, bien que similaires, se distinguent de leurs homologues du tiers secteur anglo-saxon nord-américain. Dans ce qu’on appelle le « modèle québécois », l’apport et le rôle des organismes communautaires sont fortement reconnus par l’État dans un rapport institutionnalisé. Leur logique s’éloigne d’une perspective caritative et purement bénévole pour se rapprocher davantage de la « coproduction » (Savard et Proulx, 2012).

Nous présentons premièrement dans ce qui suit une recension d’écrits sur les pratiques d’évaluation dans le contexte plus large des organismes à mission sociale et à but non lucratif. Nous poursuivons en décrivant la démarche méthodologique et les principaux résultats. Nous terminons en discutant de nos constats.

Les pratiques d’évaluation dans la littérature

De nombreuses études se sont déjà penchées sur les pratiques d’évaluation dans les organismes à mission sociale et à but non lucratif. Étant donné le nombre limité d’écrits et la nature propre des organismes communautaires au Québec, nous avons élargi notre recension au sujet des pratiques d’évaluation en ciblant l’ensemble des organismes à mission sociale et à but non lucratif (entre autres les organismes de bienfaisance et les fondations) pour nous permettre d’avoir une compréhension plus étendue du sujet.

À partir d’une sélection de textes provenant de la littérature grise et des écrits scientifiques publiés depuis les 20 dernières années sur l’évaluation dans les organismes à mission sociale et à but non lucratif, nous notons que le sujet a été exploré à travers le prisme de différentes disciplines (ex., travail social, psychologie communautaire, gestion). La recension de ces écrits nous permet de faire ressortir quatre thèmes principalement traités : les finalités ou objectifs poursuivis au moment de s’engager dans des processus d’évaluation, la confusion ou le flou entre l’évaluation et la reddition de comptes, la diversité des types d’évaluation, des méthodes et des outils utilisés, et les conditions facilitantes et les capacités en évaluation.

Concernant les finalités ou objectifs poursuivis par les démarches d’évaluation dans les organismes à mission sociale à but non lucratif, certains auteurs soulignent et constatent, par leur résultat, une double finalité de laquelle découlent la détermination des objectifs et conséquemment le type d’évaluation poursuivie. Alaimo (2008) fait ressortir, d’une part, une finalité dite externe où la démarche évaluative vise à répondre aux exigences des acteurs externes et, d’autre part, une finalité dite interne où les organismes s’engagent dans une démarche évaluative pour répondre à des besoins qui lui sont propres dans une perspective d’apprentissage organisationnel et d’amélioration continue. Selon Frémeaux (2013), la première désigne surtout les mesures de contrôle, l’évaluation des résultats et des impacts ou effets produits par les activités de l’organisation dans son environnement. En général, elle répond à des pressions exercées par des bailleurs de fonds (publics ou privés) et aux demandes des agences externes qui financent l’organisation de manière significative (Arvidson et coll., 2013).

Sur la base d’une recherche empirique, Eckerd et Moulton (2011) font une différence entre l’adoption des méthodes d’évaluation et l’utilisation des résultats de l’évaluation. Leur travail suggère que l’adoption est liée aux évaluations externes, car il s’agit d’une réponse aux pressions environnementales. Alors que l’utilisation « interne » des résultats de l’évaluation est plutôt liée au rôle que l’organisation assume dans la société. Dans ce sens, cette utilisation peut être instrumentale (les résultats de l’évaluation modifient directement le comportement de l’organisation), conceptuelle (les résultats modifient indirectement l’organisation par l’apprentissage) et symbolique (les résultats sont utilisés uniquement à des fins de signalisation et aucun changement ne se produit). Quant à la possibilité de trouver un équilibre entre ces deux différentes visées, Alaimo (2008) montre que les dirigeants d’organismes qui arrivent à trouver un équilibre entre les finalités externes et internes ont plus de chance de renforcer les capacités d’évaluation et la culture évaluative à plus long terme.

La double visée est notée également dans l’étude de Lasby et coll. (2019) sur les pratiques d’évaluation dans le secteur caritatif canadien (y compris les organismes à but non lucratif, les organismes de bienfaisance et les fondations) où les organismes disent utiliser dans une proportion élevée et similaire les résultats d’évaluation pour à la fois communiquer avec les parties prenantes internes et externes et leur faire rapport (97 % des organismes interrogés), mais aussi pour alimenter au moins un aspect de leur processus de planification et de décision (94 %), et faire des apprentissages et obtenir plus d’information sur un ou plusieurs aspects de leur action (88 %). Carman (2011) abonde dans le même sens. Dans son étude qualitative auprès d’organismes à but non lucratif de l’État de New York (États-Unis), l’auteure note que l’évaluation sert principalement à répondre aux demandes des bailleurs de fonds et à assurer ainsi leur financement (24 sur 31 organismes étudiés) et, pour une proportion plus faible d’organismes (7 sur 31), l’évaluation est motivée par des objectifs internes, comme l’amélioration des services et la prise de décision organisationnelle.

Les résultats de Carman (2011) mettent aussi en évidence un autre élément récurrent dans la littérature portant sur l’évaluation des organismes à mission sociale à but non lucratif : la confusion faite entre l’évaluation et la reddition de comptes. En fait, ces résultats portent l’auteure à croire que les organismes communautaires américains peinent à faire la différence entre les activités de reddition de comptes et l’évaluation : les organismes auraient tendance à penser l’ensemble des activités d’évaluation comme faisant partie d’un agenda plus large visant à les rendre plus redevables. En conséquence, ils s’engagent dans une multitude de stratégies principalement pour montrer aux bailleurs de fonds le travail réalisé, et ce, en produisant rapports, cibles de performance et suivis d’objectifs précis. Ce constat fait écho au Rapport ARPÉOC (Hébert et coll., 2005), où l’on observe que les concepts et pratiques de l’évaluation et de la reddition « ne sont pas totalement étanches » (p. 5). En plus de cette vraisemblable confusion, divers écrits soulignent la pression croissante concernant la reddition de comptes. Au Québec, par exemple, l’étude de Depelteau et coll. (2013) sur l’évolution des pratiques de financement des organismes communautaires notent une augmentation importante des demandes de reddition de comptes de la part des bailleurs de fonds gouvernementaux et des fondations publiques ou privées, depuis les années 2000. Or, Berthiaume et Lefèvre (2016) observent que les exigences varient considérablement selon les organismes et l’importance du financement octroyé. Certains bailleurs de fonds exigeraient seulement un rapport qui détaille les statistiques sur le nombre d’activités organisées et sur le volume de clientèle desservie en lien avec une subvention reçue, alors que d’autres désirent une évaluation détaillée de tous les aspects du travail de l’organisme. Pour sa part, Lemay et Leclerc (2013) indiquent que lorsque l’évaluation est utilisée comme outil de gestion au sein d’un exercice de reddition de comptes auprès de bailleurs de fonds, elle permet un positionnement avantageux dans un environnement fortement concurrentiel pour le financement, et un positionnement de la mission à l’intérieur de l’écosystème d’organismes.

Les études répertoriées font aussi état d’une variété de méthodes, d’instruments et d’outils utilisés dans le cadre d’évaluation (Forbes, 1998; Lecy et coll., 2012). Quant aux méthodes, l’étude de Lasby et coll. (2019) montre que les méthodes quantitatives sont utilisées plus fréquemment que les méthodes qualitatives. Et lorsqu’elles sont utilisées, les méthodes qualitatives le sont presque toujours en combinaison avec des méthodes quantitatives. Jacob et Ouvrard (2009), dans leur revue de littérature sur les pratiques d’évaluation participatives, indiquent qu’il n’y a pas d’uniformité dans les méthodes employées pour réaliser ce type d’évaluations. Les méthodes utilisées reposent principalement sur le dialogue et l’utilisation d’une variété d’outils méthodologiques et d’approches, à la fois quantitatives et qualitatives (discussions, observations, groupes de discussion, histoires de vie, études de cas, analyse documentaire, analyses coût-avantage, questionnaires, etc.). Relativement aux instruments de collecte de données, les auteurs font le même constat. Par exemple, l’étude de Lasby et coll. (2019) répertorie l’utilisation de recension de données administratives, les compilations statistiques, les sondages, les entrevues, les groupes de discussion, les études de cas et les outils d’évaluation standardisés. Par ailleurs, les auteurs montrent un lien entre les types d’évaluation menée et les instruments de collecte de données utilisés. Les organismes qui évaluent les effets immédiats de leur travail recourent davantage aux compilations statistiques et aux données administratives, alors que ceux qui évaluent les résultats à court terme utilisent davantage les modèles logiques, les études de cas et les outils d’évaluation normalisés. Ceux qui évaluent les effets à long terme font davantage usage des entrevues des groupes de discussion, des modèles logiques et des études de cas.

Finalement, en ce qui concerne les conditions facilitantes et les capacités en évaluation dans les écrits, plusieurs facteurs contribuent au succès des démarches d’évaluation (ou, en leur absence, nuisent à leur réalisation). D’après Buetti et coll. (2019) et Carman et Friedericks (2010), les organismes à mission sociale à but non lucratif cherchent de plus en plus à renforcer leurs capacités en évaluation. Ces capacités consistent en un ensemble de procédures, de ressources (humaines, matérielles, etc.), de politiques et de mesures qui permettent de développer et d’ancrer une culture évaluative pérenne dans les organisations (Bourgeois et Cousins, 2013). Au Canada, les organismes caritatifs s’attribuent une note moyenne de 6,4 sur 10 en termes de capacités en évaluation (Lasby et coll., 2019). Pour de nombreux auteurs, c’est principalement la disponibilité de ressources qui favorise une meilleure organisation du travail et une meilleure culture organisationnelle. Cela facilite et soutient ensuite le développement, l’implantation et la pérennisation d’une culture évaluative (Bourgeois et Cousins, 2013; Buetti et coll., 2019; Carman, 2007; Carman et Fredericks, 2010; Jacob et Ouvrard, 2009; Lasby et coll., 2019; Ulrike et coll., 2015).

À la lumière de cet état de ces connaissances, nous retenons qu’il existe un large éventail de pratiques, et que les frontières de l’évaluation avec celles de la reddition de compte restent floues. Les organismes s’engagent dans des démarches d’évaluation ayant des finalités qui s’entrecroisent et se complexifient selon la provenance interne ou externe de la demande ou du besoin. Nous constatons surtout l’absence d’une connaissance approfondie des pratiques d’évaluation propres aux spécificités des organismes communautaires québécois qui, jumelées aux particularités du contexte dans lequel ils évoluent, risquent d’influencer leurs pratiques d’évaluation et le déploiement d’une culture évaluative. Par ailleurs, nous notons que peu d’études dans ce contexte ont été réalisées en combinant des devis mixtes pour enrichir les analyses. Notre recherche offre une contribution importante en comblant cette lacune.

Démarche méthodologique

Les résultats présentés dans cet article s’inscrivent dans une démarche de recherche partenariale réalisée par une équipe de recherche universitaire réunissant deux chercheuses, une coordonnatrice de recherche, une étudiante, un étudiant, et trois représentantes d’organismes communautaires reconnus et bien ancrés dans le milieu et le SAC UQAM. Le point de convergence de ces partenaires était le Comité d’encadrement, une structure décisionnelle du projet qui a permis de définir, de manière conjointe et concertée, les grandes orientations de la recherche, notamment ses objectifs et sa méthodologie, et de discuter de manière constante et tout au long du projet des résultats, des analyses, des recommandations et stratégies de diffusion.

Nous avons préconisé un devis mixte séquentiel qui permet le recours à des données qualitatives et quantitatives ayant le même statut (Bourgault et coll., 2010). Dans un premier temps, nous avons récolté les données quantitatives grâce à un questionnaire Web, ce qui nous a permis d’obtenir des données générales représentatives des pratiques d’évaluation dans les organismes communautaires (volet 1). Dans un deuxième temps, nous avons recueilli les données qualitatives au moyen de groupes de discussion, d’entretiens semi-dirigés et de recherche documentaire, de manière à approfondir, à mettre en contexte et à nuancer notre compréhension des premières données quantitatives obtenues. Parallèlement, nous avons étudié qualitativement quatre cas en profondeur (volet 2). La démarche séquentielle structurant notre collecte de données a aussi permis que l’étude soit réalisable : avec l’équipe de recherche et les ressources disponibles, il n’était pas possible de collecter toutes les données en même temps. Cependant, pour les analyses finales, nous avons réalisé une analyse transversale, en combinant les données quantitatives et qualitatives. Par triangulation, cette approche mixte nous a permis de tirer parti de toute l’étendue et de la profondeur de l’interprétation des données (Johnson et coll., 2007). La recherche a été menée après obtention du certificat d’éthique décerné par le Comité institutionnel d’éthique de la recherche avec des êtres humains (CIEREH) de l’UQAM.

Dans ce qui suit, nous donnons les détails des deux volets du processus de recherche en lien avec les résultats présentés dans cet article.

Volet 1 — Quantitatif

Population et échantillon

Pour circonscrire la population d’organismes communautaires ciblés par notre étude, nous avons répliqué la procédure de l’étude ARPÉOC (Hébert et coll., 2005) dans laquelle les auteurs font référence à un univers d’environ 5 000 organismes financés par le gouvernement provincial répertoriés sur la liste informatisée du Portail partenaires de l’intervention gouvernementale auprès des organismes communautaires (PIGOC). Pour la présente étude, nous avons utilisé une mise à jour de cette même liste répertoriant encore 5 000 organismes financés par divers ministères au Québec. À partir de cette liste, nous avons construit un premier échantillon aléatoire simple de 2 500 organismes nous permettant d’obtenir un bassin d’organismes diversifié et représentatif, et de viser un taux de réponse qui puisse être généralisable aux organismes communautaires financés par le gouvernement du Québec. Pour un échantillon probabiliste représentatif pour un univers N=5 000, avec un niveau de confiance de 95 %, l’échantillon devait contenir au moins 357 répondants (Krejcie et Morgan, 1970). Notre échantillon de départ a ensuite été légèrement révisé, en raison de courriels qui n’ont jamais été remis (adresse courriel inexistante ou envoi reconnu comme indésirable), nous avons travaillé avec un échantillon final de 2 480 organismes. La période d’accès au questionnaire s’est échelonnée sur six semaines, entre les mois de septembre et octobre 2020.

Matériel et procédures

Le questionnaire Web a été conçu de manière itérative lors des Comités d’encadrement et se veut le reflet des connaissances pratiques des partenaires et des connaissances théoriques tirées de notre revue de la littérature. Nous nous sommes basées sur le questionnaire utilisé lors du projet ARPÉOC (Hébert et coll., 2005) en conservant des questions encore pertinentes et en insérant d’autres pour le rendre plus actuel à la réalité des organismes communautaires 15 ans plus tard. Le questionnaire final comportait 48 questions couvrant quatre thématiques : 1) le profil de l’organisme (secteur d’année, années d’existence, nombre d’employé.e.s, portée territoriale), 2) les pratiques d’évaluation (types, approches, outils et méthodes d’évaluation), 3) l’écosystème en matière d’évaluation (sources de financement, accompagnement et parties prenantes) et les 4) les conditions favorables et obstacles au renforcement des pratiques d’évaluation (ressources, perception et capacités).

Nous avons analysé les données de l’enquête recueillies par le questionnaire Web sur la plateforme « Survey Monkey » en les transférant préalablement vers le logiciel Excel et ensuite vers un logiciel de traitement statistique (STATA). Pour diminuer les risques d’un éventuel biais relatif aux non-réponses, nous avons retenu 404 questionnaires qui ont été remplis jusqu’à la question 43 (sur 48) sur les 670 reçus. À noter qu’après le retrait des questionnaires jugés non terminés, notre analyse comparative montre que la distribution des données reste inchangée. Notre échantillon final s’avère également statistiquement représentatif de la population avec un niveau de confiance de 95 % (Krejcie et Morgan, 1970; Ouellet et Saint-Jacques, 2000).

Analyse des données quantitatives

Pour les fins de cet article, nous avons procédé à des analyses statistiques descriptives et avons réalisé des tests-t de Student pour voir s’il existe des différences de moyenne dans les caractéristiques entre, dans un premier temps, le groupe d’organismes qui fait de l’évaluation et celui qui n’en fait pas, et dans un deuxième temps, entre le groupe d’organismes qui a fait appel à une aide extérieure spécialisée en évaluation et le groupe d’organismes qui indique ne pas y avoir eu recours. Ces dernières analyses ont été réalisées pour délimiter des caractéristiques qui distinguent les groupes selon leur profil, leurs pratiques et différentes conditions favorables et obstacles. Pour les questions formulées avec des échelles de mesure d’accord de style Likert, nous avons réalisé des analyses factorielles.

Volet 2 — Qualitatif

Participants et participantes

Pour le volet qualitatif, nous avons premièrement réalisé 4 groupes de discussion auprès de différents groupes d’acteurs concernés par l’évaluation, plus précisément les organismes communautaires, les bailleurs de fonds gouvernementaux, les fondations privées et publiques et les accompagnatrices spécialisées en évaluation. Nous avons également réalisé 4 études de cas pour lesquelles nous avons mené un total de 8 entrevues semi-dirigées et analysé des documents organisationnels.

Pour former les groupes de discussion, les membres du CE ont fait l’inventaire de leur réseau de connaissances pour identifier les groupes d’acteurs les plus présents dans l’écosystème actuel de l’évaluation. L’échantillonnage final pour chaque groupe d’acteurs a été fait par les chercheuses de manière à préserver l’anonymat des participants et participantes pour les membres du CE et ainsi minimiser les biais potentiels. L’échantillonnage a principalement été conçu en prenant en compte la diversité des acteurs (secteur d’activité, type d’organisation et région d’appartenance).

Pour les 4 études de cas, nous avons ciblé des organismes dont les pratiques d’évaluation sont reconnues comme « exemplaires » en termes de déploiement, de structure et d’ancrage au sein des organismes communautaires. Pour repérer les organismes, nous avons d’abord exploré notre réseau, la littérature et l’actualité sur le Web à partir de mots clés. Nous avons alors dressé une liste d’une dizaine d’organismes québécois provenant de différents horizons (secteur, zone géographique et type). Dans un deuxième temps, nous avons validé et priorisé cette liste avec le CE, qui nous a suggéré d’autres organismes issus de son propre réseau. En fonction des disponibilités et des intérêts des organismes à participer à l’étude, nous avons délimité notre échantillon de convenance avec les 4 organismes ayant consenti à participer. Ces derniers présentent des caractéristiques communes : ils ont un minimum de 15 années d’existence (moyenne de 30 ans d’existence), leur fonctionnement est bien établi et ils ont réalisé plus d’une démarche évaluative de manière systématisée. Soulignons que pour les cas étudiés nous avons cherché l’exhaustivité et l’exemplarité afin d’explorer la diversité des expériences et des pratiques qui ont été menées avec succès plutôt qu’une représentativité de l’ensemble des organismes.

Matériel et procédures

Les guides d’entretien des groupes de discussion ont été construits spécifiquement pour refléter les particularités de chacun des groupes d’acteurs rencontrés. Ces guides respectaient toutefois un tronc commun relativement à trois thématiques tirées des objectifs de la recherche : l’« environnement et l’écosystème de l’évaluation », « l’évaluation et leurs pratiques » et « les facteurs facilitants et les obstacles ».

Pour ces études de cas, nous avons mené d’abord deux entrevues semi-dirigées par organisme auprès de petits groupes d’informateurs clés. Nous avons eu recours à des guides d’entretien organisés selon les mêmes trois thématiques que pour les groupes de discussion. En plus des entrevues, nous avons procédé à l’analyse de documents organisationnels d’archives lesquels comprennent des livres, des rapports d’évaluation internes ainsi que des exercices de reddition de comptes destinés aux bailleurs de fonds.

En somme, pour le volet qualitatif, nous avons traité plus de 20 heures de bande audio et plus de 400 pages de transcription. Les extraits d’entrevues présentés dans les résultats sont identifiés selon le type d’acteur concerné : organismes communautaires (O), bailleurs de fonds gouvernementaux (G), fondations privées et publiques (F) et accompagnatrices spécialisées en évaluation (A).

Analyse des données qualitatives

Nous avons eu recours à l’analyse thématique de contenu pour faire sens des données récoltées dans le cadre du volet qualitatif de notre recherche. Pour ce faire, nous avons premièrement construit un arbre thématique en nous basant sur les objectifs et sous-objectifs de la recherche, sur nos guides d’entrevue ainsi que sur la transcription d’un premier groupe de discussion. Selon une démarche abductive (Boje, 2001), cet arbre thématique s’est développé de manière itérative afin d’y ajouter les thèmes émergents selon des comparaisons constantes entre les données, leur interprétation analytique et le cadre préalable de nos objectifs et questions de recherche (Miles et Huberman, 2004). Une fois l’arbre thématique consolidé, nous l’avons intégré au logiciel NVivo. Nous avons ensuite procédé à une seconde étape de codification qui consistait à analyser l’ensemble du corpus à l’aune de cette première version de l’arbre. En cours de route, l’arbre thématique a été bonifié de manière mineure afin de mieux refléter les thèmes transversaux de notre corpus. L’arbre thématique final est alors passé des 90 noeuds initiaux à 105 noeuds. À partir de ces derniers, le corpus codifié a été analysé et a permis de faire émerger 10 grands thèmes récurrents abordés de manière à se recouper au sein de notre corpus. De plus, l’analyse de contenu thématique nous a permis, particulièrement pour les études de cas, de retracer les processus d’évaluation en mettant l’accent sur les événements marquants, les activités menées, les choix et décisions prises, les rapports entre les acteurs ainsi que les résultats et conséquences (dont l’utilisation des résultats) qui découlent de ces processus (Langley, 1997, 1999).

La validité et la transférabilité des résultats qualitatifs obtenus se remarquent à travers l’application des principes de saturation théorique et empirique (Glaser et Strauss, 1967; Pires, 1997). Lors de notre analyse thématique comparative constante, nous avons été en mesure d’atteindre la saturation théorique en observant que l’ajout de nouvelles données ne renforçait plus la grande diversité d’informations déjà repérées relativement aux pratiques d’évaluation selon différents types d’acteurs. D’autre part, notre utilisation de plusieurs sources d’information nous a également permis d’atteindre la saturation empirique alors que les derniers documents organisationnels et entrevues analysés n’apportaient pas d’informations singulières pour justifier l’augmentation de notre matériel empirique.

Validité et limites de la recherche

Dans le cadre de notre devis mixte, nous avons recueilli et analysé les données quantitatives et qualitatives de manière consécutive et indépendante. Le croisement de ces analyses s’est réalisé au moment de produire les résultats en fonction de nos objectifs de recherche ainsi que des thématiques sous-jacentes communes. Par triangulation, les constats issus de la collecte à la fois quantitative et qualitative convergent et se renforcent mutuellement. Cette stratégie de triangulation nécessaire pour assurer la validité de notre recherche est renforcée par la superposition et la combinaison de notre utilisation de plusieurs techniques de cueillette des données afin de compenser le biais inhérent à chacune d’entre elles (Muchielli, 1996). Recueillir des informations auprès de plusieurs acteurs et recourir à plusieurs techniques et plusieurs sources de cueillette des données nous ont permis d’apprécier la justesse et la stabilité des résultats produits. Ceci a aussi permis de contrecarrer le probable biais de rappel chez les participants et participantes.

Notons enfin que certains facteurs limitent la portée de notre étude malgré nos efforts pour renforcer la validité de nos résultats et analyses. Premièrement, le contexte pandémique a eu pour effet de complexifier entre autres notre travail de recrutement, et ce, autant pour le volet quantitatif et qualitatif. Nous avons contourné cet obstacle en faisant plusieurs rappels, en diffusant notre démarche de recherche sur différentes plateformes et en ajoutant le critère de la disponibilité conjointe pour construire nos échantillons de convenance (sans pour autant que celui-ci n’ait préséance sur les autres). Soulignons aussi que notre échantillon aléatoire pour le volet quantitatif est tiré d’une population d’organismes communautaires financés par un (ou des) ministère(s) provincial(aux). Nos résultats sont donc représentatifs de ces organismes, mais pas nécessairement des organismes non financés par le gouvernement provincial. Notons cependant qu’il n’existe à ce jour aucun répertoire de l’ensemble des organismes communautaires québécois. Relativement au questionnaire, malgré l’effort considérable de validation et de coconstruction déployé dans sa conception, nous avons fait face à la difficulté de catégorisation du secteur d’activité. Par ailleurs, lors du sondage nous n’avons pas demandé aux organismes de s’identifier à titre d’organisme de base ou de regroupement. Pour saisir les éventuelles différences liées à cette spécificité, nous avons pris soin d’inviter des regroupements lors des groupes de discussion. Soulignons finalement que le questionnaire n’était disponible qu’en français et que nous n’avons pas recueilli d’informations auprès d’organismes spécifiquement anglophones.

Résultats

Portrait des organismes communautaires

Avant d’exposer les résultats concernant les pratiques d’évaluation, nous présentons les principales statistiques descriptives portant sur le profil des organismes issus de notre échantillon. Les organismes ayant répondu à l’enquête ont en moyenne 30 années d’existence. Il s’agit d’organismes matures fondés pour la plupart entre les années 1980 et 1990 (72 %); 14 % ont été fondés après les années 2000 et 16 % avant 1980.

Pour rendre compte de la taille des organismes, nous avons examiné le nombre de travailleurs et de travailleuses habituellement à l’emploi (hors COVID-19) à temps plein (28 heures et plus par semaine) et à temps partiel (moins de 28 heures par semaine). Nous avons également pris en compte le budget annuel (hors COVID-19). En lien avec le nombre de travailleurs et de travailleuses, nous notons que les organismes sont relativement de petite taille : ils comptent en moyenne huit travailleurs et travailleuses, dont cinq à temps plein et trois à temps partiel. Plus précisément, la majorité des organismes comptent moins de cinq travailleurs et travailleuses à temps plein (60 %) et à temps partiel (87 %). Ces résultats sont cohérents avec les constats de l’édition 2018 de l’enquête nationale Les repères en économie sociale et en action communautaire du CSMO-ÉSAC (Binhas, 2019) qui fait état du même nombre moyen de travailleurs et de travailleuses. Quant à la région administrative des organismes, la majorité se situent à Montréal (23 %), à Québec (11 %) et en Montérégie (11 %). Soulignons que nous avons des répondants et des répondantes dans toutes les régions administratives. La portée territoriale des services offerts par ces organismes reste assez locale : 48 % d’entre eux rayonnent au niveau régional, alors que 53 % ont une portée circonscrite à une municipalité/village (32 %) ou à un quartier/arrondissement (21 %).

État des lieux des pratiques d’évaluation dans les organismes communautaires au Québec

Tout d’abord, les résultats montrent que 73 % (295/404) des répondants et répondantes à l’enquête indiquent avoir réalisé au moins une démarche d’évaluation au cours des dix dernières années. De ce nombre, nous constatons qu’environ 70 % ont une « expérience » d’au plus 15 ans dans ce type d’activité. Aussi, au moment de l’enquête (automne 2020), 10 % étaient en voie d’entamer une démarche d’évaluation, 8 % n’avaient pas fait une telle démarche et 8 % n’étaient pas en mesure de répondre. Ces données ont été recueillies dans le questionnaire tout juste après que les répondants et répondantes aient été sensibilisés par le biais d’un encadré présentant la distinction entre l’évaluation et la reddition de comptes.

En explorant de manière qualitative l’expérience des organismes qui se sont engagés dans des processus d’évaluation, nous soulignons que certains d’entre eux réalisaient de l’évaluation depuis leurs débuts et qu’ils ont su adapter leurs pratiques aux exigences des acteurs externes, tout en conservant leurs formes d’évaluation propres et en les intégrant à l’ensemble de leurs activités :

On a fait dans notre histoire différentes stratégies d’évaluation, différentes méthodes et expériences. Je me rappelle, à la fin des années 1980, l’organisme venait d’être fondé, mais déjà on avait mis en place les évaluations avec l’équipe de travail. On était une petite équipe à l’époque, on était 3-4, nous sommes rendus à 23-24, on faisait des évaluations systématiquement. […] L’évaluation se place à trois niveaux. C’est comme une pratique réflexive intégrée dans l’ensemble de l’action. C’est global. Ça traverse la planification, ça traverse la mise en oeuvre, ça traverse le bilan. C’est là tout le temps

EC

Les frontières de l’évaluation et de la reddition de compte

Avant cet encadré, les répondants et répondantes ont été appelés à répondre à la toute première question : « Pour votre organisme, l’évaluation c’est… » (plusieurs réponses possibles). Les réponses recueillies montrent que pour la majorité, il s’agit d’un exercice de « réflexion collective » (56 %). Cependant, un pourcentage important des répondants et répondantes définit l’évaluation comme étant la production du « bilan annuel des activités » (51 %) et de la « reddition de comptes auprès de bailleurs de fonds » (42 %). De plus, la moitié (50 %) des répondants et répondantes mentionnent qu’il s’agit de la « mesure d’impact (effets) des actions/activités ». En outre, contrairement à ce que nous observons dans la littérature, peu d’organismes (11 %) indiquent que l’évaluation est un « outil de communication ».

Dans le cadre des groupes de discussion, il s’est avéré que ce sont surtout les accompagnatrices et les fondations publiques et privées qui savent délimiter clairement la distinction entre une démarche d’évaluation et un exercice de reddition de comptes. Alors que pour ces participants et participantes l’évaluation sert à poser un regard sur les activités de l’organisme de manière beaucoup plus globale, la reddition de comptes est surtout quantitative et se limite à « voir l’utilisation, la saine utilisation qui a été faite des sommes d’argent compte tenu de l’objet pour lequel il avait été demandé » (F4).

Les organismes interrogés en groupes de discussion et lors des entretiens semi-dirigés affirment que la reddition de comptes auprès des bailleurs de fonds gouvernementaux n’est pas la même selon que le financement est octroyé à la mission ou à un projet. Pour le financement par projet, « il va y avoir des fois certaines mesures de reddition de comptes qui sont plus pointues ou qui sont plus ciblées » (D6). Les bailleurs de fonds gouvernementaux mentionnent pour leur part que pour le financement à la mission (particulièrement dans le cadre du PSOC), ils s’assurent principalement que les organismes respectent les critères de l’action communautaire, regardent les rapports d’activités et font des « suivis de gestion » (G2).

Dans l’ensemble des groupes de discussion, les participants et participantes mentionnent également que les exigences générales en termes de reddition de comptes ont changé dans les dix dernières années. Ces exigences ont augmenté ou, à tout le moins, se sont transformées. Certains bailleurs de fonds peuvent « demander quelque chose de beaucoup plus riche qu’une simple reddition de comptes » (F4). On nomme comme exemple le besoin de tout quantifier, de recueillir des données sur les effets à plus long terme ou d’obtenir des informations de nature qualitative.

On constate par les données du questionnaire qu’il y a une utilisation simultanée de la reddition de comptes et de l’évaluation : 43 % de nos répondants et répondantes indiquent que les démarches d’évaluation sont réalisées en même temps que celles de la reddition de comptes, alors que 25 % le font « parfois ». Deux participants et participantes du groupe de discussion regroupant des organismes soulignent toutefois le risque que les données d’évaluation transmises aux bailleurs de fonds soient instrumentalisées pour répondre à leur propre besoin et à leur propre reddition de comptes envers les investisseurs, les financeurs ou les donateurs.

Conditions favorables et obstacles au renforcement des pratiques d’évaluation

À travers nos analyses, nous reconnaissons la disponibilité des ressources (financières et humaines) comme une des conditions favorables à l’évaluation ainsi qu’au renforcement des capacités en évaluation. En ce qui concerne les ressources humaines, les représentants et représentantes d’organismes, et particulièrement des regroupements, soulignent que la démarche d’évaluation est facilitée lorsqu’au moins un membre de l’équipe de travail peut se consacrer aux activités d’évaluation.

Ce qu’on a remarqué qui était le plus facilitant, c’est que dans chaque ressource, donc dans chaque [organisme], quand qu’il y avait une personne qui était dédiée au projet, l’évaluation était comme plus facile à faire, plus facile à transmettre aussi, c’était mieux compris

O3

Quant aux ressources financières, les représentants et représentantes des organismes soulignent qu’avoir accès à ce type de ressources est une des clés pour la réalisation de l’évaluation. Dans le cadre de nos entretiens, l’accès à des ressources financières spécifiquement vouées à l’évaluation, ainsi que leur disponibilité sont nommés comme un obstacle de taille. Les responsables d’un des organismes expliquent lors d’un l’entretien semi-dirigé que le défi du financement des pratiques d’évaluation réside dans le fait que ces dernières ne sont pas reconnues par les bailleurs de fonds comme une partie essentielle du processus d’action collective; certaines accompagnatrices constatent également que plusieurs organismes souhaitent s’engager dans une démarche d’évaluation, mais ne le peuvent pas puisqu’aucune ressource n’est réservée à l’évaluation et qu’aucun budget planifié n’y est consacré. Du point de vue des bailleurs de fonds, certains reconnaissent aussi qu’avec le peu de financement accordé aux petits organismes communautaires, il est extrêmement difficile de se lancer dans une démarche d’évaluation.

Il y a des avancées, là, mais c’est certain qu’un organisme communautaire avec, je ne sais pas [un budget de] 80 000 $, 100 000 $, de se lancer dans un processus d’évaluation, quand il y a ça 80 000 $, 100 000 $ par année, ce n’est pas évident, là

G6

En ce qui concerne le type de financement à partir duquel sont financées les démarches d’évaluation, parmi les 302 organismes ayant réalisé des évaluations (295 pendant les 10 dernières années et 7 avant ce laps de temps), 85 % indiquent que ces évaluations sont financées par l’organisme à partir de ses fonds propres.

Quant aux éventuelles retombées de l’évaluation, nous avons exploré à travers une échelle de mesure les bénéfices de la démarche pour les organismes en ayant réalisée une lors des dix dernières années. Dans les énoncés suivants, des proportions élevées de répondants et répondantes expriment leur accord : améliorer nos activités (89,4 %); prendre un temps d’arrêt privilégié pour questionner nos pratiques (84,1 %); vérifier les effets de notre action (82 %); donner un sens à notre action (81,12 %); être plus structuré dans nos pratiques (81 %). L’énoncé qui obtient la plus faible adhésion est « obtenir ou maintenir du financement et/ou une accréditation » (55 %). Ces constats sont cohérents avec les informations recueillies lors de nos entretiens. Concrètement, si nous nous concentrons exclusivement sur le processus d’évaluation (en le distinguant de la reddition de comptes), nous observons que les participants et participantes témoignent de son caractère essentiel et central aux activités des organismes :

Au fil des années, tout n’est qu’évaluation. Le travail est basé autour de l’évaluation, les demandes de programmes, les demandes financières sont déjà bâties en ayant en tête et en main les outils d’évaluation qui seront utilisés, que ça soit quantitatif ou qualitatif

O7

À travers le discours des participants et participantes, nous avons aussi été en mesure de repérer la perception des finalités de l’évaluation par les organismes. Comme dans le cadre de l’enquête, lors des entretiens l’évaluation est perçue comme une occasion d’amélioration et d’apprentissage (niveau moyen d’accord de 4,3 sur 5 dans l’enquête) qui facilite la prise de décision :

[L’évaluation est un levier] pour s’améliorer soi-même et améliorer sa prise de décisions et son action

A1

C’est un outil, principalement un outil d’amélioration […] C’est vraiment dans une perspective de travailler […] et de mettre le focus sur les points forts et d’améliorer les points faibles

O3

Dans la même veine, l’évaluation est vue comme une occasion de poser un regard critique sur les pratiques des organismes et de prendre un temps d’arrêt (niveau moyen d’accord de 4,2 sur 5). Elle permet de se recentrer sur la mission et de transformer les pratiques en tirant avantage de l’intelligence collective :

Il y a les organismes communautaires pour qui l’évaluation, c’est une occasion de transformation des pratiques, de poser un regard critique sur sa pratique, de s’améliorer, de se regarder, de faire des bilans pis d’aller plus loin, puis de développer des connaissances

A5

Caractéristiques des organismes qui font de l’évaluation

Pour approfondir notre compréhension des caractéristiques des organismes qui font (ou qui ne font pas de l’évaluation), nous avons analysé les différences entre chacune des caractéristiques pour le groupe d’organisme qui a fait de l’évaluation (N=302) et celui qui n’en a pas fait (N=102) au moyen du test-t. Le tableau 1 présenté ci-dessous rapporte les variables pour lesquelles la différence est significative du point de vue statistique.

Comme résultat, nous observons que le groupe d’organismes qui fait de l’évaluation engage significativement plus de travailleurs et travailleuses (à temps plein, à temps partiel et au total) que le groupe d’organismes qui ne fait pas d’évaluation. Le groupe d’organismes qui fait de l’évaluation reçoit aussi une proportion de financement de source privée significativement plus importante que le groupe qui n’en fait pas. Ce résultat n’est significatif que pour ce type de financement.

Puis, le groupe d’organismes qui ne fait pas d’évaluation perçoit significativement plus d’effets négatifs liés à l’évaluation que celui qui en fait. Dans la même idée, le groupe d’organismes qui fait de l’évaluation perçoit davantage l’utilité de la démarche d’évaluation, qu’elle est une priorité de l’organisme et que ses membres y adhèrent, comparativement au groupe d’organismes qui ne fait pas d’évaluation.

Tableau 1

Tests-t sur la différence de moyenne entre le groupe d’organismes qui fait de l’évaluation et celui qui n’en fait pas (N=404)

Tests-t sur la différence de moyenne entre le groupe d’organismes qui fait de l’évaluation et celui qui n’en fait pas (N=404)

* p < 0.1, ** p < 0.05, *** p < 0.01

-> Voir la liste des tableaux

Approches et types d’évaluation

En ce qui concerne les approches d’évaluation, l’approche participative semble privilégiée, et ce, à travers nos résultats tant quantitatifs que qualitatifs. Dans le cadre de l’enquête, c’est 88 % de notre échantillon qui dit utiliser ce genre d’approche. Elle est aussi souvent qualifiée d’approche « par et pour » lorsqu’elle engage une attitude d’ouverture réflexive sur les actions et interventions.

Lors des entretiens, les informations recueillies montrent que l’approche participative implique la participation et la collaboration d’une diversité d’acteurs et de parties prenantes dont l’intensité et la teneur varient beaucoup d’un organisme à l’autre :

C’est vraiment à géométrie variable pis leur façon d’évaluer est très différente. Dans certaines, ça va être peut-être une ressource humaine de l’organisation avec le conseil d’administration. D’autres ça va être toute l’équipe de travail avec le conseil d’administration. D’autres ça va être une personne mandatée au conseil d’administration avec l’équipe de travail. D’autres vont intégrer les participants aux activités dans la démarche d’évaluation, au bout du compte, l’activité est faite pour les gens à qui l’activité est donnée

G3

Concernant les types d’évaluation, dans notre questionnaire, nous avons listé et défini des types d’évaluation formalisés dans la littérature et habituellement reconnus pour que les répondants et répondantes puissent indiquer ceux qui ont été réalisés au sein de leur organisme. Alors que plusieurs réponses étaient possibles, on constate que les types d’évaluation les plus utilisés sont l’évaluation de la satisfaction (pour connaître la satisfaction de participants et participantes, 79 %), l’évaluation des besoins (pour connaître les besoins des personnes que l’on souhaite joindre, 76 %), l’évaluation de la pertinence (pour savoir si les activités répondent aux besoins des participants et participantes, 76 %), et l’évaluation des résultats/extrants (pour connaître ce qui découle directement des activités, 74 %).

En outre, les participants et participantes mentionnent faire usage de « pratiques informelles », dites plus réflexives, qui sont plus difficiles à faire reconnaître à titre de type d’évaluation. « C’est très difficile à expliquer parce que l’informel prend pour moi toutes sortes de chemins pour se formaliser » (O). Il peut s’agir de discussions avec les membres, de réunions d’équipe ou de table de concertation avec des partenaires. Par exemple :

[c’est] vraiment intéressant de se dire on fait de l’évaluation non formelle [...] On est beaucoup en lien avec nos membres pis même si ça se fait dans le cadre d’événements formels, on va beaucoup discuter pis ça nous donne une rétroaction, ou ça nous donne du jus. Donc tu sais on évalue vraiment nos actions dans des activités informelles

O3

[Il y a aussi dans le cadre de la] table de concertation [où] on est constamment dans l’évaluation ou c’est de donner la parole, de parler ensemble, de se reconnaître, de cibler les enjeux vécus sur le terrain. Et après, quand on va faire des représentations au gouvernement, c’est une forme de synthèse de ce qui a été dit. […] Tu sais il y a plein d’évaluations qui ne sont pas formalisées […] ou reconnues

O4

Ces types d’évaluation sont dits informels par opposition aux démarches systématisées.

C’est une forme d’évaluation, mais ce n’est pas une évaluation scientifique, c’est ça. […] Il y a de l’évaluation qui est faite […] de façon informelle […] Elle n’est pas documentée dans le sens que, à la fin, on ne va pas l’écrire

O1

Parce qu’elles s’en éloignent, les pratiques informelles ne sont parfois pas nommées ou reconnues comme des évaluations comme telles, alors qu’elles devraient l’être, selon certains de nos participants et participantes, dont des bailleurs de fonds :

[D]es fois on peut, tout dépendant du volume du rapport d’activité, même pas savoir si un organisme s’est inscrit dans une démarche d’évaluation parce que pour certains, c’est tellement comme une activité comme régulière qu’ils ne pensent même pas de l’écrire, qu’ils ont dit quelle activité qu’ils ont faite, mais pas qu’ils ont évalué cette activité-là

G3

Quand on décide de prendre une journée pour faire le point, on fait un exercice d’évaluation, mais qu’on appelle rarement évaluation. On fait une retraite pis on fait un lac-à-l’épaule, mais c’est en soi un exercice d’évaluation, n’ayant pas peur des mots, nommons-le

F4

Nous avons approfondi le sujet lors de l’analyse des cas. Les entretiens réalisés avec des représentantes des quatre organismes corroborent l’importance de ce type d’évaluation au sein de leurs organismes. Par ailleurs, on constate la présence de pratiques d’évaluation quotidiennes, qui dans tous les cas prennent la forme de pratiques réflexives, et de processus systématisés de plus grande envergure. On note aussi que le passage des évaluations « informelles » à la systématisation de l’évaluation est un apprentissage qui nécessite formation et accompagnement. Une fois l’apprentissage fait, il y a des évaluations quotidiennes et réflexives, et de grands moments d’évaluation :

On fait l’évaluation de ce qu’il y a déjà là et on propose d’autres types de modules. Tout ça pour dire qu’il y a des petites évaluations et il y a de grandes évaluations qui vont jusqu’aux états généraux aux cinq ans qu’on fait

O

On souligne également que dans les « grandes évaluations », l’accompagnement est fondamental, car le temps est une ressource rare.

Enfin, l’utilité de l’évaluation d’impact est reconnue, mais des participants et participantes soulignent la grande difficulté à la réaliser. C’est qu’elle demande du temps (que les organismes n’ont pas) et une expertise particulière en raison de la difficulté à trouver des mesures appropriées et sensibles à leurs activités. Des participants et participantes dans le groupe de discussion des organismes parlent aussi de ces difficultés :

Et ce qu’on aimerait à plus long terme, c’est de se rendre jusqu’aux jeunes pis là on est vraiment dans l’impact. [...] On ne se rend même pas à l’impact ou à l’effet. Tu sais, on se rend compte qu’on fait peut-être des étapes préliminaires ou intermédiaires que nous, on perçoit dans le processus d’évaluation, mais qui n’est pas une mesure d’impact à proprement parler. En tout cas, de ce qu’on en comprend. Mais en même temps, c’est quelque chose qui nous paraît quand même très difficile à mesurer

O6

Méthodes, instruments de collecte et outils

En ce qui concerne l’utilisation de méthodes quantitatives et qualitatives, les participants et participantes aux groupes de discussion relèvent l’intérêt d’utiliser chacune d’elles pour des motifs et des finalités distinctes. On recourt aux méthodes quantitatives lorsqu’on demande aux organismes d’utiliser et de développer des indicateurs pour mesurer leurs actions. Ce qui fait dire aussi que cette méthode répond mieux aux exigences de la reddition de comptes : « on a des demandes très très claires de la part de nos protocoles pour fournir des données quantitatives » (O2). Les méthodes qualitatives sont alors favorisées dans les évaluations précédemment qualifiées d’informelles :

Dans notre structure « maison » [d’évaluation], on va chercher beaucoup le qualitatif parce que c’est ce qui donne la saveur. Et en même temps ce qui nous permet aussi de reconnaître le travail accompli au sein de nos équipes de travail. [...] C’est très important aussi pour améliorer nos relations avec les partenaires, ce niveau de qualité là qu’on va chercher, l’information qualitative

O2

Les méthodes mixtes apparaissent alors comme intéressantes pour mener des démarches d’évaluation qui englobent aussi les exigences plus élevées des bailleurs de fonds (dont la reddition de comptes) et réaliser des analyses en profondeur.

Au sujet des instruments de collecte de données, les participants et participantes aux groupes de discussion mentionnent le plus souvent l’utilisation de questionnaires et de sondages ainsi qu’une utilisation fréquente de groupes de discussion. Cette information est corroborée par les données collectées lors de l’enquête. Nos résultats montrent que les outils quantitatifs sont les plus populaires : les sondages et les questionnaires sont mobilisés par 85 % des répondants et répondantes. Les autres outils indiqués comme étant couramment utilisés sont ceux basés sur des données collectées à partir des tours de table verbaux réalisés à la fin des rencontres (66 %), les entretiens en groupe (58 %) et les entretiens individuels (57 %).

Dans le cadre de l’enquête, nous avons aussi exploré les types d’outils utilisés lors des démarches d’évaluation, dont le devis pour planifier le processus, des indicateurs, un modèle logique et une théorie du changement. Les réponses recueillies montrent que les indicateurs sont utilisés par 63 % des répondants et répondantes ayant fait une démarche d’évaluation (190 sur 302) et que les devis d’évaluation le sont à 51 % (154 sur 302). Notons qu’une proportion de 22 % et de 25 % des répondants et répondantes ne sait pas s’ils ou elles utilisent le modèle logique ou la théorie du changement respectivement.

Par ailleurs, dans les groupes de discussion des accompagnatrices et des fondations privées et publiques, on souligne les limites et les défis de l’utilisation du modèle logique par les organismes. Les organismes trouvent la démarche « lourde » et « très méthodique » (F4), elle prend du temps (F5). Elle comporte aussi le risque de ne pas bien représenter les actions et les interventions menées par les organismes. Enfin, une mise en garde est évoquée également relativement aux indicateurs :

Les meilleurs outils du monde ont aussi leurs limites [...] les indicateurs, c’est un outil qui peut être intéressant, là, pour mesurer, mais ce que je voulais mettre en scène, c’est qu’un moment donné, quand on rend l’outil, c’est l’outil qui devient la finalité ou presque de ce qu’on vise, à mon avis

F1

Accompagnement spécialisé en évaluation

Concernant l’accompagnement dans le processus d’évaluation, parmi les organismes ayant fait de l’évaluation, 46 % (N=140) disent avoir travaillé avec une aide extérieure spécialisée en évaluation. Pour savoir s’il existe des différences entre le groupe de répondants et répondantes ayant eu recours à une aide extérieure spécialisée en évaluation et celui qui dit ne pas y avoir recouru, nous avons procédé à une analyse au moyen d’un test-t (voir tableau 2). En considérant les résultats statistiquement significatifs, nous observons que le groupe d’organismes ayant eu recours à une aide extérieure spécialisée en évaluation compte plus de travailleurs et travailleuses à temps plein ainsi que plus de travailleurs et travailleuses au total, comparativement à l’autre groupe d’organismes. Aussi, le groupe d’organismes qui fait appel à une aide extérieure a un pourcentage de financement du fédéral plus élevé que le groupe qui ne recourt pas à cette aide (8,4 % et 5 % respectivement).

Tableau 2

Tests-t sur la différence de moyenne entre le groupe d’organismes qui reçoit de l’accompagnement dans l’évaluation et celui qui n’en reçoit pas (N=292)

Tests-t sur la différence de moyenne entre le groupe d’organismes qui reçoit de l’accompagnement dans l’évaluation et celui qui n’en reçoit pas (N=292)

* p < 0.1, ** p < 0.05 et *** p < 0.01

-> Voir la liste des tableaux

En somme, nos analyses sur le thème de pratiques d’évaluation des organismes communautaires nous montrent qu’un flou subsiste entre la reddition de comptes et l’évaluation pour les organismes. Nous remarquons une complexification des pratiques qui se traduit, entre autres, par la variété des types et des méthodes d’évaluation utilisés par les organismes. Cependant, il ressort assez clairement de cela que les organismes entreprennent des démarches d’évaluation dans une perspective réflexive pour améliorer leurs activités et leurs retombées. Le fait d’avoir recours à une aide spécialisée semble influencé par la taille des organismes (budget annuel et nombre de travailleurs et travailleuses) : ce sont les organismes de plus grande taille qui ont recours à un accompagnement.

Discussion et conclusion

Grâce à la triangulation de méthodes et outils mobilisés pendant la recherche, cet article nous permet de faire état des pratiques d’évaluation des organismes communautaires au Québec. Lorsque mis en relation avec les résultats d’études précédentes, dont ARPÉOC (Hébert et coll., 2005), l’ensemble de nos résultats permettent de dégager à la fois des changements dans les pratiques d’évaluation dans les organismes communautaires, mais aussi des constats similaires et persistants dans le temps. Un constat ressort alors clairement et persiste : les organismes font de l’évaluation. En prenant soin de sensibiliser nos répondants et répondantes à l’importance de distinguer l’évaluation de la reddition de comptes, notre étude montre qu’un taux élevé d’organismes (73 %) font de l’évaluation. Sans faire cette distinction des pratiques de manière explicite, 94 % des organismes sondés pour l’ARPÉOC 2005 mentionnaient faire de l’évaluation, et 96 % des organismes caritatifs interrogés dans le cadre de l’étude de Lasby (2019) l’indiquaient également. Son résultat a donc pu être surévalué en raison de l’omission de cette distinction.

Concernant des aspects plus techniques, tout comme le montraient des études précédentes (ex. : Carman, 2007; Eckerd et Moulton, 2011; Lasby, 2019), nos résultats indiquent que les organismes s’engagent dans des évaluations dont les objets sont variés (satisfaction, besoins, pertinence, résultats, effets…). En nous centrant uniquement sur les objets, nous n’arrivons pas à brosser un portrait distinctif des pratiques d’évaluation dans les organismes communautaires. Néanmoins, c’est en explorant et en analysant qualitativement la nature des démarches et des activités d’évaluation que nous avons alors pu mieux comprendre les pratiques d’évaluation qui leur sont propres. En considérant ces constats, nous souhaitons discuter ici de trois éléments qui émergent de nos analyses globales : la confusion qui persiste entre reddition de comptes et évaluation, la cohabitation de deux groupes de pratiques caractérisant l’évaluation des organismes communautaires au Québec et le rôle crucial des ressources comme facteur qui facilite ou selon le cas fait obstacle au renforcement des capacités en évaluation.

Premièrement, après avoir analysé l’information quantitative et qualitative concernant les pratiques d’évaluation des organismes communautaires, nos résultats corroborent un constat de la littérature (ex. : Carman, 2011; Depelteau et coll., 2013; Hébert et coll., 2005) : nous constatons que les frontières entre reddition de comptes et évaluation semblent encore floues pour certains acteurs, et cela en partie à cause de la complexification des demandes des bailleurs de fonds en matière de reddition de comptes. Les informations recueillies suggèrent qu’il arrive que les exigences actuelles de reddition de comptes s’apparentent de plus en plus à des données ou à des résultats qui pourraient être recueillis plutôt à travers un processus d’évaluation. Ce flou peut influencer la perception des différents acteurs relativement à l’importance, à la pertinence et à la finalité de l’évaluation. Dans certains cas, on observe également une confusion entre les différents types d’évaluation, c’est le cas de l’évaluation d’impacts souvent confondue avec celle des résultats. Et alors que la très grande majorité des organismes indique réaliser des démarches d’évaluation selon une approche participative, nous remarquons la présence d’une variété de pratiques qui s’inscrivent dans un continuum entre les approches techniques, qui appartiennent principalement à l’expertise en évaluation suscitant une participation moins soutenue et diversifiée de parties prenantes, et la réflexivité, ancrée au sein des organismes depuis longtemps et qui mobilise une diversité de parties prenantes dont leurs membres, leurs bénévoles et leurs participants et participantes. Ces derniers constats s’apparentent respectivement au courant d’évaluation participative pragmatique-pratique et au courant d’évaluation participative transformative, tous deux dégagés par Cousins et Whitmore (1998).

L’analyse attentive de cette diversité de pratiques nous amène à souligner la cohabitation des deux groupes de pratiques caractérisant l’évaluation au sein des organismes communautaires au Québec. En fait, l’analyse transversale de l’ensemble de nos données nous montre que l’évaluation comme processus réflexif fait partie de l’ADN des organismes communautaires. Cela s’exprime sous la forme de deux groupes de pratiques distinctes, mais complémentaires :

  1. Nous repérons premièrement que les organismes réalisent tous des activités qui font partie des pratiques d’évaluation intégrées à leur fonctionnement quotidien (ex. : tours de table après chaque activité, questionnaires remplis par les participants et participantes, discussions avec les personnes ayant participé aux activités, moments de réflexion, etc.). L’élément principal caractérisant ces pratiques est leur aspect réflexif. Elles servent à remettre en question les actions, à être à l’écoute des membres et des participants et participantes et à améliorer les interventions. Néanmoins, ces pratiques propres et bien enracinées ne sont pas toujours reconnues comme des pratiques évaluatives, ni auprès des bailleurs de fonds ni, dans certains cas, au sein des membres des propres organismes.

  2. Parallèlement, nous identifions des pratiques d’évaluation systématisées. Celles-ci sont de caractère plus complexe, se focalisent sur quelques objectifs ou thèmes précis, nécessitent une expertise et des capacités en évaluation, et demandent des ressources financières importantes. Elles se réalisent donc à des moments précis dans la vie de l’organisme. Nous avons identifié deux éléments déclencheurs de ce type de pratiques, soit en réponse aux exigences d’un bailleur des fonds finançant un projet ou un programme spécifique pour montrer l’atteinte des résultats et des effets, ou en lien avec le besoin ressenti par l’organisme de planifier et d’organiser des moments pour repenser, réfléchir ou enrichir ses activités et interventions, et cela dans une perspective d’amélioration plutôt que d’atteinte de résultats. Lorsqu’un organisme s’engage dans une telle démarche, il s’avère aussi déterminant qu’il puisse compter sur le soutien et l’accompagnement d’une ressource externe spécialisée en évaluation. Cela est d’autant plus important si nous considérons que les organismes communautaires, bien que matures et expérimentés, sont majoritairement de très petite taille, ce qui limite leur capacité à dégager eux-mêmes des ressources humaines pour l’ensemble des tâches vouées à la démarche.

En troisième lieu, à l’instar des études sur le renforcement des capacités en évaluation (Bourgeois et Cousins, 2013; Buetti et coll., 2019; Lasby, 2019) nous notons que les ressources jouent un rôle crucial dans la poursuite ou non d’une démarche d’évaluation. Nos analyses montrent que l’accès à des ressources humaines (nombre de travailleurs et travailleuses) et financières (budget disponible) semble être déterminant dans le fait de s’engager dans une démarche d’évaluation. Tout comme Carman et Fredericks (2010) et Lasby (2019), nos résultats mettent en lumière l’association entre le recours à une ressource de soutien et d’accompagnement spécialisée en évaluation, spécialement lors d’une démarche systématisée, et une expérience possiblement longue et exigeante, mais aussi positive et structurante pour les organismes. Autrement dit, malgré l’éventuel effet structurant de l’évaluation, principalement celle fondée sur des démarches systématisées, on ne peut pas espérer qu’un organisme ayant un accès restreint à des ressources s’engage dans une démarche évaluative sans un appui financier spécifique pour le faire.

Pour finir, soulignons la robustesse et les implications de cette recherche pour le développement des connaissances dans le domaine de l’évaluation propre aux organismes communautaires. Cette robustesse réside en grande partie dans l’utilisation d’un devis mixte qui nous permet de dégager des conclusions riches et nuancées, mais aussi, grâce au processus de coconstruction au sein d’une démarche partenariale fondée sur un processus de croisement de savoirs et d’expériences entre l’équipe de chercheuses et les représentantes des trois organismes communautaires solidement engagés et reconnus par leur travail de longue date, le tout coordonné par une agente de développement du SAC UQAM qui est proche de la recherche et du milieu communautaire.

Les contributions de cette recherche sont multiples. Pour les acteurs de l’écosystème entourant les pratiques d’évaluation des organismes communautaires, cette étude est porteuse de nombreux apprentissages qui pourront se saisir afin d’améliorer ou de consolider les pratiques d’évaluation. Pour la recherche, l’étude a réussi à combler certaines zones grises relativement aux dynamiques d’évaluation dans les organismes communautaires et offre des avenues intéressantes pour approfondir les connaissances sur la nature des rapports des acteurs de l’écosystème.