L’évaluation participative : une boussole collective. Le cas de la Table de développement social du Centre-Sud à Montréal

La Table de développement social (TDS) Centre-Sud constitue un mécanisme de concertation intersectorielle et multiréseau qui mobilise les partenaires des réseaux communautaires, associatifs et institutionnels ainsi que des citoyen.ne.s du quartier Centre-Sud dans l’arrondissement Ville-Marie à Montréal. La TDS Centre-Sud a comme mission d’améliorer la qualité de vie de la population et de développer la capacité collective d’agir. Pour y arriver, tous les cinq ans, les partenaires identifient des priorités collectives et entament des actions qui se retrouvent dans le plan d’action de la Table.

La Corporation de développement communautaire (CDC) Centre-Sud, mandatée par l’Initiative montréalaise de soutien au développement social local[1], coordonne les activités et les actions de la TDS Centre-Sud. Lors du dernier processus de planification stratégique de la TDS, un ambitieux plan d’action quinquennal (2018-2023) a été élaboré par les partenaires de la Table. Quatre axes de travail[2] et neuf actions collectives ont été mis en place (voir figure I, à la page suivante).

Afin de pouvoir suivre l’évolution du plan d’action et les changements produits par les actions entamées, la TDS Centre-Sud a décidé de mettre en place une stratégie participative d’évaluation découpée en plusieurs phases.

Figure I

Schéma du plan d’action 2018-2023 de la TDS

Présentation de la stratégie d’évaluation participative

La démarche d’évaluation a commencé en 2018 parallèlement au déploiement du nouveau plan d’action de la TDS Centre-Sud. Elle a été coordonnée et mise en place par l’équipe de la CDC avec le soutien d’un comité d’évaluation de la TDS Centre-Sud. Il s’agit d’une stratégie d’évaluation participative avec plusieurs intentions, dont la première a été de suivre et de comprendre les changements opérés dans le quartier et auxquels les actions collectives de la TDS Centre-Sud contribuent dans le cadre de son plan d’action. La deuxième a été d’informer et d’aider à la prise de décision concernant les actions collectives entreprises. Puis, la troisième a été de conserver des traces de l’évolution dans le plan d’action ainsi que de prendre du recul sur le chemin parcouru.

Ainsi, cette stratégie se veut être un instrument d’apprentissage facilitant la prise de décision à l’échelle du quartier tout en permettant de rendre visibles les changements et les effets des actions dans la vie des gens ; une boussole permettant de guider les partenaires de la Table et les porteur.euse.s de projets vers des changements souhaités. Pour développer la stratégie d’évaluation, la posture suivante a été adoptée : la démarche devait être utile pour le quartier, simple et participative, rigoureuse, mais non experte, le tout dans le plaisir.

Comme toute aventure, on ne soupçonne jamais l’ampleur de la tâche ! Après des années de chemin parcouru, force de constater que la démarche a été riche en apprentissages pour le quartier, ainsi que pour les personnes qui l’ont mise en place.

Les trois phases de la stratégie d’évaluation participative

Avec l’objectif de donner du temps au quartier pour avancer dans le plan d’action, la démarche d’évaluation a été imaginée en trois phases (voir la figure II plus bas). Cette façon de faire a permis de suivre certains changements et de faire ressortir des apprentissages dès la première année.

Figure II

Phases de la stratégie d’évaluation

Cette évaluation étant une démarche transversale aux actions collectives, seuls les changements survenus dans le quartier et non les objectifs ou les résultats des actions ou des projets particuliers ont été suivis et évalués lors de ces trois phases. De plus, les actions collectives ont été mises en place de façon progressive dans le quartier, et elles n’ont pas nécessairement fait l’objet d’une analyse lors des trois phases de l’évaluation.

Comme mentionné auparavant, la stratégie de collecte et d’analyse se voulait participative, donc il fallait développer des processus simples, agréables et mobilisateurs qui pourraient provoquer chez les participant.e.s le goût pour l’évaluation. Les phases ont été conçues en prenant en considération le contexte, c’est-à-dire le calendrier des actions collectives, la disponibilité et la motivation des porteur.euse.s à s’impliquer dans la démarche, etc. Ainsi, le processus répondait aux besoins de l’évaluation, mais surtout à ceux du quartier.

Même si depuis la conception de la stratégie d’évaluation, une idée générale a été dégagée pour chacune des phases en termes d’intentions, les objectifs spécifiques ont été ciblés avec le quartier et selon le besoin d’information qui émergeait à chaque étape. Par exemple, lors de la conception de la première phase (2018-2019), les premiers changements ciblés dans tous les axes de travail du plan d’action étaient en lien aux changements des collaborations entre les partenaires, soit : mieux se connaitre ; créer de liens, des espaces de dialogue, des partenariats, etc. C’est ainsi que collectivement, il a été convenu d’étudier les changements liés aux dynamiques de collaboration.

Inspirée par la méthode du Changement le plus significatif[3], la collecte de données de cette première phase a consisté à recueillir et à analyser de courtes histoires rédigées par les porteur.euse.s des actions collectives. Au fil de multiples rencontres avec les partenaires, des catégories de changement sont ressorties, et ont été analysées et priorisées. Ces moments ont été riches de réflexions et de prises de conscience collective. De plus, la complicité et la cohésion qui en ont découlé ont permis de continuer à solidifier les bases pour le développement des actions collectives. Trois actions collectives ont fait l’objet de cette phase.

Pour la deuxième phase (2019-2020), les objectifs ont été de comprendre les changements produits dans la vie de gens qui sont touchés par les actions collectives, ainsi que de connaitre les conditions mises en place par les porteur.euse.s des actions collectives pour produire ces changements. Trois actions collectives ont fait partie de cette phase. Pour réussir le premier objectif de cette deuxième phase, un outil de collecte, « une carte postale de changements », a été créé (voir la figure III, plus bas). Invités à écrire ou à dessiner sur la carte, les participant.e.s ont été convié.e.s à identifier des changements vécus à la suite de leur participation aux projets inscrits dans les actions collectives. Les porteur.euse.s étaient responsables de les guider et de les soutenir pour remplir les cartes. Cet outil, ludique et simple, a été apprécié par les partenaires et par les participant.e.s des actions collectives ; il était facile à compléter, peu importe le niveau d’aisance avec l’écriture. L’exercice a servi de prétexte pour prendre un temps d’arrêt et pour réfléchir sur les effets concrets de ces initiatives de quartier dans l’amélioration de la qualité de vie des personnes habitant et fréquentant le quartier.

Figure III

Outil de collecte de la phase II. « Carte postale des changements »

Le traitement préliminaire des données et la catégorisation des effets ont été pris en charge par la CDC Centre-Sud. L’analyse des éléments ressortis de la collecte ainsi que l’identification des conditions permettant l’arrivée des changements ont été faites collectivement avec les porteur.euse.s.

La troisième et dernière phase (2021-2022) de la stratégie d’évaluation avait pour objectif de regarder notre cheminement dans le plan de quartier et d’analyser les accélérateurs et les freins vers l’atteinte des changements souhaités. Pour ce faire, un seul moment de collecte a été réalisé avec les porteur.euse.s de projet par la plateforme virtuelle participative MIRO[4]. Ce choix était principalement dû à l’adaptation de la démarche au contexte de COVID-19. En effet, il était impossible de réaliser des rencontres participatives en présentiel. Après un an de pandémie, il a également fallu prendre en compte l’énergie amoindrie des acteur.rice.s du quartier. Dans cet exercice commun et virtuel, les partenaires des actions collectives ont examiné les changements souhaités dans le plan de quartier et ont identifié ceux dans lesquels leurs actions avaient apporté une contribution.

Quoique moins mobilisant comme méthode de récolte que les outils des phases précédentes, cette activité a été un moment valorisant pour le quartier et pour les porteur.euse.s des actions collectives. Cet exercice leur a permis de réaliser que les actions ont un impact important dans les changements souhaités par le quartier et que même la portée de leurs projets déborde de l’axe dans lequel ils ont été conçus initialement. Six actions collectives ont été comprises dans cette dernière phase.

L’utilisation de stratégies de rétroaction, de diffusion et de vulgarisation

Dans cette stratégie d’évaluation, le transfert de connaissance est fondamental. À ces fins, plusieurs outils et moments de rétroaction ont été conçus avec les personnes concernées. À chaque phase, un bilan a été rédigé, et des outils de vulgarisation ont été prévus. Ainsi, pour la phase I et II, des fiches synthèses et une capsule vidéo ont été réalisées (pour consulter ces ressources, voir la section « pour aller plus loin » à la fin de cet article). Cette année, la création d’un jeu de cartes avec les résultats de la phase III a été envisagée. En diversifiant les outils, l’équipe chargée de la démarche désirait faciliter l’appropriation de méthodes et des résultats auprès des porteur.euse.s, des partenaires de la TDS Centre-Sud et des organismes communautaires intéressés par l’évaluation.

De plus, des rencontres de rétroaction avec l’ensemble des membres de la TDS Centre-Sud, ainsi qu’avec les partenaires des actions collectives ont été organisées tout au long de chaque phase. Par exemple, un Fest’éval a été organisé à la fin de la première et de la deuxième phase. Lors de cette activité, ce ne sont pas les résultats d’évaluation qui ont été abordés, mais plutôt les réussites de quartier. Cette célébration a été organisée dans l’esprit de continuer à démystifier le processus évaluatif, en mettant de l’avant les retombées qu’une stratégie d’évaluation participative peut apporter au quartier : une meilleure compréhension du travail fait, la remobilisation de la communauté et la cohésion entre acteur.rice.s, le renforcement des capacités, l’occasion de faire des apprentissages transversaux, ainsi que de rendre visibles nos avancées et nos angles morts.

L’humain dans la démarche : l’importance des ressources humaines

Cette stratégie évaluative d’envergure a pu compter sur des ressources humaines et financières suffisantes. Tout au long de cette démarche, deux employé.e.s de la CDC Centre-Sud ont été mandaté.e.s pour coordonner et mettre en place ce processus évaluatif (conception, création des outils, collecte de données, traitement, analyses, rédactions des bilans, stratégie de communication, rétroaction avec le quartier)[5]. C’est grâce à ce travail continu que la démarche a pu être si aboutie et intégrée dans le plan de quartier.

En soutien à la démarche et en étant intégré dans la structure de gouvernance de la TDS Centre-Sud, un comité d’évaluation a été créé. Ce dernier a été composé de personnes engagées dans des organisations du quartier, motivées par les questions d’évaluation et impliquées dans les actions collectives de la TDS. Le comité a évolué durant les trois dernières années en passant d’un comité de travail, avec un mandat de développer la stratégie d’évaluation, à un comité « aviseur ». Il est devenu le gardien du processus, en faisant le lien avec le contexte, en nous rappelant l’importance de répondre aux besoins du territoire, en soulevant les angles morts et en apportant des réflexions sur le choix des méthodes, sur les analyses de données ainsi que sur la présentation des résultats.

La démarche d’évaluation a profité pendant des années d’un précieux accompagnement de Dynamo Collectivo. Cette organisation est impliquée depuis le début des travaux. Ses conseiller.ère.s ont apporté du soutien et des éclaircissements, poussant ainsi nos réflexions plus loin. Cet oeil expert a été décisif dans les différents moments de la démarche. Étant une démarche participative, les partenaires de la TDS Centre-Sud et les porteur.euse.s des actions collectives ont eu un rôle fondamental à jouer notamment dans la collecte d’informations et dans l’analyse collective, ainsi que dans l’émergence de pistes d’amélioration.

Un appui financier indispensable

Dans le cadre du Projet impact collectif[6] mené par Centraide Grand Montréal, le quartier Centre-Sud a pu bénéficier d’une allocation généreuse. Ce financement, étalé sur plusieurs années et sans balises strictes, a permis à la TDS Centre-Sud de concevoir cette stratégie évaluative respectueuse du plan d’action du quartier, d’innover et de compter sur les ressources humaines adaptées à sa mise en place.

Les apprentissages sur la démarche

Après quatre ans de démarche d’évaluation participative dans le quartier, les apprentissages sont riches. Ces apprentissages s’observent sur plusieurs niveaux : sur le processus même d’évaluation ; sur la mobilisation des acteur.rice.s concerné.e.s ; sur les ressources nécessaires ; sur la portée et les limites de la démarche.

Apprentissages sur le processus d’évaluation

Les démarches d’évaluation participative peuvent facilement devenir complexes, soit par le choix des méthodes, soit par l’énergie demandée aux personnes impliquées. À plusieurs reprises, le piège de vouloir « tout évaluer » a pu être évité :

À force de vouloir tout comprendre et tout mesurer, le risque est de développer une démarche extrêmement complexe et lourde à porter, voire impossible à mettre en oeuvre dans un contexte collectif.

Comité d’évaluation de la TDS Centre-Sud, 2020, p. 22

Pour aider à trouver le Nord et garder les choses simples, il a été essentiel de

1. bien clarifier les intentions de la démarche, en nous rappelant pour qui nous faisions cette évaluation et à quels besoins nous voulons répondre ;

2. dans les moments de doute, revisiter nos questions d’évaluation ;

3. réaliser des rétroactions systématiques avec l’équipe de la CDC Centre-Sud et avec le comité d’évaluation, afin d’être critiques envers le processus et d’avoir des moments de réflexion dédiés à la stratégie.

Apprentissages sur la participation, la mobilisation et l’énergie du quartier

Tout au long des trois phases, il a été primordial de respecter les intentions de réaliser une évaluation participative en impliquant les personnes concernées lors des différents moments de la démarche. Cependant, la capacité d’adaptation a été développée pour s’ajuster aux disponibilités des partenaires et pour respecter le rythme des actions collectives. La COVID-19 nous a aussi obligés à réorienter les activités de collecte et d’analyse, ainsi qu’à bien choisir les moments de sollicitation des partenaires.

Au-delà de la collecte de données, lors de rencontres dédiées à l’évaluation, les participant.e.s expérimentaient des discussions ouvertes, constataient des prises de conscience et vivaient des moments de cohésion.

À la suite des rencontres bilans, nous avons sondé nos partenaires pour leur demander ce qu’ils avaient pensé de l’approche. Les commentaires ont été extrêmement positifs : « Ça nous a fait réaliser tout ce qu’on avait accompli en une année », ou « J’ai pris conscience de ce que ça nous avait apporté collectivement et individuellement de travailler ensemble ».

Comité d’évaluation de la TDS Centre-Sud, 2020, p. 22

Apprentissages sur les ressources nécessaires

Même si les ressources humaines investies dans la démarche ne sont pas expertes en évaluation, elles ont des compétences significatives en recherche et analyse, en animation de processus participatifs et en communication. Ces quatre années ont permis de développer le goût collectif pour l’évaluation ainsi que de renforcer et développer des capacités liées à ce champ d’expertise.

L’existence d’un comité d’évaluation à la Table de quartier donne de la crédibilité et de l’envergure à la démarche évaluative et à ses résultats. Ses membres ont un rôle important à jouer dans la vigilance du processus et comme ambassadeur.rice.s de l’évaluation à l’intérieur des actions collectives et de la TDS Centre-Sud.

À l’intérieur de l’équipe de la CDC Centre-Sud, de nombreux apprentissages ont été réalisés notamment sur le temps et l’énergie requis par le traitement et l’analyse de données, la rédaction de bilans et la création d’outils de vulgarisation.

L’accès à un financement adéquat a permis de déployer une démarche de grande ampleur. Que ce soit du point de vue de la mobilisation des partenaires du quartier, de la possibilité de dédier des ressources humaines en permanence dans un processus de longue durée (quatre ans), de la mise en place d’un comité d’évaluation ou de la possibilité de développer des outils de communication pour la divulgation des résultats en trois phases.

Apprentissages sur la portée et les limites de cette démarche évaluative

Les méthodes de collecte utilisées dans la phase I et II ont fait émerger majoritairement des changements positifs, ce qui est possiblement un biais de ces méthodes. Un oeil vigilant à ce niveau permet de les rendre visibles et de faire un effort dans les différents moments de la démarche pour y remédier. Dans le cas qui nous intéresse, lors des deux premières phases, il a été difficile d’approfondir des éléments négatifs, conflictuels ou des freins, car ces derniers ne sont pas ressortis des collectes de données.

Toutefois, notre quartier est souvent sollicité pour des recherches-actions d’origines diverses (universitaires, de réseaux sectoriels, etc.). Ces études deviennent alors des sources inestimables d’informations, car en les mettant en relation avec les résultats de nos évaluations, une triangulation des données est réalisable. Il est donc possible d’aller plus loin dans les explications, et ainsi minimiser certaines limites de nos démarches telles que les petits échantillons ou les biais mentionnés précédemment.

L’utilité de la démarche se perçoit à plusieurs niveaux. Le premier est de pouvoir rendre visibles nos réussites et illustrer nos parcours. Le deuxième est de pouvoir garder des traces tout comme relever de l’information permettant une adaptation des actions et des chemins dans le futur. Ce voyage collectif d’évaluation a permis de révéler les impacts, les changements opérés, les facilitants, et les freins. Tout cela permet de faire des recommandations pour le déploiement du plan de quartier.

Cependant, malgré le désir, la compréhension du quartier envers cette démarche ainsi que les efforts de mobilisation et de communication développés, il est difficile de prévoir le réinvestissement des résultats de l’évaluation par le quartier et de compter sur lui. En effet, le comité d’évaluation de la TDS Centre-Sud joue un rôle de conseiller ; il peut uniquement émettre des recommandations. La TDS Centre-Sud et les partenaires impliqué.e.s dans les actions collectives n’ont aucune obligation de mettre en pratique les recommandations et les résultats observés, même s’ils en comprennent toute l’importance et la portée.

Ainsi, pour que les résultats ne soient pas oubliés « au fond d’un tiroir », il faudrait que, d’un côté, la TDS Centre-Sud prenne le temps de réfléchir en profondeur sur les éléments ressortis et qu’elle réussisse à prendre des décisions en conséquence (réorientation du travail, etc.). D’un autre côté, il serait pertinent que chaque action collective s’approprie les apprentissages, aille plus loin dans les réflexions et mise sur des éléments qui sont plus porteurs pour elle.

Une réflexion plus profonde sur le transfert de connaissance et sur la culture évaluative a été entamée récemment au sein de l’équipe de la CDC Centre-Sud. Ce travail a un double objectif : réfléchir à comment déployer le réflexe d’utilisation des résultats et des outils développés, mais aussi à comment faire émerger l’envie de réaliser des évaluations au sein des actions collectives et des organismes du quartier, afin de permettre une autonomisation de la part des acteur.rice.s du quartier.

Conclusion

Grâce à ce processus d’évaluation, des apprentissages, des réussites et des défis de notre plan de quartier ont été rendus visibles. Les prises de conscience, les analyses collectives et les rencontres participatives ont été révélatrices et stimulantes pour les personnes impliquées. Au-delà des résultats, le processus dans lequel s’est engagé le quartier est beaucoup plus révélateur à plusieurs niveaux.

De nombreux apprentissages et constats ont été réalisés sur les changements de collaborations, sur les effets réels de nos actions dans la vie des gens, sur la force du travail de concertation et sur la valeur ajoutée des actions collectives intersectorielles. Toutefois, comment parvenir à réinvestir à sa juste valeur la richesse de ces apprentissages au sein de notre quartier ?

Maintenant que les bases pour développer et renforcer une culture évaluative dans le quartier ont été posées, la réflexion sur la réappropriation des outils développés doit se poursuivre tout comme une réflexion sur la façon de soutenir l’émergence de processus d’évaluation dans les différents espaces d’action du quartier ; de même, d’autres façons de réinvestir les résultats de ces démarches s’imposent.

À présent, le quartier se lance dans un processus d’actualisation de la planification stratégique de la TDS Centre-Sud. Les résultats des trois phases d’évaluation, des ingrédients utilisés dans ce processus de quartier, devront permettre de réaliser des analyses plus profondes, de prendre des décisions plus agiles et de réorienter le plan d’action.

Notes

• [1] Pour plus d’information sur L’initiative montréalaise de soutien au développement social local, visiter : http://www.tablesdequartiermontreal.org/initiative-montrealaise/
• [2] Quatre axes de travail : Habiter, Se nourrir, Travailler, étudier et se développer et Vivre ensemble.
• [3] Davies, R. et Dart, J., (2005), The « Most Significant Change » (MSC) Technique A Guide to Its Use, consulté le 2 mars 2022 à l’adresse https://www.researchgate.net/publication/275409002_The_’Most_Significant_Change’_MSC_Technique_A_Guide_to_Its_Use
• [4] Plateforme virtuelle MIRO : https://miro.com/fr/
• [5] Comme il s’agit d’une démarche de plusieurs années et le roulement du personnel n’est pas négligeable dans le secteur communautaire, plusieurs employé.e.s de la CDC Centre-Sud ont pu participer à cette démarche.
• [6] Pour plus d’information sur le Projet impact collectif visiter : https://www.centraide-mtl.org/projet-impact-collectif/
• [7] Vocabulaire emprunté du Bilan de la troisième phase d’évaluation (en cours de publication).