Corps de l’article

Introduction

Depuis quelques années, les organismes communautaires des régions rurales du Québec tentent, en prenant exemple sur ce qui se passe dans les villes depuis bien longtemps, de mettre en oeuvre des programmes de « travail de rue » destinés aux jeunes. À cette fin, ces organismes doivent se diriger vers des bailleurs de fonds pour trouver le financement nécessaire. Aujourd’hui, ils sont dans l’obligation, face aux requêtes des organismes financiers et au regard de la concurrence suscitée par des ressources disponibles limitées, de faire la démonstration de leur efficacité. Or, il faut bien reconnaître que les évaluations de tels projets ne sont pas légion au Québec. L’une des hypothèses que nous oserions formuler à cet égard est qu’il est risqué de faire appel aux stratégies traditionnelles d’évaluation de programmes. La nature particulière de ces projets, les valeurs défendues par les travailleurs de rue (TR) ainsi que l’intervention auprès de jeunes directement dans leur milieu de vie ne rendent pas l’évaluation facile. Dans cet article, nous tentons de montrer, à l’aide d’un exemple concret, qu’avoir recours à une démarche participative de type empowerment est l’une des solutions envisageables pour l’évaluation des projets de travail de rue. Il ne s’agit cependant pas de comparer les approches traditionnelles et participatives en évaluation. L’objectif est plus modeste. Ainsi, nous ne rapportons pas les résultats de l’évaluation (liés à son efficacité), mais nous révélons et analysons plutôt son processus.

Nous exposons dans la première section le contexte et les caractéristiques du projet ainsi que les spécificités de ce type d’approche auprès des jeunes. Dans la deuxième section, nous justifions la démarche entreprise et décrivons en détail le processus de l’évaluation. Nous analysons dans la troisième section l’ensemble de la démarche, notamment en ce qui a trait aux résultats en matière d’empowerment de cette stratégie évaluative. Nous terminons par une conclusion.

Le contexte

Le contexte du projet

Le projet dont il est question est mis en oeuvre et piloté par l’organisme Ressource alternative des jeunes de Bellechasse (RAJB). La mission de cet organisme est de favoriser l’intégration sociale, scolaire, professionnelle et économique des jeunes de la municipalité régionale de comté (MRC) de Bellechasse. Le projet « Travail de rue » a été conçu en continuité avec une précédente intervention du même type, lancée au milieu de l’année 1996. Le financement du projet a été assuré par Santé Canada par l’intermédiaire de l’Initiative d’innovations en santé pour les régions rurales et éloignées. Il a permis d’étendre les activités à cinq municipalités supplémentaires et d’envisager l’évaluation de l’ensemble des interventions. Les projets financés par cette initiative s’inscrivent dans le champ de pratique de la promotion de la santé (Ridde et Halabi, 2003).

La MRC de Bellechasse est située dans la région Chaudière-Appalaches. Les habitants de cette région sont moins scolarisés que ceux de l’ensemble de la province, ils sont moins nombreux au chômage, mais disposent de revenus plus faibles et ils ont un taux ajusté de mortalité par suicide plus élevé. Ce dernier indicateur, qui place la région au second rang dans la province, est en hausse croissante depuis 15 ans, notamment pour les hommes et surtout pour les jeunes : +150 % pour les 10-14 ans entre 1984 et 1998, +44 % pour les 15-19 ans (Institut national de santé publique du Québec, 2001). Cette région regroupe 19 municipalités, qui comptent de 406 à 3 160 personnes. Les jeunes de 15 à 24 ans représentent 13,2 % de la population, soit 3 910 personnes. Entre 1991 et 1996, on a observé un exode des jeunes de 15 à 19 ans bien plus marqué dans Bellechasse (-17,2 %) que dans le reste de la région (-11,1 %). Les jeunes de 20 à 24 ans quittent aussi la MRC (‑8,5 %), contrairement à ce que l’on note dans le reste de la région (+0,5 %). Dans la commission scolaire (CS) de Bellechasse, le pourcentage de jeunes diplômés après sept ans de scolarité au secondaire est inférieur à ce qui est observé dans l’ensemble des commissions scolaires de la région, soit à 68,9 % contre 75,3 % (Fafard, Bourassa et al., 2000).

Le travail de rue au Québec

Le travail de rue est apparu à la fin des années 1960 au Québec. Après un passage à vide dans les années 1970, les travailleurs de rue (TR) étant alors pour la plupart intégrés dans le réseau des affaires sociales, il a repris de l’ampleur depuis les années 1980. À l’origine, il s’adressait principalement aux personnes toxicomanes de Montréal. Puis les problématiques prises en charge se sont élargies (Paquin et Perreault, 2001). L’émergence du phénomène des jeunes de la rue a favorisé la création de plusieurs organismes au début des années 1990 (Paquin et Perreault, 2001; Parazelli, 2002), ce qui a facilité la création en 1993 de l’Association des travailleurs et travailleuses de rue du Québec (ATTRueQ). C’est seulement à partir de cette date que quelques expériences ont été implantées en région rurale et bien plus dans de petites municipalités que dans la campagne profonde (Hurtubise, Vatz Laaroussi et al., 2000; Beaulé et Simard, 2002). Récemment, un organisme communautaire de Sherbrooke a rendu, par l’intermédiaire de campagnes de financement, le phénomène des jeunes de la rue plus médiatique dans les régions. D’autres se sont aussi attelés à cette tâche en Estrie, en Montérégie, en Mauricie ou dans les Bois-Francs (Moore, Gagnon et al., 1998; Hurtubise, Vatz Laaroussi et al., 2000).

Deux facteurs essentiels auraient contribué au renouveau des programmes pour les jeunes de la rue (Duval et Fontaine, 2000; Parazelli, 2002) : 1) l’accroissement du nombre de jeunes dans la rue à la suite des changements économiques et de l’augmentation du décrochage scolaire et 2) la volonté des acteurs institutionnels, à la suite du fameux « virage ambulatoire », de se rapprocher des individus et d’agir plus souvent dans les milieux de vie. Le travail de rue est en phase avec deux stratégies provinciales de la politique de santé de 1992 (soutien aux groupes vulnérables et renforcement du milieu social dans lequel ils vivent) ainsi qu’avec les priorités nationales de santé publique du Québec (ministère de la Santé et des Services sociaux, 1997) (p. ex. l’engagement envers les communautés). Évidemment, il faut ajouter à cela que les actions entreprises par le travail de rue sont en lien très étroit avec les différentes problématiques inscrites dans ses politiques publiques (violence, maladie transmissible, alcool, santé mentale, etc.).

Il faut d’emblée affirmer que le travail de rue n’est pas compris selon les mêmes modalités par tous. Il subsiste de multiples définitions et la plus grande confusion règne encore aujourd’hui. Une myriade d’expressions sont employées : « out-reach », travail de proximité, de rue, de corridor, de milieu, de quartier, etc. Plusieurs auteurs ont tenté de proposer une typologie de ces pratiques, puisque leur mise en oeuvre n’est absolument pas uniforme au Québec. L’étude des recensions des écrits réalisées par trois auteurs permet à Parazelli (2002) de préciser que cinq stratégies particulières existent : 1) des interventions cherchant à améliorer l’accès aux services et le dépistage; 2) un suivi continu et individualisé; 3) les modifications de comportements et l’acquisition de nouvelles habiletés; 4) les approches visant l’empowerment; 5) la mobilisation des ressources locales. Duval et Fontaine (2000) ont conçu une typologie d’actions du travail de rue caractérisée par deux approches : normative et autonome. Le premier type correspond à des activités conçues en prolongement des interventions institutionnelles, le TR jouant un rôle de médiateur. Ce type est encore dominant, notamment pour les organismes publics, puisqu’il n’est pas incompatible avec des interventions de promotion de la santé. Il conçoit les jeunes comme des « groupes à risque », des sujets identifiés par une « santé publique épidémiologique », des individus dont il faut changer les comportements malsains. Les résultats d’un questionnaire adressé aux régies régionales de la santé et des services sociaux du Québec en 2000 confirment que les projets de « travail de rue » sont implantés selon cette optique (Paquin et Perreault, 2001). Selon Parazelli (2002), la « pression gestionnaire » (p. 300) serait responsable de cette dérive interventionniste de type normatif. Le second type vise à rendre les jeunes plus autonomes et plus responsables par l’intermédiaire d’une approche éducative globale fondée sur l’émancipation des jeunes. Au Québec, ATTRueQ préconise une approche du second type, centrée sur les besoins des jeunes et soucieuse de leur environnement et de leur mode de vie. Il faut par contre souligner que ce type d’intervention est relativement rare.

Les caractéristiques du projet dans Bellechasse

À la suite de l’intégration des TR de la MRC de Bellechasse en 1998, RAJB a ressenti le besoin d’assurer une présence préventive continue dans les milieux naturels des jeunes de 12 à 25 ans. En ce qui concerne la finalité du projet, à la lumière des entretiens réalisés avec les TR et au regard de leur philosophie de pratique, le travail de rue est défini dans le cadre de cet article selon une approche visant à favoriser la prise de pouvoir par les jeunes, l’autonomie et l’accompagnement étant des concepts centraux de cette approche. Laissant de côté les stratégies instrumentales, le travail de rue, tel qu’il est pratiqué dans le cadre de ce projet, est en phase avec les valeurs véhiculées par ATTRueQ et s’apparente tant au mode d’action de l’accompagnement (Parazelli, 2002) qu’au type d’approche de l’autonomie (Duval et Fontaine, 2000). Les jeunes sont considérés comme des acteurs sociaux, comme des êtres politiques. L’intervention des TR, qui agissent comme médiateurs des pratiques de socialisation (Parazelli, 2002), vise l’habilitation et l’autonomisation (empowerment) des jeunes. À propos du processus, il faut signifier que l’intervention est globale. Les jeunes ne sont pas « découpés » selon la problématique (suicide, toxicomanie, etc.) et les TR cherchent à répondre aux besoins exprimés dans leur globalité. Le projet de Bellechasse ne s’intéresse pas uniquement aux jeunes exclus ou aux autres qualifiés de « hors réseau » (Beaulé et Simard, 2002), mais à l’ensemble des jeunes du territoire.

En ce qui a trait aux différents objectifs que se sont fixés les responsables de ce projet, à long terme les promoteurs souhaitent contribuer à la promotion de la santé et du bien-être des jeunes. Les résultats attendus à moyen terme consistent à favoriser le renforcement du pouvoir des jeunes pour qu’ils soient en mesure d’agir sur les déterminants de leur santé. Au coeur de ce résultat figurent les concepts d’empowerment, d’habilitation et d’autonomie. Pour y arriver, les TR visent l’atteinte de quatre objectifs à court terme, conçus comme quatre résultats à obtenir tout au long du processus d’implantation du projet. Signalons que ces objectifs ont été précisés à la suite de réunions de travail avec les TR afin de les rendre explicites (phase préévaluative). Il s’agit : 1) de dépister : les TR, par l’intermédiaire de leur intégration progressive dans le milieu, doivent être capables de connaître les jeunes de leur secteur et de reconnaître ceux pour lesquels il sera nécessaire de mettre en oeuvre une intervention spécifique; 2) d’informer : lorsque les jeunes désirant et nécessitant un soutien ont été repérés, les TR s’attachent à répondre à leurs requêtes et à leur donner l’information dont ils ont besoin; 3) d’orienter : plus loin dans la démarche d’intervention, certains jeunes vont devoir chercher du soutien auprès d’autres intervenants que les TR. Ces derniers jouent dans ce cas le rôle de médiateurs, de « between », disent-ils, et ils interviennent pour orienter les jeunes vers les ressources les plus aptes à répondre à leurs besoins du moment; 4) de responsabiliser : l’objectif est de faire en sorte que les jeunes soient en mesure de prendre des décisions qui les concernent, en toute connaissance de cause. Il s’agit du résultat à court terme le plus poussé au regard du continuum des interventions des TR.

Les TR se sont réparti le territoire en trois grandes régions. Trois équipes interviennent sur le terrain, une composée d’hommes, une de femmes et une mixte. En ce qui a trait aux activités, il faut préciser que l’atteinte des objectifs exposés plus haut n’est possible, selon les promoteurs du projet eux-mêmes, que dans la mesure où l’intégration des TR dans le milieu naturel des jeunes se concrétise. Quatre étapes jalonnent les actions mises en oeuvre par les intervenants et elles peuvent raisonnablement s’organiser dans l’échelle temporelle indiquée : l’observation (6-9 mois), l’intégration (9-12 mois), l’implication (12-16 mois) et l’intervention (16-24 mois). Faute de place, nous ne décrirons pas les détails pratiques de ces étapes. Il convient cependant de souligner qu’elles ne constituent pas un processus linéaire : elles peuvent être simultanées et concourent à l’atteinte des quatre objectifs précédemment énoncés.

Le processus de l’évaluation

Après analyse des évaluations du travail de rue réalisées au Québec et dans Bellechasse, nous décrivons de façon détaillée comment l’évaluation s’est organisée.

Les stratégies d’évaluation du travail de rue au Québec et dans Bellechasse

Il faut reconnaître que les évaluations des projets de travail de rue au Québec sont rares. Celles qui existent ont essentiellement porté sur le processus d’implantation et les activités et peu, sinon jamais, sur les effets (Simard, Caron et al., 2000). Et celles qui permettent de porter un jugement sur l’efficacité se sont surtout intéressées à la problématique des MST-sida (Moore, Gagnon et al., 1998). À Lévis, l’évaluation réalisée en 1998 ne porte que très sommairement sur les effets du projet (Marcotte et Laflamme, 1998). À Joliette, une première évaluation d’un projet similaire ne portait que sur le processus (Paquet et Richard, 1995) et une seconde, de type exploratoire, sur le partenariat et sur les effets des interventions sur les bénéficiaires (Paquet et Richard et al., 1998). En Montérégie, Houde et ses collaborateurs (cités par Moore, Gagnon et al., 1998) ont réalisé une évaluation des activités et des bénéficiaires de 17 organismes mettant en oeuvre des projets de travail de rue. Une récente recherche exploratoire a porté sur la pratique du travail de rue en analysant le discours des TR (Cheval, 2001).

Parazelli avance (2002) qu’il est délicat de vouloir définir clairement le concept de « jeune de la rue » et que, pour éviter des interprétations abusives, il convient de laisser une place importante à l’analyse de ce phénomène par les jeunes eux-mêmes. En effet, ainsi que le rapportent Fortier et Roy dans leur revue de littérature (cités par Parazelli, 2002, p. 298) : « Peu d’articles […] font état de ce que pensent les jeunes eux-mêmes » (p. 144). À notre connaissance, une seule recherche évaluative en milieu rural québécois a été organisée en prenant en compte le point de vue des jeunes (Simard, Baron et al., 2002). Cependant, bien que cette étude ait été menée en collaboration avec les acteurs concernés, fidèles à un courant de pensée en évaluation (Patton, 1997), les chercheurs ont procédé eux-mêmes à la collecte et à l’analyse des données. La même chose s’est passée dans un projet de recherche-action participative avec les jeunes de la rue à Toronto. Ceux-ci n’ont pas été impliqués dans la collecte et l’analyse des données (Poland, Tupker et al., 2002). En revanche, une expérience fort intéressante s’est déroulée à Ottawa avec la participation (de type empowerment) des intervenants et des jeunes de la rue à l’évaluation (Whitmore et McKee, 2001).

Ce n’est pas la première fois que les responsables du projet de Bellechasse s’interrogent sur les retombées de ce dernier. Quelques outils d’évaluation avaient déjà été employés, mais au dire des TR les résultats n’ont pas été très probants. Un questionnaire avait été préparé et les jeunes devaient le remplir à la maison, puis le retourner à l’aide d’une enveloppe remise en même temps que le questionnaire. Moins de cinq réponses ont été retournées. Un journal de bord a aussi été mis en place, mais il est surtout utile aux TR pour effectuer un suivi de leurs interventions. Les données de ce journal n’ont jamais été employées pour une analyse en profondeur et elles ne sont pas suffisamment exploitables, croyons-nous, pour établir un lien avec les objectifs du projet, puisqu’elles étaient colligées dans le seul but de réaliser un suivi individuel des jeunes.

La stratégie évaluative dans Bellechasse : une approche participative de type empowerment

Les quelques lignes précédentes permettent de comprendre l’ampleur du défi que représente l’évaluation des effets du projet dans Bellechasse. Elles sont aussi une occasion de rappeler combien il est indispensable, compte tenu du contexte et de la nature de ce type d’interventions, d’obtenir le point de vue des jeunes et de faire participer les TR à une évaluation participative de type empowerment. Avant de justifier ce choix, précisons ce que cette approche signifie.

La stratégie évaluative participative, qui repose sur une approche pluraliste fondée sur la négociation, est qualifiée, avec d’autres (« responsive, naturalistic, illuminative, utilization-focused, adversial »), d’évaluation de quatrième génération lorsque l’on se situe dans un continuum historique (Guba et Lincoln, 1987, p. 208). Elle permet aux acteurs de participer activement à toutes les étapes de l’évaluation, contribuant ainsi à établir un climat de confiance tout en permettant aux acteurs d’acquérir de nouvelles compétences propres à l’évaluation de programme. Le rôle des évaluateurs externes est d’offrir une expertise et un accompagnement tout au long du processus (Ridde, 2003; Ridde, 2004a). Dans ce domaine de l’évaluation participative, Cousins et Whitmore (1998) avancent que deux courants existent. D’un côté, il y a l’approche dite pratique (centrée sur l’utilisation), qui permet aux organisations de prendre des décisions ou de résoudre des problèmes particuliers. De l’autre, on retrouve l’approche « transformative » (centrée sur l’empowerment), où la participation des acteurs vise le changement social en transférant connaissances et pouvoirs aux intéressés. Assurément, ainsi qu’il sera discuté plus loin, la stratégie évaluative participative la plus appropriée pour le projet de Bellechasse est celle de type empowerment. L’empowerment est ici compris selon sa définition individuelle et non communautaire ou organisationnelle (Ninacs, 2001), puisque l’accompagnement dans l’évaluation s’est essentiellement organisé à l’intention des TR et non des jeunes ou de la communauté. Cette précision permet de répondre aux critiques formulées contre les tenants de « l’empowerment evaluation », car il ne serait jamais clairement indiqué « who is really empowered » (Scriven, 1997, p. 168).

Quatre raisons peuvent être invoquées pour justifier l’emploi d’une telle approche. Primo, les deux éléments clés de l’Initiative d’innovations en santé pour les régions rurales et éloignées de Santé Canada sont l’amélioration de la santé et l’empowerment (Santé Canada, 2000). Ces deux caractéristiques se retrouvent aussi dans la définition du concept de promotion de la santé, telle qu’elle est inscrite dans la Charte d’Ottawa. Secundo, en ce qui concerne l’utilisation d’une stratégie participative dans l’évaluation des programmes, il convient de signaler que Santé Canada (1996) a, dès le milieu des années 1990, fortement contribué à la prise en compte de cette perspective particulière. Tertio, les membres du groupe de travail européen relativement à l’évaluation dans le domaine de la promotion de la santé suggèrent comme premier critère pour juger de la valeur d’une intervention de promotion de la santé l’intervention d’un processus de renforcement des capacités d’action des individus ou des communautés (Rootman, Goodstadt et al., 2001). Ces experts affirment aussi que l’évaluation dans ce domaine doit impérativement répondre à quatre exigences particulières : 1) la participation, 2) l’utilisation de diverses méthodes, 3) le renforcement des capacités, 4) la congruence avec les exigences scientifiques et les valeurs de la promotion de la santé. Quarto, il est possible d’établir un parallèle étroit entre, d’une part, les deux stratégies d’intervention du travail de rue (normative vs autonome; Duval et Fontaine, 2000) et, d’autre part, les deux courants de l’évaluation participative (pratique vsempowerment; Cousins et Whitemore, 1998). Puisque le projet de Bellechasse repose sur des interventions qui visent l’émancipation et l’empowerment des jeunes (stratégie de l’autonomie), il paraît pertinent d’avoir recours à une évaluation participative de type empowerment.

Le type d’évaluation et les outils employés

L’objectif global de l’évaluation du projet est de mesurer le degré d’atteinte des résultats visés à court terme, c’est-à-dire de porter un jugement sur l’efficacité (Ridde, 2004b). Notre article contribuera donc, croyons-nous, au champ des connaissances sur le processus évaluatif de l’efficacité des programmes. Il semble que l’un des problèmes rencontrés par les évaluateurs des projets de travail de rue au Québec (Paquin et Perreault, 2001) et ailleurs (Whitemore et McKee, 2001) soit de répondre à une demande de quantification des résultats par les bailleurs de fonds. Le besoin d’outils d’évaluation constitue l’une des recommandations du cadre de référence pour le travail de proximité en Montérégie (Paquin et Perreault, 2001). Ainsi qu’il est habituellement recommandé dans le champ de la promotion de la santé (Rootman, Goodstadt et al., 2001) et dans celui de l’évaluation (Péladeau et Mercier, 1993), de multiples outils ont été employés pour collecter tant des données qualitatives que quantitatives. Cinq outils complémentaires ont été utilisés et nous nous attardons aux éléments permettant de comprendre la démarche évaluative de type empowerment, qui s’étale sur une période de 14 mois.

  1. Plusieurs réunions ont été organisées dans les locaux des promoteurs du projet. Elles ont été utiles pour préciser les objectifs du projet, pour planifier les activités de l’évaluation et pour effectuer les discussions préalables à la réalisation des instruments de collecte de données. Une réunion, animée selon les principes d’un groupe de discussion, a été organisée à la fin de l’évaluation pour recueillir de nouvelles informations et revenir sur la démarche évaluative.

  2. Les documents étudiés ont été, notamment, les propositions de projets, les rapports d’activités, les mémos écrits par les travailleurs de rue.

  3. Avant le démarrage de l’évaluation, les responsables du projet avaient mis en place des grilles de statistiques mensuelles. Au regard des objectifs du projet à évaluer et considérant que, financé par Santé Canada, ce dernier était directement lié à une intervention sur les déterminants de la santé, ces grilles statistiques ont été revues. Grâce à la dynamique de groupe, il a été possible de dresser une liste exhaustive des types d’interventions des TR. Puis ces interventions ont été répertoriées en fonction des quatre objectifs à court terme[1]. La nouvelle grille permet de distinguer le genre, le nombre d’individus rencontrés seuls, en bandes (gangs) ou en groupes formels. Le même exercice a ensuite été effectué pour les difficultés relevées. Pour aider les TR dans cette réflexion délicate, les évaluateurs ont proposé d’employer un cadre conceptuel en santé des populations (Whitehead, 1995). Ainsi, les questions visées par le projet ont été regroupées en quatre déterminants de la santé : a) comportement individuel; b) réseau social, familial et communautaire; c) conditions de vie et de travail; d) conditions socioéconomiques, culturelles et environnementales.

  4. Il a été nécessaire de transformer le journal de bord employé par les TR en « portraits d’interventions ». L’objectif d’un tel outil est de permettre aux TR de caractériser leur pratique au regard des objectifs à court terme, moyen plus pertinent pour porter un jugement sur l’efficacité du projet. Ce portrait permet, de plus, de dégager les facteurs ayant facilité les interventions avec effets, qualifiées de positives par les TR, et les facteurs ayant fait en sorte que d’autres soient négatives (c.-à-d. sans effets). Pour disposer de suffisamment de données, sans pour autant alourdir inutilement les tâches administratives, il a été décidé avec les acteurs du projet de limiter la collecte de données à un maximum de deux interventions (positives et négatives), par objectif et par semaine. Cette collecte s’est déroulée durant sept mois en 2002.

  5. Enfin, le dernier outil est l’entrevue individuelle non directive. Il est indispensable, selon une perspective sémique, d’obtenir le point de vue des jeunes. Plusieurs difficultés inhérentes à la réalisation de ce type de collecte dans ce contexte particulier ont été soulevées dès le début : trouver les jeunes, leur permettre d’être à l’aise pour parler, pour se confier à un évaluateur externe, etc. Afin de contrer ces obstacles et en phase avec l’approche évaluative, il a été décidé que les entrevues seraient réalisées par les TR. D’un point de vue pratique, puisque le territoire est découpé en trois sous la responsabilité de trois équipes disposant chacun d’un TR à plein temps, il a été convenu que chacun d’entre eux devait réaliser cinq entrevues. De plus, il était évidemment délicat, d’un point de vue méthodologique et éthique, de demander aux jeunes de parler des interventions du travail de rue à un TR avec lequel il est en contact. Ainsi, afin de réduire ces risques au minimum, les territoires ont été échangés pour les entrevues. En ce qui concerne le recrutement des jeunes, ces derniers étaient choisis par les TR du secteur, puis présentés à celui qui devait mener l’entrevue, le premier quittant les lieux lorsque l’entrevue commençait. Pour éviter aux jeunes d’être mal à l’aise, les entrevues n’ont pas été enregistrées, mais les propos des jeunes ont été pris en note à l’aide d’un canevas de questions préalablement construit avec tous les participants à l’évaluation. Un guide a été produit afin de donner quelques conseils méthodologiques dans la tenue d’entrevues et la prise de note. Dix-sept entrevues ont été effectuées, en utilisant une répartition équilibrée selon le niveau d’intervention des TR (les quatre étapes).

La stratégie d’analyse

Il faut maintenant évoquer la stratégie d’analyse, puisque la démarche inhérente à l’évaluation vise, en partie, à renforcer les compétences et capacités des participants en évaluation de programme. L’analyse des données qualitatives, qui constituent la majeure partie du corpus de données, a été entièrement réalisée par les TR. Pour cela, des séances de travail ont rassemblé cinq TR à trois reprises. Pour qu’ils soient en mesure de faire l’analyse, une réunion de préparation a eu lieu, au cours de laquelle un guide d’analyse a été distribué et expliqué. L’organisation d’un exercice de groupe à partir des données déjà disponibles à l’époque (trois entrevues) a permis aux participants de mieux intégrer la démarche d’analyse basée sur quatre étapes distinctes, telles que décrites ailleurs en détail par Aubel (2000) : relire les questions des entrevues, lire les notes des entrevues, discuter en groupe les réponses, catégoriser les réponses et résumer les résultats.

Les données issues des portraits d’intervention ont été analysées par les trois TR engagés le plus longuement dans le projet. De façon intuitive, ces derniers ont appliqué une technique conseillée dans certains cas en analyse qualitative. Pour chacun des quatre objectifs à court terme, ils ont répertorié les lieux d’intervention, les problématiques touchées, les facteurs ayant facilité ou contraint les interventions. Ces caractéristiques ont été quantifiées et celles dont la fréquence a été la plus grande ont été analysées un peu plus à fond que les autres. Il ne s’agit pas d’une analyse quantitative, mais les données chiffrées (la nullité comme le surnombre) permettent de repérer certains éléments nécessitant une attention particulière. Une synthèse de plusieurs pages a été produite.

En ce qui concerne l’analyse (descriptive) des données quantitatives, c’est la seule partie de l’évaluation réalisée par les consultants. Les résultats produits ont cependant été validés par les participants à l’évaluation.

Discussion

Cousins et Whitmore (1998) proposent que trois caractéristiques particulières définissent une évaluation participative et que la profondeur d’investissement des acteurs permette de qualifier si la participation est de type pratique ou empowerment : le contrôle du processus évaluatif, la sélection des personnes-ressources pour la participation et, enfin, la profondeur de la participation de ces derniers. Dans Bellechasse, pour chacune de ces trois caractéristiques, l’implication des TR a été très importante sinon totale. Concrètement, le type d’évaluation ainsi que la pertinence de l’utilisation de tel ou tel outil ont été discutés entre les acteurs et les décisions ont été prises de façon concertée, les TR ayant le dernier mot. Les questions posées lors des entrevues ont été décidées en commun accord. Les données ont été collectées par les TR et les données qualitatives analysées par eux. Les jeunes interrogés ont été choisis par les TR.

La participation active des TR à l’élaboration du devis évaluatif a permis de trouver une solution originale aux difficultés, maintes fois rencontrées, inhérentes à l’évaluation de ce type de projets. La tâche ne fut pas des plus faciles. Les évaluateurs ont été obligés de s’adapter au contexte, de vulgariser certaines approches et techniques de collecte et d’analyse, d’être souples dans leurs propositions méthodologiques, d’accepter de partager leurs connaissances et donc leur pouvoir, tout en respectant les critères de qualité et d’éthique en matière d’évaluation. Les mêmes leçons ont été extraites d’une expérience similaire à Ottawa : « … the definition of quality was reframed to encompass inclusiveness and issues of power and control as well » (Whitemore et McKee, 2001, p. 400). Les TR ont dû réfléchir aux stratégies les plus appropriées pour disposer de données, sans pour autant alourdir leurs tâches quotidiennes, tout en respectant leur approche éthique et respectueuse des jeunes. Ils ont dû s’astreindre à collecter les données auprès des jeunes et surtout, ce qui témoigne d’un engagement très important, puisqu’ils n’avaient aucune incitation financière à le faire, à s’atteler à la tâche de l’analyse des données qualitatives. Selon les TR, leurs collègues des autres régions n’auraient certainement jamais accepté un tel investissement[2], d’autant que leur réticence à voir leur projet évalué est grande, ajoutent-ils. La participation des acteurs du projet est une stratégie tant pragmatique (p. ex. réduire les coûts, réduire les barrières à l’évaluation) que politique (p. ex. utilité des résultats; Patton, 1997) ou idéologique (p. ex. « l’empowerment » dans les champs de la promotion de la santé et de l’évaluation; Fetterman, 2000; Rootman, Goodstadt et al., 2001). Nous n’évoquerons pas dans cet article les débats épistémologiques épiques concernant la subjectivité/objectivité de la collecte, puis de l’analyse des données qualitatives en évaluation de programmes; d’autres l’ont déjà fait (Péladeau et Mercier, 1993). Il est cependant intéressant de noter que les TR ont pleinement conscience de cela, car ils disent : « Il est important de prendre conscience que le bagage de vie de chacun des travailleurs de l’équipe peut teinter les données recueillies. » Le fait qu’ils le soulignent témoigne déjà d’une certaine distanciation. Bref, l’expérience de travail en collaboration a été fructueuse, puisqu’il a été possible de répondre aux questions d’évaluation. Mais la stratégie a-t-elle aussi réellement renforcé le pouvoir d’action des TR?

Pour répondre à cette question, nous allons nous écarter des débats scientifiques d’évaluateurs et nous diriger vers les experts du service social. En effet, depuis que Fetterman a mis le terme « empowerment evaluation » à l’ordre du jour de l’Association américaine d’évaluation en 1993, lorsqu’il en était le président et depuis ses écrits consacrés à ce propos (Fetterman, 2000), de nombreuses discussions et critiques émanent de ses confrères (p. ex. Scriven, 1997). Ainsi, nous préférons revenir à la distinction pertinente des deux approches en évaluation participative (pratique vsempowerment) de Cousins et Whitemore (1998), d’autant que ces auteurs n’attribuent absolument pas la paternité de l’approche de type empowerment à Fetterman. Dès le milieu des années 1980, Whitmore (1990) réalisait sa thèse de doctorat sur ce thème. Pour étudier si son approche évaluative a permis aux femmes monoparentales, disposant de faibles revenus et participant au programme qu’elle évalue de disposer d’un plus grand pouvoir d’action, elle utilise une grille d’analyse de l’empowerment individuel constitué de trois éléments : « self-confidence, learning, productivity » (p. 217). Afin de mieux vérifier l’atteinte de l’objectif d’empowerment dans la mise en oeuvre de notre évaluation, les réflexions de Cousins et Whitmore (1998) ne nous aidant pas pour cela et le développement des connaissances s’étant accru depuis la thèse de Whitmore (1990), nous utiliserons le cadre d’analyse du processus de l’empowerment individuel de Ninacs (2001). Pour ce chercheur, l’empowerment individuel correspond à une suite d’étapes opérant, tels quatre fils d’une même corde, sur quatre plans : la participation, les compétences techniques, l’estime de soi, la conscience critique. Le franchissement de ces étapes, ainsi que leur interaction, permet à un individu de passer d’un état sans pouvoir à un état où il est en mesure d’agir en fonction de ses propres choix. Dans notre cas, l’action englobe l’évaluation des effets de l’intervention et son implantation auprès des jeunes. Qu’en est-il de l’empowerment des TR lors de la mise en oeuvre de cette évaluation?

En ce qui concerne la participation des TR à l’évaluation, nous croyons avoir suffisamment donné d’informations dans la partie consacrée au processus pour affirmer que cette participation a été active et non fictive. Ninacs (2001) propose un continuum allant de l’assistance muette à la participation aux décisions. Dans ce cas, il est aisé d’affirmer que la participation des TR se situe au pôle positif du continuum. Certains TR ont même précisé que la participation commune a permis au groupe de TR d’être plus interactif. La cohésion du groupe s’en est aussi trouvée renforcée, disent-ils, l’équipe a été plus soudée et les individus se sont rapprochés.

À propos des compétences techniques, il faut distinguer celles qui concernent l’évaluation et celles qui sont liées à l’intervention auprès des jeunes. Pour l’évaluation, les TR affirment avoir beaucoup appris : « Ça a été ben formateur. » Ils se sont, nous disent-ils, approprié de nombreuses techniques évaluatives. Remarquons que l’intervention des évaluateurs externes ne s’est jamais concrétisée en formation à l’évaluation à proprement parler. De telles séances n’ont pas été organisées, mais des concepts ont été présentés, des outils créés, des notions d’analyse qualitatives évoquées. Ajoutons cependant que l’un des TR de l’équipe a suivi deux formations à l’évaluation organisées par la régie et données par des membres d’une firme d’évaluation (Johnson & Roy), dont l’un (VR) a participé à l’évaluation du projet de Bellechasse. Ce TR affirme que sa participation à de telles séances a été très profitable et lui a permis de réfléchir au projet et de prendre de la distance vis-à-vis de ses interventions. L’évaluation a aussi amélioré les compétences techniques en intervention auprès des jeunes. Le fait d’avoir eu à interroger les jeunes sur la pratique des TR et d’analyser le contenu de cette pratique a rendu pour ces derniers leur intervention plus intelligible : « J’en ai appris beaucoup sur les stratégies d’intervention. » Créer des catégories de leurs actions, identifier et relever des facteurs les ayant facilitées, entendre les jeunes réfléchir aux stratégies qu’ils pensent les plus propices pour entrer en contact avec eux sont autant d’éléments contribuant à l’amélioration des compétences d’intervention des TR. À l’inverse, un TR se demande si cette réflexion n’aurait pas nui à son travail en l’obligeant maintenant à voir ses interventions selon un processus linéaire, découpé en étapes et trop structuré. Alors que pendant les réunions de travail habituelles ce sont des cas individuels qui sont disséqués, au moment des analyses requises pour l’évaluation les TR devaient faire la synthèse de plusieurs interventions en même temps, mettant ainsi en lumière quelques éléments nouveaux et communs de leurs actions. Le fait de réaliser les analyses qualitatives a aussi contribué à changer « mon regard sur les jeunes », nous dit un TR, qui est passé du statut d’observateur à celui d’observé. Un TR avoue aussi qu’il a pu réfléchir à ses modes d’intervention, allant même jusqu’à penser qu’il a changé son style de pratique. Ainsi, les TR pensent que l’évaluation a également été utile pour l’intervention. Enfin, relevons que les TR se sont approprié le modèle des déterminants de la santé présenté plus haut et qu’ils l’utilisent dans leurs interventions avec les jeunes.

Nous croyons que l’estime de soi des TR s’est trouvée renforcée par la présence de plusieurs éléments : « J’en ressors grandi. » Les deux éléments les plus profonds de l’estime de soi, selon Ninacs (2001), paraissent proches de la réalité de l’évaluation dans Bellechasse. Premièrement, l’évaluation a permis aux TR de percevoir qu’ils ont des compétences et que cela a des effets indubitables sur les jeunes (« voir que ma simple présence a des impacts »). Les TR ont eu « la tête ben large »; autrement dit, ils en sont fiers. Deuxièmement, ils ont pris conscience que leurs compétences étaient reconnues par les autres, en l’occurrence les jeunes de leur projet (« ça m’a fait des velours » ou encore « le sens que les jeunes donnent à notre présence »).

Enfin, il faut bien reconnaître que l’évaluation n’est pas réellement intervenue sur le dernier élément de l’empowerment individuel, soit la conscience critique collective, sociale ou politique. Tout simplement parce que le besoin n’était pas vraiment ressenti. Les TR sont des intervenants socialement engagés, ils se définissent comme des agents de changement social et leur implication dans de tels projets relève plus souvent d’un engagement politique que d’une profession. Il s’agit de choisir « un mode de vie », de « donner du sens à une job », disent-ils. Cela nous paraît d’autant plus vrai que ceux et celles qui ne peuvent concevoir ce métier selon ces valeurs particulières ne peuvent supporter bien longtemps les conditions difficiles de travail et de rémunération et quittent rapidement les projets. Ce problème est récurrent dans ces interventions de rue et les organismes communautaires s’interrogent beaucoup sur les stratégies à déployer pour contrer ce fort taux de roulement du personnel.

Conclusion

Dans le contexte actuel du rapprochement des services sociaux et de santé des populations, les projets de travail de rue auront dans les prochaines années un rôle important à jouer pour répondre aux besoins des jeunes ne désirant pas, ou ne pouvant pas, s’orienter vers les ressources traditionnelles. Mais ces projets sont très difficiles à évaluer, d’abord parce que les acteurs et les bénéficiaires ne sont pas encore ouverts à cette forme de reddition de comptes et, ensuite, parce que les devis traditionnels d’évaluation ne sont pas en phase avec les valeurs et les interventions de ce type de projets. Dans cet article, en utilisant un exemple « paradigmatique », nous avons cherché à décrire, puis à analyser un processus évaluatif au cours duquel la participation des parties prenantes de l’évaluation s’appuyait sur une finalité d’empowerment. Nous aurions pu faire plus, en impliquant les jeunes (Whitemore et McKee, 2001), mais, considérant le temps dont nous disposions et les ressources imparties à l’évaluation, le pragmatisme nous a fait pencher pour la solution présentée dans cet article. L’analyse de ce processus nous permet de croire, d’une part, que cette stratégie a le plus de chances d’être acceptée par les acteurs et à produire des données probantes pour porter un jugement sur l’efficacité de ces interventions et, d’autre part, que l’évaluation relatée dans ce cas a réussi, du moins en partie, à rendre les TR plus « empowered ».