Abstracts
Résumé
Relais-Méthadone est un programme d’intervention qui s’inscrit dans un contexte de réduction des méfaits. Comme ce programme comporte le recours à des pratiques innovatrices à Montréal, on a jugé nécessaire d’évaluer son implantation. La collaboration entre les chercheurs, les promoteurs du projet, les responsables administratifs et les intervenants est décrite ici pour ce qui a trait à cette évaluation. On estime que l’évaluation d’implantation s’est avérée profitable pour chacune des parties. Ce succès serait attribuable aux facteurs suivants : l’intérêt pour les promoteurs d’associer la recherche au programme ; le contexte de projet pilote, qui impliquait la production de données probantes pour justifier la poursuite de ce type de programme ; le consensus entre les partenaires, y compris les bailleurs de fonds, pour procéder à une étude systématique de l’implantation du programme ; la disponibilité de financement pour l’évaluation, qui a permis aux chercheurs de s’associer dès le départ à la mise sur pied du programme ; le choix d’une démarche participative appliquée à toutes les étapes du processus, qui a favorisé l’appropriation de l’évaluation et des résultats par le milieu.
Abstract
Relais-Methadone is an intervention program within the context of a harm reduction approach. Since this program calls for innovative practices in Montreal, it was judged necessary to evaluate its implementation. This article describes the collaboration pertaining to this evaluation between the researchers, the promoters of the project, the administrative coordinators and the caregivers. Implementation evaluation of this program is considered profitable for each of the parties and its success is attributed to the following factors: the promoters interest in associating research to the program; the context of a pilot project that produces an index case useful in justifying the continuation of such programs; the consensus between partners, including the financial backer, to proceed to a systematic study of the program’s implementation; the availability of funds for evaluation, that permitted researchers to be associated at the very beginning of the program; the choice of a participative approach, applied to every step of the process, that helped the milieu to master both the evaluation and its results.
Resumen
Relais-méthadone es un programa de intervención que se inscribe en un contexto de reducción de perjuicios. Cómo implica que se tiene que recurrir a prácticas innovadoras en Montreal, el programa fue objeto de una evaluación de su implantación. En esta evaluación se describe la colaboración entre los investigadores, los promotores del proyecto, los responsables administrativos y los trabajadores sociales. Considerada en su conjunto como provechosa para las dos partes, los factores siguientes fueron identificados para explicar su éxito : el interés de los promotores de asociar la investigación al programa, el contexto de proyecto piloto, que implicaba la producción de datos probantes para justificar la continuación de éste tipo de programa, el consenso entre los agentes sociales, incluyendo a los proveedores de fondos, para proceder a un estudio sistemático de la implantación del programa, la disponibilidad de financiación para la evaluación, que permitió a los investigadores desde el principio de la puesta en pié del programa, de asociar la elección de un enfoque de participación aplicado a todas las etapas del proceso de evaluación, que favoreció la apropiación del enfoque y de los resultados por todos los medios implicados.
Article body
Introduction
Relais-Méthadone est un programme de maintien à la méthadone à exigences peu élevées de la région de Montréal. Il est destiné aux personnes dépendantes des opiacés et qui vivent dans des conditions précaires. Ce programme, le premier de ce type à être implanté au Canada, a débuté en novembre 1999. Dans le cadre de ce programme, la clientèle peut recevoir des services médicaux et psychosociaux relatifs à la prescription de méthadone, à la prévention de maladies infectieuses ainsi qu’à l’amélioration de ses conditions de vie. L’objectif est de rejoindre une clientèle marginalisée, pour laquelle les programmes réguliers de traitement à la méthadone sont difficilement accessibles. Il s’agit d’un programme axé sur le principe de réduction des méfaits et qui ne vise pas l’abstinence de consommation de la part de sa clientèle. Le but est plutôt d’améliorer l’état de santé des utilisateurs de drogue injectable dépendants de l’héroïne, tout en diminuant les comportements à risque pour la transmission du VIH et d’autres maladies infectieuses (Ndejuru, 2000).
Relais-Méthadone a été lancé en tant que projet pilote. Le budget n’était prévu que pour trois années et ses promoteurs, ainsi que ses bailleurs de fonds, ont souhaité que son implantation soit évaluée dès la première année. Il s’agissait de démontrer la pertinence de renouveler son financement et, éventuellement, d’implanter des programmes de ce type dans d’autres milieux au Canada. Comme c’était le premier programme à exigences peu élevées au pays, il était primordial d’en évaluer l’implantation. En comparaison aux programmes réguliers, les programmes de ce type présentent une grande variabilité sur le plan de leur fonctionnement. De plus, le principe de réduction des méfaits, à l’origine des programmes tel Relais-Méthadone, demeure encore très controversé dans la littérature scientifique et dans la population en général. C’est dans ce contexte qu’une telle démarche évaluative se devait d’être entreprise. Des fonds de recherche furent associés au projet dès le départ, et ce, conjointement au budget de fonctionnement.
Le présent article décrit le contexte dans lequel s’est déroulée l’évaluation d’implantation de Relais-Méthadone, la nature du partenariat qui s’est établi entre l’équipe de recherche et l’équipe d’intervenants, de même que l’impact du processus d’évaluation. L’article ne vise pas spécifiquement à présenter les résultats de l’étude d’implantation ; il est plutôt axé sur le processus mis en oeuvre à Relais-Méthadone. Toutefois, bien que ce ne soit pas là l’objectif principal de l’article, certains résultats de l’étude y sont rapportés. Pour plus de détails quant à ces résultats, le lecteur est prié de se référer aux documents cités en référence à la fin de cet article.
Le contexte particulier des programmes de méthadone
Au moment où le projet pilote a démarré, il n’existait aucun programme de méthadone à bas seuil d’accès dans la région de Montréal. De plus, la disponibilité de traitements de substitution à la méthadone était très limitée. En conséquence, peu de services étaient offerts à la clientèle la plus désorganisée, c’est-à-dire celle pour qui l’accès aux programmes réguliers se révélait particulièrement difficile en raison de leurs exigences, dont les suivantes : nécessité d’effectuer des appels à des heures précises pour obtenir un premier rendez-vous, respect de l’heure des rendez-vous, rigidité quant à la réadmission après une interruption du traitement ; délai important entre la demande de service et l’accès à la prescription de méthadone. La mise sur pied d’un programme à exigences peu élevées comme Relais-Méthadone était donc souhaitée par plusieurs intervenants du milieu de la toxicomanie en raison des besoins spécifiques de la clientèle marginalisée.
L’actualisation du partenariat entre intervenants et chercheurs
Le choix d’une étude d’implantation
Dès le départ, les promoteurs du projet avaient la ferme volonté d’intégrer un volet de recherche au développement du programme. Cependant, travaillant dans le milieu communautaire, ils ne bénéficiaient d’aucune infrastructure de recherche pour appuyer leurs activités d’évaluation. De même, le mode de fonctionnement particulier de ce milieu, où les ressources sont limitées et orientées essentiellement vers l’offre de services, rend difficile l’intégration de la recherche dans la pratique. C’est dans ce contexte que deux des médecins rattachés au CRAN (dont DB) ont convaincu un chercheur du Centre de recherche de l’hôpital Douglas (MP) de s’associer au projet et de monter une petite équipe pour soutenir les travaux menés par les initiateurs de Relais-Méthadone.
Les médecins « promoteurs » du projet (dont PL), qui avaient soumis et soutenu les propositions de financement pour ce programme, avaient déjà manifesté leur objectif initial de mesurer l’efficacité de ce projet innovateur en vue d’appuyer son financement à long terme. Toutefois, du point de vue des chercheurs sollicités (MP et CM), une étude d’implantation était plus à même de répondre alors aux besoins des intervenants et des responsables du programme. Fondamentalement, l’évaluation d’implantation permet de préciser le fonctionnement d’un programme et le processus qui entoure sa mise en oeuvre. Étant donné qu’elle contribue à expliquer comment les effets sont produits, cette évaluation est indispensable pour interpréter adéquatement les résultats d’une étude d’impact qui, elle, s’intéresse spécifiquement aux effets du programme (Patton, 1988).
Effectivement, pour qu’un programme entraîne les résultats voulus, on s’attend à ce que les activités prévues soient effectuées tout en étant réellement orientées vers les objectifs. De même, la clientèle visée doit être rejointe et bénéficier des services offerts avec suffisamment d’intensité pour que des changements se produisent (Perreault, Lauzon, Mercier, Rousseau & Gagnon, 2001). L’évaluation d’implantation permet justement de documenter ces aspects du programme (Mercier & Perreault, 2001).
Après de nombreuses discussions, les promoteurs du projet, les intervenants, les chercheurs et même les bailleurs de fonds ont décidé de soutenir une évaluation d’implantation (plutôt que d’impact). Ce consensus fut déterminant. La démarche choisie permettait, d’une part, de mettre à contribution l’expertise des intervenants et des responsables du projet pour préciser le contenu et les modalités d’évaluation. D’autre part, dans un contexte d’évaluation formative, elle favorisait un transfert rapide de l’information générée par la recherche vers les responsables du programme, les intervenants et les bailleurs de fonds au début du projet, c’est-à-dire au moment où tous souhaitent ajuster leur façon de faire, que ce soit du côté des intervenants ou de celui des chercheurs (Desrosiers et al., 1998).
D’ailleurs, par définition, l’évaluation formative fait référence à une approche participative qui implique un partenariat entre les chercheurs et les principaux acteurs du programme, à toutes les étapes de la recherche (Cousin & Earl, 1992). Ainsi, elle favorise un partage équitable du pouvoir et la participation de toutes les personnes concernées par le programme à la prise de décision (Quintanilla & Packard, 2002). C’est en grande partie en raison de sa capacité à induire des modifications dans les pratiques et les politiques sociales que l’approche participative est valorisée en évaluation de programme. En effet, il est reconnu qu’elle favorise le transfert des connaissances pour la pratique, qu’elle encourage l’appropriation des résultats de la recherche par le milieu, et enfin, qu’elle engendre une meilleure concordance entre les résultats de l’évaluation et la prise de décision (Garaway, 1995).
L’arrimage entre l’intervention et la recherche
Le financement octroyé à Relais-Méthadone prévoyait des coûts pour la recherche, ce qui a favorisé la participation de l’équipe de recherche dès les premières phases du projet, c’est-à-dire avant le début des activités cliniques. C’est là une situation particulièrement facilitante pour que la recherche puisse accompagner le programme à chacune des étapes de son développement. En effet, il arrive souvent que les chercheurs soient appelés à évaluer un programme déjà en place. Il peut être assez long et compliqué d’obtenir les ressources nécessaires si les fonds de recherche ne peuvent être libérés à partir des budgets de fonctionnement du programme. Si l’on ajoute le temps nécessaire pour implanter les procédures d’évaluation, le synchronisme entre les demandes du milieu et les réponses des chercheurs est alors fortement compromis. À Relais-Méthadone, les chercheurs ont pu commencer leurs démarches conjointement avec les responsables du projet, au moment où le programme était en développement.
L’un des moyens choisis pour faciliter les liens a été la mise sur pied d’un comité aviseur de recherche regroupant des représentants des intervenants, des promoteurs du projet, des gestionnaires du programme et des chercheurs. Une des premières tâches de ce comité a été de clarifier les attentes des promoteurs, des intervenants et des chercheurs. Les rôles de chacun se sont précisés, et chacun a pu contribuer à la clarification et à l’opérationnalisation du mandat de Relais-Méthadone, à la « négociation » des variables à évaluer et à l’élaboration des outils d’évaluation, de façon qu’ils répondent aux différents besoins des parties, aux modalités reliées à l’évaluation et au traitement, à l’interprétation des résultats et à la planification de leur diffusion.
Les objectifs du programme
Une des étapes préliminaires à la collecte d’information a été l’opérationnalisation des objectifs du programme. Même si les buts généraux semblaient bien définis, il fallait explorer chacun des objectifs spécifiques plus en profondeur pour déterminer comment leur atteinte serait mesurée. Les intervenants, ayant une connaissance concrète des besoins de la clientèle, ont joué un rôle fondamental à cette étape de l’évaluation. Cette partie de la recherche, réalisée au cours des semaines précédant la venue des premiers clients, s’est révélée des plus utiles pour l’ensemble de l’équipe et a pu être appréciée lorsque les résultats ont été colligés.
À l’issue des premières rencontres du comité de recherche, les objectifs du programme et les critères d’admission ont ainsi été précisés et opérationnalisés. Par le fait même, les principales variables servant à évaluer l’implantation du programme ont été mises en relief. Ainsi, Relais-Méthadone est destiné à rejoindre, par un cadre peu exigeant, une clientèle marginalisée dépendante des opiacés. Un des principaux objectifs de l’évaluation consistait donc à vérifier jusqu’à quel point le programme permettait de rejoindre cette clientèle et de la maintenir en traitement. Pour ce faire, il fallait définir précisément les attributs de la clientèle visée, notamment en ce qui a trait à la précarité de ses conditions de vie et à la présence de comportements à risque pour la propagation du VIH et d’autres infections. Le programme de Relais-Méthadone s’adresse en effet à une clientèle qui utilise peu les services de santé habituels. Finalement, les critères d’admission (être âgé de 14 ans et plus et être dépendant des opiacés depuis plus d’un an, par exemple) ont également été définis et retenus pour procéder à l’évaluation du programme (Perreault et al., sous presse).
Il convient de noter qu’au début, il a été particulièrement difficile de convaincre les intervenants de la pertinence d’associer le processus de collecte de données à leurs interventions. Le recours à des outils de mesure semblait perçu comme une entrave à leur travail, en raison du temps requis pour remplir des questionnaires et du fait que ces outils « structuraient » leurs interventions. Sous certains plans, cette démarche était perçue comme une forme d’ingérence dans leur domaine d’expertise. Le développement des outils de mesure en fonction de leurs propres critères et l’expérimentation de ces outils pour évaluer l’atteinte de leurs propres objectifs d’intervention et, plus globalement, l’atteinte des objectifs du programme, ont finalement dissipé la plupart des appréhensions de départ.
Les instruments de mesure
Le choix de mesures visant à soutenir l’intervention tout en permettant la réalisation de l’étude d’implantation n’était pas si simple. Tant les chercheurs que les intervenants ont déployé des efforts pour arriver à répondre aux besoins de chacun. Certains compromis ont été nécessaires de part et d’autre. En effet, pour l’équipe de recherche, l’utilisation d’outils présentant des caractéristiques métriques reconnues et ayant un usage répandu était de la plus grande importance pour assurer la validité des résultats. Par exemple, pour évaluer la consommation de substances psychoactives chez les clients de Relais-Méthadone, un choix logique était l’Indice de gravité d’une toxicomanie (IGT), sûrement l’instrument le plus utilisé à cette fin dans les centres de toxicomanie au Québec (Landry, Bergeron & Brochu, 1998 ; McLellan et al., 1992). Toutefois, l’équipe d’intervenants, ayant l’expérience de la clientèle du programme à bas seuil d’accès et connaissant la réalité du milieu, s’est opposée au choix de cet outil dans sa version intégrale en raison du fardeau cognitif qu’il représentait pour la clientèle visée ainsi que du temps et des ressources nécessaires pour répondre au questionnaire. C’est ainsi qu’un outil abrégé et simplifié fut conçu à partir du modèle de l’IGT pour estimer la consommation de substances psychoactives de la clientèle. D’autres outils, inspirés de ceux employés dans d’autres études, ont aussi dû être adaptés pour satisfaire aux demandes des intervenants (Bruneau et al., 1997).
C’est dans ce contexte de collaboration que l’équipe élabora des instruments portant sur chacune des trois étapes de l’intervention : le questionnaire de pré-évaluation, le questionnaire d’évaluation initiale et le questionnaire de suivi. Les intervenants, en plus d’avoir contribué à la conception de ces outils, ont participé à leur développement et à leur validation. Le questionnaire de pré-évaluation comporte des questions ouvertes et à choix multiples. Ces questions visent à déterminer si le client répond aux critères d’admissibilité du programme et concernent les habitudes de consommation, les conditions de vie ainsi que la situation judiciaire. Le questionnaire d’évaluation initiale est également constitué de questions ouvertes et à choix multiples ; il vise à documenter le degré de dépendance aux opiacés, les comportements à risque associés à la consommation de même que le niveau de précarité des conditions de vie. Quant au questionnaire de suivi, il reprend les éléments du questionnaire d’évaluation. Il permet de documenter les progrès en traitement et de vérifier si les objectifs personnels du client sont atteints.
Sur le plan de l’intervention, ces instruments de mesure sont très pertinents pour cerner les besoins de la clientèle. En effet, le questionnaire de pré-évaluation, utilisé lors du triage, permet aux intervenants de Relais-Méthadone de vérifier l’admissibilité des clients et de les référer, au besoin, à d’autres ressources mieux adaptées à leur situation de vie. Le questionnaire d’évaluation initiale, quant à lui, aide les intervenants à comprendre la situation du client en vue de lui offrir les services requis par sa condition. Enfin, le questionnaire de suivi permet d’apprécier l’évolution et le cheminement des clients en cours de traitement. Pour ce qui est de la recherche, les données recueillies à l’aide des trois questionnaires ont permis de documenter différents aspects relatifs à l’étude d’implantation au terme de la première année d’activité de Relais-Méthadone. Tout d’abord, les questionnaires ont permis d’évaluer la capacité du programme à rejoindre la clientèle ciblée et de déterminer les caractéristiques de la clientèle admise. De plus, une base de données de fonctionnement développée par les médecins de Relais-Méthadone a permis de décrire l’utilisation des différents services du programme et la durée des épisodes de traitement de chacun des clients admis. L’accessibilité en terme de délais de prise en charge et la capacité de rétention de la clientèle en début de traitement ont aussi pu être déterminées.
La collecte des données
Ce sont les intervenants de Relais-Méthadone qui assurent la collecte des données depuis le tout début des activités du programme. Cette tâche a été intégrée dans leur pratique et leur a permis de voir les avantages de même que les limites et correctifs à apporter aux outils (renseignements qu’ils transmettent avec vigilance aux chercheurs). En plus d’améliorer la validité de contenu des outils de mesure, cette façon de faire a permis de rejoindre l’ensemble de la clientèle. Ceci aurait été passablement plus difficile sans la collaboration des intervenants, car la clientèle ne se serait pas nécessairement déplacée uniquement pour une entrevue de « recherche ». Ces gains représentent, aux yeux des chercheurs, une valeur supérieure à la perte en fidélité attribuable à l’administration des outils par les intervenants plutôt que par des interviewers entraînés, non associés au traitement et recourant à une procédure standardisée.
Les procédures de collecte d’information suivies par les intervenants concernent le questionnaire de pré-évaluation qui est administré par l’intervenant chargé du triage lors d’un premier contact téléphonique. On utilise aussi le questionnaire d’évaluation initiale, qui est rempli en entrevue individuelle, au moment de l’admission au programme. Le questionnaire de suivi, quant à lui, est administré au client à tous les six mois par son intervenant principal.
Un autre type de collecte d’informations impliquant la collaboration entre chercheurs et intervenants a également été entrepris dans le cadre de l’évaluation d’implantation du programme. En effet, le comité aviseur de recherche a proposé la réalisation de groupes de discussion (focus groups) qui se sont concrétisés par la tenue de trois entrevues de groupe auprès de la clientèle de Relais-Méthadone au terme de la première année d’opération du programme. Ces entrevues avaient pour objectif de documenter la perspective des clients de Relais-Méthadone sur les services obtenus et sur les points qui, selon eux, pourraient être améliorés. L’organisation de ces groupes de discussion a été possible grâce à la collaboration des intervenants de Relais-Méthadone qui ont participé, avec l’équipe de recherche, à l’élaboration des canevas pour guider les échanges. Ils ont aussi été activement impliqués dans le recrutement des clients participants. L’équipe de recherche s’est chargée de l’animation de ces discussions, de même que des analyses et de la rédaction des rapports. Les intervenants ont été appelés à valider les interprétations des chercheurs pour les résultats présentés.
Les résultats de l’étude d’implantation
L’analyse des données recueillies par les intervenants à l’issue de la première année de fonctionnement du programme indique que Relais-Méthadone rejoint efficacement la clientèle visée (Perreault, Rousseau, Mercier et al., 2003). En effet, la clientèle se caractérise par une consommation régulière d’héroïne, de nombreux comportements à risque pour la transmission du VIH et des conditions de vie précaires. À cet égard, les 141 clients admis en traitement au cours de cette première année ont utilisé en moyenne 2,1 (écart-type 1,1) lieux différents pour dormir dans les 30 jours précédant l’évaluation. De même, pour ce qui est des revenus, 24 % de la clientèle les retire principalement du travail du sexe. Enfin, en ce qui a trait à la situation judiciaire, 26 % des clients rapportent avoir un mandat d’arrêt émis contre eux, 23 % disent être en instance de jugement, de procès ou de sentence et 17 % affirment être en probation ou en libération conditionnelle. L’accessibilité des services, quant à elle, est considérée satisfaisante, tel qu’en témoigne un temps moyen d’attente entre la demande de traitement et l’admission de 11,2 jours (écart-type 17,5). Enfin, le taux de rétention de la clientèle en début de traitement s’élève à 88 % pour les 30 premiers jours et à 72 % après six mois, ce qui est comparable aux taux de rétention des autres programmes de ce genre (Finch, Groves, Feinmann & Farmer, 1995 ; Ryrie, Dickson, Robbins, MacLean & Climpson, 1997). Aussi, une proportion élevée de cette clientèle, soit 25 %, a pu être transférée dans des programmes réguliers de maintien à la méthadone après une année, programmes adaptés aux besoins de la clientèle plus organisée et mieux intégrée socialement. Ce type de transfert témoigne, en soi, de l’amélioration de la capacité d’organisation de ces clients. De plus, les données recueillies permettent d’identifier les caractéristiques des clients enclins à abandonner le traitement. À ce sujet, une consommation importante de cocaïne et une plus grande fréquence d’utilisation de matériel d’injection usagé sont associés à un taux d’abandon plus élevé. Les femmes représenteraient un groupe particulièrement vulnérable à cet égard.
Afin d’interpréter les résultats de l’étude d’implantation, les compétences professionnelles des intervenants ont été mises à profit. En effet, toute l’information générée par le projet de recherche a été communiquée en premier lieu au comité aviseur de recherche ainsi qu’à l’équipe d’intervenants. De cette manière, les résultats de l’étude ont pu être interprétés d’une manière plus riche et nuancée, et les commentaires et propositions de l’équipe ont pu guider les chercheurs vers des analyses secondaires et des démarches complémentaires (profil des personnes qui éprouvent des difficultés d’assiduité au traitement, facteurs qui favorisent le retour en traitement, situation particulière des femmes en traitement). Cette façon de faire a permis de transmettre de nouvelles connaissances aux principaux acteurs du programme et a favorisé l’appropriation des résultats de la recherche par toutes les personnes impliquées.
La diffusion des connaissances
Au terme de l’étude d’implantation, la diffusion des résultats a été assurée tant par l’équipe d’intervenants que par l’équipe de recherche. Ainsi, après moins de trois années de collaboration, ces équipes ont effectué un total de sept présentations à des congrès ou colloques. De plus, deux chapitres de livre, trois articles scientifiques et deux articles dans des revues professionnelles ont été publiés ou sont acceptés pour publication à ce jour. En outre, la collaboration entre chercheurs et intervenants a enrichi la diffusion des résultats sur plusieurs plans. En premier lieu, elle a permis de rejoindre efficacement un public varié dans différents milieux : médical, communautaire, scientifique, politique. Ensuite, la diffusion des résultats de recherche par des chercheurs et des intervenants témoigne de l’appropriation des résultats par ces deux groupes. Elle rend compte aussi de la capacité de ce type de démarche évaluative à favoriser un rapprochement et une « contamination positive » dans le mode de pensée et d’analyse des chercheurs et intervenants face à la réalité du programme en cause.
Les bénéfices pour les chercheurs
Sur le plan de la recherche, l’approche utilisée pour évaluer l’implantation de Relais-Méthadone a entraîné plusieurs effets positifs. La participation de tous les acteurs du programme a permis de développer une perspective plus articulée des questions et des résultats de la recherche. D’ailleurs, certains résultats ont pu être expliqués grâce à l’expertise des intervenants et à leur expérience du milieu, spécialement pour ce qui est des effets « non prévus » de l’intervention. Un exemple est le passage de certains usagers d’héroïne sous traitement vers d’autres drogues injectables, plus particulièrement la cocaïne. Un autre exemple est le développement du concept de rétention en traitement, qui a été retenu plutôt que celui plus strict « d’abandon ». En effet, la clientèle de Relais-Méthadone peut interrompre son traitement momentanément et réintégrer le programme par la suite. Ainsi, l’interruption du traitement ne constitue pas un « abandon » complet. De plus, les intervenants ont attiré l’attention des chercheurs à l’égard de la clientèle féminine, qui se distingue des héroïnomanes de sexe masculin par sa situation et par ses caractéristiques particulières, notamment quant à la pratique du travail du sexe.
En ce qui a trait à la réalisation de la recherche sur le terrain, le partenariat entre chercheurs et intervenants a facilité la mise en place et le développement des outils de collecte de données dans le milieu. Les intervenants se sont d’ailleurs chargés eux-mêmes de compléter les questionnaires avec la clientèle. Deux médecins se sont même occupés du développement de la base des données qui a permis de documenter l’utilisation des services de la clientèle. Un des médecins promoteurs du projet (PL) et la coordonnatrice (RN) ont également collaboré à bon nombre de présentations et communications écrites. Enfin, le travailleur de milieu a soutenu l’organisation des groupes de discussion avec la clientèle et, tout comme les autres intervenants, a participé à la validation des outils de mesure et aux présentations des résultats. Toutes ces actions ont non seulement facilité, mais aussi enrichi les démarches des chercheurs. De plus, en évitant une duplication du travail, certaines modalités, comme l’administration de questionnaires par les intervenants, ont permis de réaliser des économies financières qui ont pu être investies dans d’autres aspects du programme.
Finalement, l’approche participative a créé un certain dynamisme dans l’équipe de recherche. Un stagiaire en toxicomanie s’est joint à l’équipe, puis un chercheur post-doctoral qui poursuit d’ailleurs des activités de recherche au-delà de la durée de son programme d’études. Les publications se multiplient et le comité aviseur de recherche s’intéresse à des problématiques de plus en plus variées, ce qui exerce aussi un effet stimulant pour le milieu d’intervention. Le contexte favorable dans lequel s’est tenue l’évaluation d’implantation a d’ailleurs encouragé les chercheurs à poursuivre la collaboration avec l’organisme et à s’engager activement à Relais-Méthadone. Une subvention de recherche a d’ailleurs été obtenue après deux années, pour procéder à l’évaluation d’impact de ce programme.
Un apport significatif pour les intervenants
Le premier bénéfice de s’être associés à la démarche évaluative est sûrement, pour les responsables et les intervenants de Relais-Méthadone, une plus grande visibilité et une plus grande reconnaissance de leur programme. En effet, même si les résultats générés par l’évaluation ont pu être employés bien au-delà du plan symbolique, il faut avouer que le seul fait de mener une étude « scientifique » et de faire connaître les résultats de Relais-Méthadone par une instance autre que l’équipe d’intervenants ou l’équipe des promoteurs du projet en augmente la notoriété. Il est sûr, aussi, que ce type de démarche permet de présenter de manière plus « convaincante » les arguments utiles pour appuyer des décisions de nature politique quant à l’avenir et quant au financement de Relais-Méthadone. L’équipe de recherche a d’ailleurs participé à plusieurs rencontres avec des bailleurs de fonds. Ces entretiens visaient à soutenir l’organisme dans ses démarches et à justifier ses besoins courants de fonctionnement et de développement sur la base des informations issues de l’étude d’implantation.
Pour ce qui est du processus, la participation à la recherche semble avoir favorisé une évolution de la mentalité d’évaluation chez les intervenants. À ce sujet, les résultats d’une recherche évaluative peuvent être utilisés sur plusieurs plans en les caractérisant par leur apport spécifique à la pratique (Johnson, 1998). Le plan d’appropriation le moins intéressant pour le chercheur est sûrement celui où les informations issues d’une évaluation sont utilisées à des fins symboliques, ce qui consiste à utiliser les résultats pour légitimer et justifier la prise de décisions politiques. Nul besoin de recourir à une évaluation participative pour atteindre ce type d’objectif. Ce genre d’utilisation entraîne d’ailleurs peu de changements sur le terrain.
Il apparaît beaucoup plus profitable de pouvoir utiliser les résultats d’une évaluation sur le plan du processus, c’est-à-dire de viser à ce qu’ils contribuent à modifier les façons d’agir et de penser des personnes participant à la recherche. En induisant une « mentalité d’évaluation », ces démarches permettent de créer un contexte où l’acquisition d’information sur les pratiques et leurs effets sera valorisée et où l’information recueillie sera plus fréquemment considérée dans la prise de décision. En générant de l’information directement reliée à l’objectif d’accessibilité de Relais-Méthadone et en produisant des données sur la clientèle, l’offre et l’utilisation des services, l’évaluation participative visait à conduire à un niveau encore plus élevé d’appropriation des résultats : le niveau instrumental. Il s’agit d’un niveau où les résultats d’évaluation exercent une influence directe sur la pratique et sur la prise de décision quant au programme (Garaway, 1995). Plusieurs des données générées dans le cadre de l’évaluation menée à Relais-Méthadone ont pu être utilisées à ce niveau. On pense plus spécifiquement à l’utilité de l’information pour réévaluer le choix des clientèles admises ou dirigées vers d’autres programmes, pour l’allocation des ressources et pour la planification des activités.
L’approche participative privilégiée a aussi permis à l’équipe des intervenants et des responsables du projet d’exercer une grande influence sur les activités de recherche qui se sont déroulées à Relais-Méthadone. Ils ont ainsi pu soumettre leurs propres questions de recherche, discuter du devis et contribuer à l’explication des résultats, de même qu’à la diffusion de ces derniers. Par ailleurs, les questionnaires qui ont été élaborés pour la recherche d’implantation sont devenus des outils courants pour soutenir la pratique de toutes ces personnes. Ils permettent aussi de documenter la somme de leurs activités, ce qui est utile dans un contexte où les responsables du programme sont imputables des services offerts. En effet, l’information générée permet non seulement de faciliter l’évaluation de la clientèle et d’assurer son suivi, mais aussi de décrire le programme et l’ensemble de ses activités à des fins administratives. À ce chapitre, les résultats de l’étude d’implantation ont permis aux intervenants de confirmer qu’ils réussissaient à bien sélectionner la clientèle visée. Les résultats préliminaires de suivi ont aussi démontré que les données quant à la rétention de la clientèle s’apparentent à celles des « meilleurs » programmes réguliers. Constater qu’on effectue le travail prévu et que sous des aspects importants du programme on obtient de « bons » résultats, a été un facteur de motivation pour l’équipe d’intervenants. De plus, la tenue de discussions de groupe réunissant des clients de Relais-Méthadone a permis aux intervenants d’avoir accès aux perceptions de ces derniers par rapport aux services mis en place. Ainsi, ils ont pu constater qu’en général les aspects des services qu’ils valorisent davantage, c’est-à-dire l’accueil et l’accessibilité, étaient particulièrement appréciés de la clientèle. Ces discussions ont également permis de relever certains irritants, ce qui a mené, dans certains cas, à des changements dans les pratiques.
Conclusion
Du point de vue des chercheurs et de l’équipe d’intervenants, plusieurs facteurs ont facilité la réalisation d’une véritable approche participative pour l’étude d’implantation de Relais-Méthadone. Tout d’abord, il importe de rappeler que les promoteurs du projet avaient prévu la participation des chercheurs dès le départ, avant même que le programme n’accueille son premier client. Deuxièmement, les fonds nécessaires à la recherche, de même que ceux relatifs à la mise en place du programme, étaient déjà disponibles au départ, ce qui a facilité l’harmonisation des démarches de chacun. À ce moment, l’apport des chercheurs a pu exercer indirectement un impact sur l’organisation et sur le mode de prestation des services offerts par l’organisme. Troisièmement, les intervenants ont manifesté une grande volonté de participer à toutes les étapes du processus. En conséquence, les chercheurs et les intervenants ont réussi à établir une relation de partenariat. Ceci les a amenés à réaliser les objectifs spécifiques à leur rôle et même à les dépasser en s’investissant dans des activités non prévues dans leurs fonctions respectives. Finalement, les tâches assignées aux intervenants répondaient à leurs champs d’intérêt et à leurs habiletés sur le plan personnel, en plus de respecter leur disponibilité (Papineau & Kiely, 1996). À titre d’exemple, les intervenants les plus à l’aise pour s’exprimer en public ont participé davantage à la communication orale des résultats de l’étude. D’autres, qui avaient un intérêt particulier pour l’informatique, ont collaboré au développement d’une base de données sur le fonctionnement du programme.
Le type d’approche utilisé pour la recherche d’évaluation d’implantation de Relais-Méthadone comporte néanmoins certaines limites. En effet, les chercheurs et les intervenants ont dû en arriver à des compromis. Ils ont dû faire preuve d’une grande souplesse tout au long du processus. Sur le plan de la recherche même, on a dû développer des instruments de mesure modifiés, qui ne sont pas tous validés, pour satisfaire aux demandes concrètes du milieu. La validité de contenu et la convivialité des procédures pour la clientèle visée ont été privilégiées au détriment d’autres caractéristiques métriques telles que la fidélité des outils et procédures.
Sur le plan de l’intervention, malgré le choix de démarches « allégées », l’intégration de la recherche à l’intervention a tout de même alourdi la tâche du personnel de Relais-Méthadone, notamment pour ce qui concerne la collecte des données. De plus, l’approche participative produit la « contamination » des résultats de la recherche puisque les intervenants sont en contact avec les résultats de l’évaluation. Ils en viennent à modifier leur façon de faire et à générer des changements dans le programme au fur et à mesure que celui-ci évolue. Dans le contexte d’implantation tel qu’il a été mené, la « contamination » était perçue beaucoup plus comme un avantage qu’un désavantage : le premier objectif de la démarche évaluative était de soutenir l’équipe dans l’implantation du programme. Cependant, toutes les modifications au traitement et à ses modalités ont entraîné un nombre élevé d’ajustements et de modifications aux protocoles utilisés. Dans un cadre strict de recherche expérimentale, cette situation serait considérée comme une atteinte directe à la validité interne des procédures. Ces changements, qui sont non seulement attendus, mais aussi souhaitables dans le contexte de rodage d’un programme, ont donc limité certaines possibilités d’analyses qui seraient basées sur l’ensemble de la clientèle traitée à Relais-Méthadone.
L’évaluation d’implantation a aussi généré des données de base sur le programme et a démontré la stabilisation qui s’est effectuée avec le temps dans les interventions offertes à Relais-Méthadone. Cette situation, ainsi que les informations recueillies sur la clientèle et les services qui lui sont offerts, ont permis aux chercheurs d’envisager un projet sur l’évaluation de l’efficacité du programme. Ils ont produit une demande de subvention auprès d’un organisme de recherche sur ce thème, ont obtenu les fonds et en sont à leur deuxième année de recherche. Ce projet s’inscrit en continuité avec l’évaluation d’implantation et est basé sur les mêmes principes de partenariat. Dans un contexte d’évaluation sommative (plutôt que formative), ce nouveau projet suit l’évolution du programme et témoigne de la collaboration qui s’est établie entre tous les partenaires.
Appendices
Remerciements
L’évaluation de l’implantation de Relais-Méthadone a été réalisée en partie grâce à l’aide financière de Santé Canada. Les auteurs tiennent à remercier tous les intervenants de Relais-Méthadone et les chercheurs qui ont collaboré au projet, sans qui la mise en oeuvre d’une véritable approche participative n’aurait pu être accomplie. Ils adressent aussi des remerciements particuliers aux clients de Relais-Méthadone qui ont participé au processus d’évaluation, à M. Michel Rousseau, qui a assuré la coordination du projet de recherche, ainsi qu’à Mme Monique Bordeleau qui était responsable de la réalisation des groupes de discussion auprès de la clientèle.
Références
- Bruneau, J., Lamothe, F., Franco, E., Lachance, N., Désy, M., Soto, J. & Vincelette, J. (1997). High rates of HIV infection among injection drug users participating in needle exchange programs in Montreal : Results of a cohort study. American Journal of Epidemiology, 146, 994-1002.
- Cousins, J. B., & Earl, L. M. (1992). The case for participatory evaluation. Educational Evaluation and Policy Analysis, 14, 397-418.
- Desrosiers, H., Kishchuk, N., Ouellet, F., Desjardins, N., Bourgault, C., & Perreault, N. (1998). Cadre de pratique pour l’évaluation des programmes : Applications en promotion de la santé et en toxicomanie. Montréal : Gouvernement du Québec, Ministère de la Santé et des Services sociaux.
- Finch, E., Groves, I., Feinmann, C., & Farmer, R. (1995). A low treshold methadone stabilisation program : Description and first stage evaluation. Addiction Research, 3, 63-71.
- Garaway, G. B. (1995). Participatory evaluation. Studies in Educational Evaluation, 21, 85-102.
- Johnson, B. (1998). Toward a theoretical model of evaluation utilization. Evaluation and Program Planning, 21, 93-110.
- Landry, M., Bergeron, J. et S. Brochu (1998). La place de l’ASI/IGT dans une perspective globale d’évaluation en toxicomanie in Guyon, L., Landry, M., Brochu, S., et J. Bergeron (éds.) L’évaluation des clientèles alcooliques et toxicomanes. Saint-Nicolas : Les Presses de l’Université Laval.
- McLellan, A.T., Kushner, H., Metzger, D., Peters, R., Smith, I., Grissom, G., Pettinati, H. et M. Argeriou (1992). The Fifth Edition of the Addiction Severity Index. Journal of Substance Abuse Treatment, 9: 199-213.
- Mercier, C., Perreault, M. (2001). L’évaluation de programme : Notions de base In Problèmes Sociaux, Théories et méthodologies (Tome I), sous la direction de H. Dorvil et R. Mayer, Québec, Presses de l’Université du Québec, 413-430.
- Ndejuru, R. (2000). Relais-Méthadone : Rapport annuel d’activités (Avril 1999 à mars 2000). Montréal : non publié.
- Papineau, D., & Kiely, M. C. (1996). Participatory evaluation in a community organization :Fostering stakeholder empowerment and utilization. Evaluation and Program Planning, 19, 79-93.
- Patton, M. Q. (1988). Qualitative Evaluation Methods. London: Sage.
- Perreault, M., Lauzon, P., Mercier, C., Rousseau, M. & Gagnon, C. (2001). Efficacité des programmes comportant l’utilisation de la méthadone. Dans Landry, M., Guyon, L. et Brochu, S., Impact du traitement en alcoolisme et toxicomanie : Études québécoises. Québec : Les Presses de l’Université Laval, 93-135.
- Perreault, M., Ndejuru, R., Rousseau, M., Mercier, C., Lauzon, P., Côté, P. (2002). Relais-Méthadone : Premier programme à bas seuil au Canada ou une approche novatrice pour la clientèle marginalisée. L’écho-toxico, 12, 4-5.
- Perreault, M., Rousseau, M., Mercier, C., Lauzon, P., Côté, P. (2003). Accessibilité aux traitements de substitution à la méthadone et résultats des méfaits : le rôle d’un programme à exigences peu élevées. Revue Canadienne de Santé Publique. 94 : 197-200.
- Quintanilla, G., & Packard, T. (2002). A participatory evaluation of an inner-city science enrichment program. Evaluation and Program Planning, 25, 15-22.
- Ryrie, I. W., Dickson, J., Robbins, C., MacLean, K., & Climpson, C. (1997). Evaluation of a low-threshold clinic for opiate-dependent drug users. Journal of Psychiatric and Mental Health Nursing, 4, 105-110.