La recherche d’effectivité: nature, méthodes et rôle dans la validation des interventions fondées sur les preuves

Nault Brière, Frédéric

doi:https://doi.org/10.7202/1039684ar

Si l’on veut davantage de pratiques fondées sur des preuves, il faut davantage de preuves fondées sur la pratique.
Lawrence Green (2008)

La mise en place de services d’excellence est devenue prioritaire dans le domaine social (Institut National d’Excellence en Santé et Services Sociaux [INESSS], 2012). Les professionnels doivent de plus en plus appuyer leurs décisions cliniques sur des données probantes et recourir autant que possible à des interventions dont les bénéfices ont été formellement démontrés par la recherche. Ces interventions sont identifiées par plusieurs expressions : interventions fondées sur les preuves (IFP), interventions factuelles, interventions fondées sur les données probantes, interventions soutenues empiriquement ou meilleures pratiques (Rabin, Brownson, Haire-Joshu, Kreuter et Weaver, 2008). Ces interventions peuvent prendre différentes formes, mais renvoient le plus souvent à des interventions relativement standardisées, telles que des programmes manualisés (Chambless et Ollendick, 2001; DeRubeis et Crits-Christoph, 1998; Rabin et al., 2008).

La manière de définir et de valider les IFP demeure cependant controversée. Jusqu’à maintenant, la recherche sur les IFP a été dominée par les études d’efficacité (Glasgow, Lichtenstein et Marcus, 2003; Green, 2001; Marchand, Stice, Rohde et Becker, 2011; Roy-Byrne et al., 2003; Ruggeri, Lasalvia et Bonetto, 2013). Ces études visent à maximiser la validité interne en testant les effets des interventions dans des conditions optimales (Flay, 1986; Flay et al., 2005). Les études d’efficacité impliquent typiquement le recours à un essai contrôlé randomisé (ECR), un contrôle serré des conditions de mise en oeuvre grâce à un personnel de recherche hautement qualifié, des interventions rigoureusement standardisées, de même que des participants motivés et aux prises avec un problème unique (Glasgow et al., 2003). En aval, les recensions systématiques (recensions des collaborations Cochrane et Campbell, www.cochrane.org), répertoires des meilleures pratiques (Blueprints for violence; www.blueprintsprograms.com) et guides de pratique (National Institute for Health and Clinical Excellence [NICE], 2009) qui résument typiquement la preuve existante définissent aussi typiquement les IFP en fonction de critères de validité interne (Mercer, DeVinney, Fine, Green et Dougherty, 2007). Par exemple, les recensions systématiques des collaborations Cochrane/Campbell ne résument que la preuve provenant d’essais contrôlés randomisés (Higgins et Green, 2008), ce qui revient souvent à négliger la majorité des études publiées dans la littérature scientifique (Glasgow et al., 2003).

Ce modèle de validation des IFP, centré sur la validité interne et les études d’efficacité, s’attire des critiques véhémentes de la part des chercheurs et des praticiens de différents domaines (Dubé, 2012; Glasgow et Emmons, 2007; Glasgow et al., 2006; Glasgow et al., 2003; Green, 2001; Norcross, Beutler et Levant, 2006; Treweek et Zwarenstein, 2009; Tunis, Stryer et Clancy, 2003; Victora, Habicht et Bryce, 2004). Ces critiques portent avant tout sur le caractère artificiel de la preuve d’efficacité et la difficulté de transférer des IFP évaluées dans des conditions optimales dans des conditions de pratique souvent variables et contraignantes. Ce problème est particulièrement significatif dans le domaine social où les interventions sont typiquement complexes et dépendantes de leur contexte comparativement au domaine biomédical où les interventions peuvent faire l’objet d’un haut degré de standardisation (p.ex. médication) (Green, 2001). De nombreux résultats montrent d’ailleurs que les effets des interventions psychosociales développées et validées en milieu universitaire tendent à se dissiper lorsque ces interventions sont évaluées dans des conditions de pratique courante (voir un exemple sur la prévention de la dépression dans Merry, 2013).

De plus en plus de chercheurs et de praticiens font valoir l’importance de la recherche d’effectivité dans la validation des IFP (Clarke, 1995; Glasgow et al., 2003; Marchand et al., 2011; Roy-Byrne et al., 2003). Cette recherche occupe une place grandissante dans la littérature scientifique internationale. Le nombre d’études d’effectivité publiées dans la littérature scientifique a dramatiquement augmenté au cours des vingt dernières années (Patsopoulos, 2011), des journaux et numéros spéciaux dédiés à ce sujet sont apparus (p. ex : Journal of Comparative Effectiveness Research; Evaluation and the Health Professions; Bausell, 2006) et cette recherche fait maintenant l’objet d’investissements massifs des gouvernements canadiens, américains et anglais, particulièrement dans le domaine de la santé (Chalkidou et Walley, 2010; Instituts de Medicine [États-Unis], 2009; Whicher, Chalkidou, Dhalla, Levin et Tunis, 2009). En revanche, le concept d’effectivité est plus ou moins absent de la littérature scientifique francophone. Par exemple, les écrits portant sur les IFP dans le contexte des guides de pratique font très peu référence à ce type de recherche (Dubé, 2012; INESSS, 2012). De plus, les termes efficacité et effectivité sont souvent utilisés comme des synonymes (Delphin-Combe, Roudaud, Martin-Gaujard, Fortin, Rouch et Krolak-Salmon, 2013; Farkas, Cyr, Lebeau, Lemay et McDuff, 2009; Falissard, 2009; Nagloo, Valero, Rexhaj et Favrod, 2013; Tremblay et Ben Amar, 2007). Cela ne veut pas dire qu’il n’existe pas d’études d’effectivité au Québec : certaines études peuvent être qualifiées comme tel (Archambault, Janosz, Pascal, Lecoq, Goulet et Christenson, 2015; Moisan, Poulin, Capuano et Vitaro, 2014; Provencher, St-Amand, Hawke, Baruch et Tremblay, 2010), incluant certaines évaluations de programmes bien connus (Fluppy; Poulin, Capuano, Vitaro, Verlaan, Brodeur et Giroux, 2013; Vers le Pacifique; Bowen et al., 2006). Cependant, ces études ne sont généralement pas décrites et interprétées à la lumière des concepts d’efficacité et d’effectivité.

Cet article vise à définir la recherche d’effectivité, à présenter ses principales stratégies de recherche et à dégager ses implications dans le processus de validation des IFP. Ce manuscrit se veut avant tout un texte de référence pour des professeurs, des chercheurs et des étudiants gradués dans le domaine de la recherche interventionnelle (les valideurs des IFP), mais il peut également intéresser les praticiens et les décideurs (les utilisateurs éventuels de ces IFP) peu familiers avec ce type de recherche et intéressés à en apprendre davantage. Les concepts dont il est question peuvent s’appliquer à la recherche sur des interventions provenant de diverses disciplines connexes (psychologie, psychoéducation, travail social, santé publique, etc.), qu’elles soient préventives ou curatives. Quelques recommandations générales sont présentées en conclusion.

Qu’est-ce que la recherche d’effectivité?

Contrairement à la recherche d’efficacité qui vise à évaluer les effets d’une intervention dans des conditions optimales, la recherche d’effectivité vise à évaluer les effets d’une intervention dans un contexte de la pratique courante (« vrai monde ») (Flay, 1986; Flay et al., 2005; Glasgow et al., 2003). La recherche d’efficacité répond à la question « est-ce que l’intervention peut fonctionner? », tandis que la recherche d’effectivité répond à la question « est-ce que l’intervention fonctionne vraiment? » (Haynes, 1999). Dans la littérature clinique, les termes « essais pragmatiques » ou « essais pratiques » (practical or pragmatic trials) sont aussi utilisés pour désigner les études d’effectivité et le terme « essai explicatif » (explanatory trial) pour désigner les études d’efficacité (Dunn, 2013; Hotopf, 2002; Patsopoulos, 2011; Treweek et Zwarenstein, 2009; Tunis et al., 2003).

La recherche d’effectivité n’est pas nouvelle. On la retrouve décrite dans plusieurs modèles de développement et de validation d’interventions en étapes, inspirés de la recherche biomédicale ou pharmaceutique (Figure 1) (Flay, 1986). Nonobstant certaines distinctions d’un modèle à l’autre, la recherche d’effectivité se situe généralement entre la recherche d’efficacité et la recherche portant sur la diffusion d’une intervention à large échelle (Mercer et al., 2007). Elle représente le plus souvent un premier test, à moyenne échelle, d’une intervention dans la pratique courante précédent sa diffusion dans l’ensemble d’une population. Cela dit, certains modèles récents proposent un développement moins linéaire dans lequel la recherche d’effectivité ne suit pas forcément la recherche d’efficacité (Flay et al., 2005; Mercer et al., 2007; Zerhouni, 2003). Par exemple, la Society for Prevention Research (SPR) définit l’efficacité, l’effectivité et la diffusion (scale up) des interventions préventives en trois paliers dont chacun acquiert des critères supplémentaires, sans que ceux-ci découlent nécessairement de phases séquentielles (Flay et al., 2005; Gottfredson et al., 2015). Selon ce modèle, il n’est pas nécessaire d’effectuer une étude d’efficacité préalable si une première étude convient à la fois aux critères vérifiant l’efficacité ET l’effectivité d’une intervention donnée.

Figure 1

**Phases de développement des interventions selon différents modèles en santé et en sciences sociales (adapté de Flay, 1986; Mercer et al., 2007)**

La recherche d’effectivité est décrite de différentes façons, plus ou moins précises, d’un écrit à l’autre. Dans cet article, les caractéristiques de cette recherche sont décrites sous l’angle de quatre grandes orientations méthodologiques qui intègrent la majorité des concepts évoqués dans la littérature. Ces orientations sont introduites ici, approfondies dans la prochaine section et résumées dans le Tableau 1.

Maximiser la validité écologique. La recherche d’effectivité vise à maximiser la validité écologique des méthodes utilisées dans une étude afin de produire des résultats qui reflètent le fonctionnement et les effets réels des interventions dans la pratique courante (Flay et al., 2005; Marchand et al., 2011). Cette visée est partagée par l’ensemble des études d’effectivité.
Maximiser la validité externe. La recherche d’effectivité vise à maximiser la validité externe et donc à déterminer la généralisation potentielle des effets d’une intervention aux différents milieux, intervenants et populations à qui elle est destinée (Glasgow, 2013; Glasgow et Emmons, 2007; Segal, Weiss et Varadhan, 2012). Cette centration explicite sur la validité externe est l’un des éléments les plus distinctifs de la recherche d’effectivité par rapport à d’autres types de recherche, comme la recherche d’efficacité et l’évaluation de programmes, lesquelles mettent avant tout l’accent sur la validité interne (Glasgow et al., 2003; Dagenais et Ridde, 2012).
Maximiser l’utilité et la pertinence pratique des résultats. La recherche d’effectivité vise à maximiser l’utilité et la pertinence pratique des résultats (Treweek et Zwarenstein, 2009; Tunis et al., 2003) en dégageant une information susceptible d’éclairer les décideurs et les praticiens quant à leur priorités concrètes sur le terrain. Les termes « essais pragmatiques / pratiques » ont été proposés pour mettre en évidence cette visée.
Préserver un bon niveau de validité interne. Tout en respectant les orientations précédentes, la recherche d’effectivité vise à préserver un bon niveau de validité interne et à fournir une preuve convaincante des effets d’une intervention (Flay et al., 2005; Glasgow, 2013). Le verbe préserver est utilisé parce que le contrôle expérimental sera souvent moins strict dans la recherche d’effectivité comparativement à la recherche d’efficacité. En fait, l’un des principaux défis de la recherche d’effectivité réside dans l’équilibre à trouver entre, d’une part, la validité écologique, la validité externe et l’utilité pratique (qui impliquent de laisser libre cours aux conditions les plus naturelles possibles) et, d’autre part, la validité interne (qui exige un haut degré de contrôle expérimental) (Clarke, 1995; Marchand et al., 2011). Dans la recherche d’effectivité, il s’avère souvent nécessaire d’utiliser un devis moins strict que le devis expérimental classique, emblématique des essais contrôlés d’efficacité.

Les orientations présentées dans cet article concordent avec la conception de l’effectivité décrite par la SPR (Flay et al., 2005; Gottfredson et al., 2015), qui valorise un équilibre entre validités interne et externe. D’autres descriptions mettent l’accent sur la validité externe et opposent plus directement validités interne (efficacité) et externe (effectivité) (Thorpe et al., 2009). Dans les faits, la plupart des études partagent dans une certaine mesure des caractéristiques d’efficacité et d’effectivité (Marchand et al., 2011; Thorpe et al., 2009). Il est donc plus utile de situer une étude sur un continuum efficacité-effectivité que d’utiliser ces termes en opposition. Un outil utile à cet égard est la grille PRECIS (Pragmatic-Explanatory Continuum Indicator Summary; Figure 2) qui permet de représenter schématiquement la nature d’une étude selon son positionnement méthodologique relativement à des pôles extrêmes d’efficacité et d’effectivité (Thorpe et al., 2009).

Figure 2

**Schéma d’une étude d’effectivité à partir de la grille de critères PRÉCIS (adapté de Thorpe et al., 2009)**

Stratégies de recherche d’effectivité

La présente section fait état de différentes stratégies de recherche qui permettent d’actualiser les quatre orientations méthodologiques introduites précédemment. Compte tenu de l’espace disponible, ces stratégies ne sont que brièvement décrites. Des renvois vers des descriptions plus détaillées apparaissent dans le texte et à l’annexe 1.

Orientation 1. Maximiser la validité écologique

Une des orientations méthodologiques les plus fondamentales de la recherche d’effectivité est de maximiser la validité écologique. La validité écologique est définie de différentes manières (Bronfenbrenner, 1979; Brunswick, 1956), mais réfère le plus souvent au degré de similitude entre le contexte dans lequel un phénomène est étudié et son contexte naturel (Shadish, Cook et Campbell, 2002). Dans une étude d’effectivité, la validité écologique augmente lorsque les conditions de l’étude d’une intervention s’approchent des conditions de la pratique courante dans lesquelles cette intervention sera utilisée. Cela signifie avant tout que cette intervention devrait être livrée par de vrais intervenants dans de vrais milieux de pratique plutôt que par des assistants de recherche en contexte universitaire (Flay, 1986; Flay et al., 2005; Glasgow et al., 2003). Il s’agit probablement de la caractéristique la plus emblématique de la recherche d’effectivité. Certains auteurs recommandent aussi de restreindre l’usage de procédures pour augmenter l’observance des participants à l’intervention (p. ex. la relance de participants qui ne se présentent pas à certaines rencontres ou le recours à des incitatifs financiers), de limiter les contraintes imposées aux intervenants pour augmenter leur adhésion au protocole d’intervention (p. ex. la supervision intensive par l’équipe de recherche) et, de limiter les ressources et l’intensité du soutien qui leur est offert (Thorpe et al., 2009).

Cela dit, il importe de retenir ici qu’il ne s’agit pas de retirer toute forme de soutien aux milieux et aux intervenants, mais bien de retirer tout soutien « artificiel » de l’équipe de recherche qui n’existera plus une fois l’étude terminée (Roy-Byrne et al., 2003). Cet enjeu n’est pas trivial. Au final, une étude d’effectivité sera d’un intérêt limité si elle ne sert qu’à confirmer qu’une intervention ne fonctionne pas en l’absence de soutien aux intervenants et milieux, puisqu’il est clair que l’absence d’un soutien adéquat garantit virtuellement l’échec de la mise en oeuvre d’une IFP en pratique (Gottfredson et al., 2015). Il est beaucoup plus utile d’effectuer un travail préalable avec les milieux afin de déterminer les modalités de soutien qui devront (et pourront réalistement) être mises en place dans la pratique courante et d’évaluer l’intervention telle que mise en oeuvre sur la base de ces modalités de soutien. L’étude peut alors contribuer à valider l’intervention et les conditions permettant de la mettre en oeuvre de manière satisfaisante en pratique. Déterminer la nature et le dosage du soutien à offrir aux milieux et intervenants représente un enjeu important en recherche d’effectivité et il est souvent pertinent d’en faire un objet de recherche en soi, ce qui peut être fait dans une étude hybride effectivité-transfert (voir la section « méthodes et analyses complémentaires »).

Enfin, une dernière stratégie destinée à maximiser la validité écologique est de réduire l’influence de la collecte de données sur le contexte naturel d’intervention. Il est préférable de simplifier les procédures de recherche en effectuant des évaluations par téléphone ou par le biais d’internet (Marchand et al., 2011; Roy-Byrne et al., 2003 et en privilégiant le recours aux mesures de suivi courantes (dossiers électroniques, systèmes de données administratives, etc.) (Thorpe et al., 2009). Lorsqu’elles sont disponibles et accessibles, ces mesures augmentent aussi l’utilité pratique des résultats. Idéalement, l’ensemble des procédures de recherche, incluant le recrutement et la collecte des mesures, devraient approximer les procédures mises en place en pratique et être prises en charge par les intervenants plutôt que par l’équipe de recherche.

Orientation 2. Maximiser la validité externe

La deuxième orientation méthodologique de la recherche d’effectivité est de maximiser la validité externe, qui renvoie au degré de généralisation potentielle des résultats d’une étude au-delà de son contexte propre (Shadish et al., 2002). La validité externe concerne la capacité de généraliser les effets d’une intervention à différentes Unités (participants), différents Traitements (variantes de l’intervention), différents Outcomes (différentes mesures du changement chez les participants ou mêmes mesures à des moments différents) et différents Settings (milieux) – ce qui peut être résumé par l’acronyme UTOS (Cronbach, Glesser, Nanda et Rajaratnam, 1972). La validité externe et la validité écologique sont des concepts reliés : la validité écologique des méthodes utilisées dans une étude augmente la validité externe de ses résultats en facilitant leur généralisation à des contextes du « vrai monde ». Cependant, la validité externe est un concept plus large qui touche la question suivante : est-ce que l’intervention fonctionne dans toutes les conditions du « vrai monde » ou seulement dans certaines conditions précises (certains participants, interventions, settings et/ou outcomes)?

On peut favoriser la validité externe d’une étude d’effectivité en utilisant une stratégie d’échantillonnage qui rejoint la plus grande diversité possible de milieux, d’intervenants et de participants concernés par l’intervention. Cela signifie que l’échantillon devrait être construit explicitement pour représenter l’hétérogénéité des acteurs et environnements ciblés et que les critères d’exclusion devraient être réduits au minimum. Les essais multi-sites (multisite trials) peuvent être particulièrement pertinents pour atteindre ces objectifs (Glasgow et al., 2003; Marchand et al., 2011; Roy-Byrne et al., 2003; Sussman, Valente, Rohrbach, Skara et Pentz, 2006). Tous les participants susceptibles de recevoir l’intervention dans la pratique courante devraient être inclus dans une étude d’effectivité, indépendamment de leur motivation ou de la spécificité de leur problème d’adaptation. De la même façon, l’ensemble des milieux et intervenants ciblés devraient être représentés dans l’échantillon, incluant des milieux plus réticents ou moins motivés. Il est utile d’inclure des mesures multiples des outcomes d’intérêt, de même qu’un suivi à long terme de l’intervention, idéalement pour un minimum de six mois (Flay et al., 2005). Ce suivi devrait évaluer à la fois le maintien de la mise en oeuvre de l’intervention (institutionnalisation) et ses effets à travers le temps (Glasgow et Emmons, 2007; Glasgow et al., 2006; Glasgow et al., 2003; Green, 2006), ce qui permet d’examiner des questions relatives à la durabilité (sustainability) (Wiltsey Stirman et al., 2012).

Une autre stratégie servant à augmenter la validité externe d’une étude d’effectivité est d’analyser les sources de variation des effets d’une intervention (Segal et al., 2012; Weiss, Bloom et Brock, 2013). Ces analyses prennent typiquement la forme d’analyses de modération qui servent à déterminer si les effets d’une intervention diffèrent systématiquement selon les caractéristiques des participants, du contexte de mise en oeuvre, des intervenants impliqués et des variantes de l’intervention. Ces analyses permettent d’aller au-delà de l’effet principal d’une intervention et de préciser les conditions favorables ou défavorables à ses effets. Ces analyses peuvent aussi contribuer à identifier empiriquement les composantes indispensables (core components) et modifiables d’une intervention (Blakely et al., 2002; Castro, Barrera et Martinez, 2004). La recherche d’effectivité offre un contexte optimal pour analyser les sources de variation des effets d’une intervention puisqu’elle vise explicitement à inclure l’hétérogénéité naturelle des conditions d’intervention. Il est donc recommandé de prévoir systématiquement l’analyse des sources de variations dans ce genre d’étude (Gottfredson et al., 2015). Cette dernière recommandation implique que la puissance statistique d’une étude devrait être prévue en fonction de cette analyse des sources de variations et non seulement en fonction de l’analyse des principaux effets de l’intervention.

On peut recourir à plusieurs outils pour favoriser la validité externe d’une étude d’effectivité. Le cadre RE-AIM (Reach, Effectiveness, Adoption, Implementation, Maintenance; Glasgow, Vogt et Boles, 1999) développé en santé publique peut être particulièrement utile. Contrairement aux cadres traditionnels, RE-AIM accorde autant d’importance à la portée d’une intervention qu’à ses effets. Ce cadre met à la disposition de la communauté scientifique une série de moyens pour documenter la couverture et la représentativité de la population rejointe par rapport à une population ciblée (www.re-aim.org). Il met également l’accent sur le maintien de la mise en oeuvre et des effets d’une intervention à l’aide de la composante Maintien (« maintenance »). Le schéma CONSORT modifié pour les essais pratiques/pragmatiques (Zwarenstein et al., 2008) et les critères de qualité de Green et Glasgow (2006) sont deux autres outils utiles pour guider la manière de rapporter les caractéristiques d’une étude afin de circonscrire la validité externe de ses résultats.

Orientation 3. Maximiser l’utilité pratique

La troisième orientation de la recherche d’effectivité consiste à maximiser l’utilité pratique des résultats (Dunn, 2013; Tunis et al., 2003). La première recommandation à cet égard est de contraster l’intervention cible à des alternatives cliniquement pertinentes plutôt qu’à l’absence d’intervention ou à un placebo (Dunn, 2013; Thorpe et al., 2009; Tunis et al., 2003). Comparer une intervention à une condition contrôle sans intervention permet d’estimer l’effet causal théorique de cette intervention mais ne répond pas à la question la plus importante pour un gestionnaire ou un intervenant : « devrais-je déployer l’énergie et les ressources nécessaires pour mettre en oeuvre cette intervention plutôt qu’une autre? » De ce point de vue, l’alternative par défaut dans une recherche d’effectivité devrait être l’intervention courante (Treatment As Usual; TAU) bien que la comparaison de plusieurs interventions démontrées efficaces soit encore plus utile dans un domaine où l’intervention atteint un stade de développement avancé. La recherche comparant les effets de plusieurs IFP dans le « vrai monde » est appelée recherche d’effectivité comparative (Comparative Effectiveness Research; CER; Glasgow et Steiner, 2012).

Une autre stratégie servant à augmenter l’utilité pratique des résultats est de colliger le plus d’informations possibles pour guider la prise de décision des acteurs sur le terrain (Glasgow et Emmons, 2007; Glasgow et al., 2006; Marchand et al., 2011; Roy-Byrne et al., 2003; Thorpe et al., 2009; Tunis et al., 2003). Il est recommandé d’inclure un maximum d’informations quant aux ressources nécessaires à la mise en oeuvre d’un programme, en particulier les coûts prévisibles. Il est également recommandé d’inclure des mesures d’effets diversifiées, globales et prioritaires pour les milieux et les intervenants (fonctionnement général, qualité de vie, etc.) (Tunis et al., 2003). Tel que mentionné précédemment, le recours à des mesures déjà utilisées et recueillies par les milieux (données administratives, cliniques) est à privilégier. Enfin, il est essentiel de documenter les effets non anticipés d’une intervention (Marchand et al., 2011) compte tenu de possibles effets iatrogènes (Dishion, McCord et Poulin, 1999).

Deux approches peuvent être recommandées afin de faire valoir le point de vue des principaux intéressés dans une étude d’effectivité et de documenter un large éventail d’effets (incluant des effets non anticipés). La première de ces approches consiste à inclure des données qualitatives et de recourir à des méthodes mixtes (Creswell et Clark, 2007). Les données qualitatives complémentent les données quantitatives de plusieurs façons, notamment en offrant des résultats plus valides, plus complets, plus nuancés et plus représentatifs des préoccupations des acteurs. Les méthodes mixtes sont de plus en plus valorisées en recherche d’effectivité (Albright, Gechter et Kempe, 2013). La deuxième approche consiste à privilégier des méthodes participatives (Bogart et Uyeda, 2009; Brown et al., 2012; Glasgow, Green, Taylor et Stange, 2012; Weissberg et Greenberg, 1998) qui associent gestionnaires, intervenants et chercheurs dans l’ensemble des décisions relatives à la recherche. Les approches mixtes et participatives sont compatibles avec les devis expérimentaux traditionnels et leur ajout est fortement recommandé dans toute recherche d’effectivité.

Orientation 4. Préserver un bon niveau de validité interne

La quatrième orientation de la recherche d’effectivité est de préserver un bon niveau de validité interne, qui réfère au degré de justesse des inférences causales tirées d’une étude (Shadish et al., 2002). Dans le cas présent, la validité interne concerne la capacité d’attribuer les effets observés à l’intervention étudiée. Préserver la validité interne est un défi complexe dans une recherche d’effectivité puisque la centration sur les autres orientations (validité écologique, validité externe, utilité pratique) réduit la capacité d’appliquer du contrôle expérimental (Clarke, 1995; Flay et al., 2005). Cette quatrième orientation a des implications au niveau de l’évaluation de la mise en oeuvre et des effets d’une intervention.

Évaluation de la mise en oeuvre. L’évaluation de la mise en oeuvre d’une intervention est essentielle en recherche d’effectivité (Clarke, 1995; Flay et al., 2005; Marchand et al., 2011). Contrairement à la recherche d’efficacité où l’intervention et ses conditions de mise en oeuvre sont très homogènes et standardisées, la recherche d’effectivité laisse libre cours à des variations d’un milieu à l’autre, d’un intervenant à l’autre, etc. L’évaluation de la mise en oeuvre est donc nécessaire dans ce contexte pour relier les effets observés aux interventions réellement mises en place ou dans certains cas, pour déterminer si l’absence d’effets est fonction de l’intervention elle-même ou de sa mise en oeuvre inadéquate.

L’évaluation de la mise en oeuvre devrait documenter la fidélité de l’intervention, c’est-à-dire le degré de conformité entre l’intervention prévue par les concepteurs et celle qui est réellement mise en place (Dane et Schneider, 1998; Domitrovich et al., 2008; Domitrovich et Greenberg, 2000). Les IFP sont rarement mises en oeuvre telles que prévues (Elliott & Mihalic, 2004; Ennett et al., 2003) et les effets dérivés des interventions dépendent fortement de la fidélité de leur mise en oeuvre (Durlak et DuPre, 2008). La fidélité est typiquement mesurée selon cinq dimensions (Dane et Schneider, 1998; Durlak et DuPre, 2008; Dusenbury, Brannigan, Falco et Hansen, 2003; Fagan, Hanson, Hawkins et Arthur, 2008) : 1) l’adhésion ou la conformité du contenu livré par rapport au contenu prévu; 2) l’exposition ou la conformité de l’intensité ou dosage par rapport à l’exposition prévue; 3) la qualité de l’animation ou la manière dont le programme est livré par les animateurs; 4) la réponse des participants ou leur engagement dans le programme et 5) la différentiation ou le degré avec lequel les composantes principales de l’intervention peuvent être distinguées des composantes d’autres interventions.

L’évaluation de la mise en oeuvre devrait aussi documenter les adaptations apportées à l’intervention, qu’elles soient volontaires ou non (Backer, 2001; Blakely et al., 2002; Durlak, 1998). Ces adaptations peuvent inclure : (1) les retraits ou les soustractions d’éléments de contenu; (2) l’altération de la nature de certains éléments de contenu et (3) les changements dans la manière de livrer le programme (dosage, nombre de séances) (Backer, 2001). Malgré l’association entre la fidélité et les effets des interventions, certaines adaptations doivent presque toujours être apportées aux interventions pour faciliter leur mise en oeuvre en pratique et ces adaptations ne sont pas forcément délétères (Backer, 2001; Durlak, 1998). Une certaine flexibilité dans la mise en oeuvre peut permettre d’ajuster plus convenablement une intervention aux réalités locales, particulièrement lorsque cette intervention est utilisée auprès d’une nouvelle communauté culturelle (Blakely et al., 2002; Castro et al., 2004; Lee, Altschul et Mowbray, 2008). Étant donné que l’impact des adaptations sur les effets d’une intervention est inconnu a priori, un des intérêts de la recherche d’effectivité est de contribuer à identifier empiriquement ce qui peut ou ne peut pas être modifié dans une intervention.

Évaluation des effets. Autant que possible, la recherche d’effectivité devrait être conduite à l’aide de devis expérimentaux ou quasi-expérimentaux qui permettent de tirer des inférences causales robustes (Figures 3 et 4). Lorsque le contexte le permet, le devis expérimental avec randomisation individuelle des participants aux conditions demeure optimal et devrait être privilégié (Flay et al., 2005; Mercer et al., 2007). Cependant, il est souvent impossible de mettre en place un tel devis dans une étude d’effectivité pour des raisons pratiques et/ou éthiques (Clarke, 1995; Flay et al., 2005; Glasgow et al., 2003; Marchand et al., 2011; Roy-Byrne et al., 2003). Par exemple, il peut être inacceptable pour des intervenants de ne pas offrir une intervention à certains patients si cette intervention a montré des bénéfices dans une étude d’efficacité préalable. La recherche d’effectivité exige donc généralement de trouver une alternative au devis expérimental classique utilisé dans les ECR d’efficacité (Mercer et al., 2007).

Dans ce contexte, une première option est d’adapter le devis expérimental (Glasgow, 2013; Glasgow, Magid, Beck, Ritzwoller et Estabrooks, 2005; Horn et Gassaway, 2007; Hotopf, 2002; Mercer et al., 2007; Patsopoulos, 2011; Pentz, 2004; Treweek et Zwarenstein, 2009). Une adaptation souvent indiquée est de randomiser les milieux aux conditions (Cluster RCT; Bland, 2004) plutôt que de randomiser les participants de manière individuelle. L’utilisation d’un essai randomisé en cluster permet de limiter le risque d’effets de contamination tout en facilitant considérablement la collecte des données d’un point de vue logistique. Une autre façon d’adapter le devis randomisé est de recourir à un devis par liste d’attente dynamique (Dynamic waitlist, Stepwedge; Brown, Wyman, Guo et Pena, 2006). Dans un tel devis, tous les participants reçoivent l’intervention, mais à un moment différent fixé aléatoirement. Ce devis peut être mis en place dans le contexte d’un devis randomisé en cluster où la mise en oeuvre de l’intervention dans différents milieux est échelonnée à travers le temps. Par exemple, la Figure 3d présente un devis dans lequel trois groupes de milieux reçoivent l’intervention à trois moments différents. Certaines mesures sont un post-test pour certains groupes et un prétest pour d’autres et il devient alors possible d’analyser les effets en comparant les conditions des groupes qui ont et n’ont pas reçu l’intervention à chaque temps de mesure, de même qu’à travers le temps dans une même condition (avant et après l’intervention). En plus de préserver une forme de randomisation, un devis par liste d’attente dynamique éclipse les problèmes éthiques liés à l’absence d’intervention chez quelque groupes témoin et facilite la logistique de la recherche en mettant en oeuvre l’intervention de façon séquentielle dans un nombre restreint de milieux à la fois (Brown, Mason et Brown, 2014).

Figure 3

**Exemples de devis randomisés (classiques et adaptés)**

Figure 4

**Exemples de devis quasi-expérimentaux**

Une autre alternative lorsqu’un devis expérimental classique ne peut être utilisé est de recourir à un devis adaptatif (adaptive design). Dans un tel devis, l’information cumulative colligée pendant l’étude sert à modifier en cours de route sa conduite (Brown et al., 2014; Brown et al., 2009). Dans le contexte d’une recherche d’effectivité, les devis adaptatifs peuvent être utiles pour ajuster la recherche en fonction de considérations pratiques, améliorer la convenance et la qualité d’une intervention en cours de route (ajustement du dosage et du contenu), incorporer les préférences des acteurs (clients et intervenants) quant aux choix des interventions livrées ou arrêter de manière prématurée des interventions clairement inefficaces (Brown et al., 2014; Brown et al., 2009). Les devis adaptatifs impliquent typiquement plusieurs randomisations. Dans l’exemple de la Figure 3e, la probabilité de randomisation des milieux à deux conditions (intervention vs contrôle) est modifiée en cours de route de .50–.50 à .75–.25 en fonction d’analyses intérimaires indiquant un avantage de l’intervention relativement à la condition contrôle. Cet ajustement de la randomisation permet de diminuer le nombre des participants exposés à une condition contrôle moins efficace, tout en préservant la validité interne du devis.

Enfin, lorsque toute forme de randomisation s’avère impossible, il est possible de recourir à un devis quasi-expérimental. Les meilleures options sont 1) un devis de type régression-discontinuité, 2) un devis avec série temporelle interrompue dans un seul ou préférablement plusieurs groupes et, en dernier recours, 3) un devis avec groupes non équivalents créés par assignation non aléatoire, dans la mesure où l’on peut démontrer l’équivalence des groupes avant l’intervention (Gottfredson et al., 2015). Ces devis sont discutés en détail dans la plupart des textes introductifs de méthodologie scientifique (Shadish et al., 2002). Peu importe la nature du devis mis en place, des stratégies statistiques appropriées devraient être utilisées pour modéliser les effets de l’intervention. Par exemple, des analyses multi-niveaux devraient être utilisées si les participants sont nichés dans des milieux ou des groupes d’intervention. Des analyses de type « intention-de traiter » (Gupta, 2011) devraient systématiquement être employées pour tenir compte de l’information provenant de participants dont les données sont incomplètes puisque l’attrition est souvent plus importante dans une étude d’effectivité que dans une étude d’efficacité (Singal, Higgins et Waljee, 2014).

Méthodes et analyses complémentaires

Certaines méthodes complémentaires peuvent bonifier la contribution d’une recherche d’effectivité. Dans la plupart des situations, il est possible de prévoir des analyses d’efficience (ou économiques), qui visent à comparer différents choix d’interventions en fonction de leurs coûts et leurs conséquences (Drummond, O’Brien et Stoddard, 2005). Les analyses d’efficience sont particulièrement précieuses pour les gestionnaires et intervenants qui doivent choisir parmi plusieurs approches efficaces ou effectives dans un contexte de ressources limitées. La question n’est donc pas simplement de savoir si une intervention fonctionne, mais bien de déterminer si l’investissement dans cette intervention représente la meilleure utilisation possible des ressources disponibles. En documentant les coûts associés à la mise en place des interventions étudiées, il devient relativement simple de dériver un ratio coût-effectivité prenant la forme suivante (Caulkins, Nicosa et Pacula, 2014) :

Le ratio coût-effectivité permet de standardiser la comparaison des coûts associés aux bénéfices relatifs de plusieurs interventions lorsque la même mesure d’effet est utilisée pour évaluer les résultats de ces interventions. Par exemple, deux interventions visant à prévenir la dépression pourraient produire des effets équivalents, mais coûter respectivement 1,000$ et 5,000$ par cas de dépression évité, ce qui favoriserait le choix de la première intervention. D’autres analyses d’efficience peuvent être greffées à une étude d’effectivité, incluant les analyses de compensation des coûts (cost-offset), de coût-utilité (cost-utility) et de coût-bénéfice (cost-benefit) (voir Caulkins et al., 2014).

Une deuxième méthode complémentaire consiste à étudier simultanément l’effectivité d’une intervention et les stratégies pour faciliter son transfert vers la pratique. Ce type d’étude hybride effectivité-transfert peut contribuer à préciser les stratégies les plus efficaces pour mettre en oeuvre les IFP, qui demeurent peu connues et font l’objet de la nouvelle Science du transfert et de la diffusion (Implementation Science) (Proctor et al., 2009; Spoth et al., 2013). Trois types d’études hybrides sont décrites dans la littérature (Bernet, Willens et Bauer, 2013; Curran, Bauer, Mittman, Pyne et Stetler, 2012). Dans une étude hybride de type I, la primauté est accordée à l’effectivité de l’intervention, mais des données secondaires (acceptabilité, faisabilité, etc.) concernant ses conditions de transfert sont colligées par des méthodes qualitatives ou mixtes centrées sur les processus. Ces études peuvent informer le développement d’études futures dans lesquelles des stratégies de transfert seront testées de manière expérimentale. Dans une étude hybride de type II, une importance équivalente est accordée au test expérimental de l’effectivité de l’intervention et d’une (ou plusieurs) stratégie(s) de transfert prédéterminées. Les devis en cluster, par liste d’attente dynamique ou adaptatifs, représentent des options de choix pour ce type d’études (Figure 5). Dans de tels devis, les effets des stratégies de transfert sont déterminés en fonction du niveau de mise en oeuvre obtenu dans chaque cas, alors que les effets de l’intervention sont déterminés en fonction du changement chez les participants. Enfin, dans une étude hybride de type III, la primauté est accordée à l’évaluation d’une ou plusieurs stratégie(s) de transfert et des données secondaires sont colligées afin de documenter les effets de l’intervention chez les participants. Étant donné que l’effectivité d’une intervention est largement dépendante des conditions dans lesquelles cette intervention est mise en oeuvre, l’utilisation de devis hybrides est de plus en plus prévalente et recommandée.

Figure 5

**Exemple de devis hybride effectivité-implantation (type II)**

Enfin, il peut être utile dans une étude d’effectivité de prévoir des analyses de médiation visant à valider les mécanismes d’action d’une intervention. Toutefois, comme la mise en oeuvre d’une intervention est souvent variable dans ce type d’études, les études d’efficacité sont susceptibles de fournir un terrain plus fertile pour détecter et valider ces mécanismes. De manière générale, les études d’efficacité conviennent mieux aux analyses de médiation (déterminer les mécanismes d’une intervention), alors que les études d’effectivité sont particulièrement utiles pour les analyses de modération (déterminer les sources de variation des effets d’une intervention).

Implications de la recherche d’effectivité

Il est clair que le modèle de validation des IFP a trop longtemps reposé sur une preuve exclusivement fondée sur la validité interne et que ce modèle contribue à perpétuer l’écart recherche-pratique (Glasgow et Emmons, 2007; Glasgow et al., 2006; Green, 2001; Green et Glasgow, 2006). Pour que les IFP intègrent plus harmonieusement la pratique courante, la recherche doit produire des preuves plus représentatives des réalités de cette pratique, que certains nomment des « preuves fondées sur la pratique » (Ammerman, Smith et Calancie, 2014; Green, 2006). La recherche d’effectivité représente une des principales stratégies pour atteindre cet objectif, quoique d’autres approches peuvent aussi y contribuer (p. ex. partenariats en recherche-action participative, évaluation de programmes, etc.). La grande force de la recherche d’effectivité réside dans la recherche d’un compromis explicite entre considérations théoriques et pratiques dans l’espoir de fournir une preuve qui est d’une part applicable (validité écologique), généralisable (validité externe) et pertinente (utilité) en pratique et, d’autre part, suffisamment robuste (validité interne) pour satisfaire les standards de la communauté scientifique (Green et Glasgow, 2006).

La recherche d’effectivité peut également contribuer à accélérer le transfert des IFP de la recherche vers la pratique. En produisant une information contextualisée et centrée sur la prise de décision des utilisateurs, ce type de recherche permet aux gestionnaires et aux intervenants de répondre à des questions prioritaires, telles que :

Cette intervention peut-elle fonctionner dans mon contexte?
Quelles adaptations puis-je y apporter sans altérer les bénéfices de cette intervention?
Quelles conditions de mise en oeuvre dois-je mettre en place?
Quels usagers devraient être sélectionnés?

Le transfert des IFP de la recherche vers la pratique peut être accélérée encore davantage par une analyse comparant l’efficience de plusieurs interventions et/ou l’utilisation d’un devis hybride effectivité-transfert permettant d’étudier à la fois l’effectivité d’une intervention et les conditions/stratégies permettant de faciliter son transfert de la recherche vers la pratique. Compte tenu de l’importance grandissante des analyses économiques et de la Science du transfert et de la diffusion (Implementation Science), il s’avère utile dans la plupart des études d’effectivité de prévoir, au minimum, l’analyse d’un ratio coût-effectivité et une étude des obstacles et facilitants à la mise en oeuvre de l’intervention en pratique (devis hybride de type I).

La recherche d’effectivité comporte également des implications souvent négligées par rapport au développement même des interventions. En effet, prévoir de tester une intervention dans une optique d’effectivité implique d’adopter un mode de développement centré sur le transfert et la diffusion éventuelle de cette intervention dans la pratique (design for fidelity and/or dissemination; Allen, Linnan et Emmons, 2012; Brownson, Jacobs, Tabak, Hoener et Stamatakis, 2013), c’est-à-dire de penser son développement en fonction des réalités et des considérations du terrain. Dès lors, des notions de faisabilité, de simplicité, d’applicabilité, de coûts et de flexibilité prennent de l’importance. À l’inverse, les interventions validées par la recherche d’efficacité sont souvent trop longues, trop coûteuses et trop exigeantes pour être mises en oeuvre à large échelle et font habituellement fi des mécanismes susceptibles de soutenir leur mise en oeuvre (Ammerman, Smith et Calancie, 2014; Comitee on the Prevention of Mental Disorders and Substance Abuse among Children, 2009; Rotheram-Borus et Duan, 2003). Réfléchir d’emblée en termes d’effectivité peut donc non seulement bonifier la manière de valider les interventions et de les transférer dans la pratique, mais aussi en générer d’autres qui sont mieux adaptées à la pratique. Une telle démarche peut aussi encourager les chercheurs à sortir d’un modèle strictement linéaire en évaluant du même coup l’efficacité ET l’effectivité d’interventions directement développées, utilisées et pré-testées sur le terrain (parfois appelées innovations locales). L’avantage de ce scénario est d’éviter de déployer des ressources substantielles pour tester l’efficacité d’une intervention dont les effets ne seront jamais réalistement reproduits dans la pratique courante.

Enfin, la recherche d’effectivité peut apporter une contribution locale toute particulière. En effet, la majorité des IFP disponibles ont été développées et testées hors du Québec dans un contexte linguistique, culturel, organisationnel et politique différent. Il n’est donc pas très utile d’investir dans une nouvelle évaluation d’efficacité de ces interventions puisqu’il est déjà établi qu’elles peuvent fonctionner. Cependant, il n’est pas non plus prudent d’investir immédiatement des ressources massives pour diffuser ces interventions à large échelle puisqu’il n’est pas assuré qu’elles soient adaptées à la réalité de la pratique locale. La recherche d’effectivité peut donc se révéler particulièrement utile pour déterminer si des IFP validées hors Québec peuvent être mises en place et produire les effets escomptés dans le contexte de la pratique québécoise avant qu’une décision soit prise quant à leur diffusion à large échelle.

Recommandations

En guise de conclusion, voici quelques recommandations destinées aux différents acteurs impliqués dans la validation des IFP au Québec :

Pour valider une intervention ou un programme de manière complète, les chercheurs devraient viser non seulement à démontrer son efficacité mais également son effectivité.
Ces mêmes chercheurs devraient concevoir l’évaluation d’une intervention en fonction du type de preuve qu’ils souhaitent produire (efficacité et/ou effectivité) et décrire leur étude en regard des concepts et outils utilisés dans la littérature scientifique (p.ex : grille PRECIS; Thorpe et al., 2009), en tenant compte du fait qu’une étude partage souvent des caractéristiques d’efficacité et d’effectivité.
Les spécialistes du transfert de connaissances qui produisent des recensions systématiques, guides de pratique et répertoires d’IFP devraient tenir compte de la distinction entre preuve d’efficacité et d’effectivité et accorder un statut particulier à la preuve d’effectivité, tel que suggéré par le modèle de la SPR (Flay et al., 2005; Gottfredson et al., 2015).
Les professeurs et les chargés de cours devraient intégrer les méthodes de la recherche d’effectivité de manière plus systématique dans la formation des futurs intervenants et chercheurs appelés à concevoir, évaluer et transférer des IFP.
Les différents acteurs concernés par le développement et la validation des IFP (chercheurs, organismes subventionnaires, organismes de transfert de connaissances, milieux de pratiques, etc.) devraient prioriser explicitement la recherche d’effectivité de même que d’autres méthodes permettant d’étudier les interventions dans la pratique courante.

Évidemment, une telle priorisation exige le développement de capacités conséquentes, à commencer par la mise en place de partenariats solides et durables entre chercheurs et milieux de pratiques. Réaliser une bonne étude d’effectivité représente un défi considérable puisque ce type de recherche exige habituellement des échantillons très larges, des analyses complexes (p.ex. analyses multi-niveaux), une équipe de chercheurs pragmatique et diversifiée, l’établissement et le maintien de partenariats recherche-pratique fonctionnels et, surtout, un délicat travail d’équilibre entre des orientations méthodologiques contradictoires, en particulier en ce qui concerne les validités internes et externes (Clarke, 1995; Marchand et al., 2011; Roy-Byrne et al., 2003). Malgré ces défis, sinon grâce aux différents compromis qui les caractérisent, la recherche d’effectivité représente une stratégie particulièrement prometteuse dans la quête d’une meilleure conciliation recherche-pratique.

La recherche d’effectivité: nature, méthodes et rôle dans la validation des interventions fondées sur les preuvesEffectiveness research: Nature, methods, and role in the validation of evidence-based interventions

Résumé

Abstract