Corps de l’article

Introduction

L’article traite des formations de niveau gradué, dispensées par les universités, en évaluation d’interventions. Il ne s’agit pas d’une perspective d’évaluation de personnel ou de compétences individuelles en éducation mais de former des praticiens ou des étudiants à l’évaluation de programmes dans les secteurs comme santé, social, environnement, éducation, etc. L’article propose un argumentaire sur l’intérêt d’allier théorie et pratique dans un programme de troisième cycle en évaluation.

Développer des formations en évaluation semble largement répondre à une demande, tant théorique que pratique. Administrativement, l’évaluation occupe une place prépondérante : les politiques d’évaluation de programmes et de politiques sont en cours de développement, par exemple au Secrétariat du Conseil du trésor du Québec, ou en révision, tel qu’au Ministère de la Santé et des Services sociaux du Québec. Au niveau fédéral, une nouvelle politique d’évaluation émise en avril 2009 définit dans chaque ministère un poste de chef d’évaluation de programmes, de sorte que des gestionnaires de la fonction publique occupent actuellement des emplois spécifiques comme chefs ou directeurs d’évaluation.

Déjà, plusieurs formations en évaluation au deuxième cycle sont disponibles au Canada dans les provinces, notamment au Québec, à travers des diplômes d’études supérieures spécialisées, des maîtrises ou tout simplement des cours. Des formations de niveau doctorat sont également offertes avec l’évaluation comme concentration dans les programmes ou comme cours, rarement en tant que programme en évaluation d’interventions comme domaine principal ou unique (Consortium of Universities for Evaluation Education Project, 2009). A-t-on un intérêt à développer des programmes au niveau doctoral en évaluation des interventions ? Et comment y intégrer la pratique évaluative ?

Dans un premier temps, les auteurs présentent l’argumentaire pour une formation doctorale en évaluation selon les critères de création d’un programme de doctorat, soit la pertinence scientifique, sociale, institutionnelle et systémique. Ces critères sont largement acceptés dans le contexte universitaire. À titre illustratif au Québec, le ministère de l’Éducation, du Loisir et du Sport (MELS) et la Commission d’évaluation de projets de programmes d’études de la Conférence des recteurs et principaux d’universités du Québec (CREPUQ) examinent les projets de programmes sous l’angle des ressources, de la pertinence scientifique et de l’opportunité socioéconomique, culturelle, institutionnelle et systémique. Les commissions d’agrément américaines mentionnent ces critères et, en sus, elles peuvent appuyer la nécessité d’un apprentissage incrémentiel des formations de troisième cycle par rapport au deuxième cycle (SACSCOS, 2011) ainsi que l’adéquation du contenu de programmes de doctorat professionnel ou de doctorat orienté vers la pratique (CIHE, 2011) avec le marché du travail. La création de programmes met ainsi l’accent de façon plus ou moins explicite sur la nécessité de joindre un volet pratique au contenu conceptuel des formations de troisième cycle.

Dans un second temps, l’argumentaire pour une formation doctorale en évaluation qui intègre à la fois le volet pratique et théorique est présenté. L’évaluation étant largement reconnue comme une pratique, l’avancement de celle-ci peut bénéficier de réflexions conceptuelles et donc d’une formation de troisième cycle. Cette formation peut être entreprise par des non-praticiens ou par des praticiens de l’évaluation. Les apprentissages lors de la formation peuvent ainsi être soutenus par la pratique et peuvent alimenter la pratique elle-même. Cependant, il semble difficilement concevable de ne pas avoir un certain niveau de sensibilisation voire d’expériences évaluatives, pour pouvoir apporter une réflexion conceptuelle adaptée au milieu de pratique et de travail des évaluateurs ou des directeurs d’évaluation. Ainsi, l’intégration de la pratique en évaluation dans les formations doctorales apparaît comme une préoccupation pertinente pour les chercheurs et légitime pour les praticiens.

Trois aspects complémentaires des formations de troisième cycle qui pourraient, si ce n’est déjà en place, assurer un arrimage entre théorie et pratique sont présentés. Trois entrées semblent envisageables: les objectifs de carrière du public visé, la base de formation disciplinaire de l’étudiant et le niveau expériences terrain. Les objectifs de carrière de l’étudiant se réfèrent à la projection professionnelle d’un étudiant de troisième cycle et son orientation vers une carrière universitaire ou une autre. La base de formation disciplinaire est constituée du profil varié des étudiants à leur entrée. Ils peuvent provenir de formation en management, en méthodologie ou en n’importe laquelle des cinq compétences visées pour être un praticien de l’évaluation (SCE, 2010). Le niveau d’expérience terrain fait appel aux expériences antérieures à la formation et aux expériences acquises en cours de formation. Ces expériences peuvent avoir lieu directement dans le champ de l’évaluation ou dans des champs connexes.

Afin d’illustrer leurs propos sur l’intérêt de déployer des formations de troisième cycle en évaluation qui intègrent la pratique, les auteurs se basent sur une formation de troisième cycle en évaluation dont l’intérêt pour la pratique évaluative et le monde du travail est potentiellement fort, les formations de troisième cycle en évaluation dans le secteur de la santé (incluant la recherche clinique, la recherche sur les soins, services, organisations et systèmes de santé, et la recherche sur la santé des populations)[1]. Considérant la part centrale des budgets publics dans le domaine de la santé ainsi que les nombreuses évaluations menées sont considérables. En santé, des évaluations d’interventions – définies au sens large en tant que techniques, pratiques, programmes, organisations, politiques ou systèmes de santé – sont conduites dans maints domaines, notamment la gestion, l’administration, la toxicologie, l’épidémiologie, la promotion de la santé, la surveillance des états de santé, la santé environnementale et au travail, etc. À titre d’exemples, les évaluations peuvent porter sur la pertinence du système de la réserve nationale d’urgence (SRNU)[2], la mise en oeuvre de la stratégie québécoise d’action face au suicide[3], les effets des premiers groupes de médecine de famille au Québec[4], les programmes gouvernementaux de réduction de la pauvreté[5], de la thérapie photodynamique au porfimer sodique pour les cancers de l’oesophage, de la vessie et du poumon[6] ou encore le plan national de la gestion des matières et déchets radioactifs[7]. Le champ de l’évaluation recoupe ainsi plusieurs spécialités de la santé et est reconnu, depuis la seconde moitié du xxe siècle, comme une pratique essentielle pour supporter la prise de décision en matière de santé. Le besoin de réaliser des recherches sur l’évaluation, appliquées au domaine de la santé, s’inscrit dans les dynamiques actuelles d’identification et de compréhension des pratiques de prise de décisions supportées par les données probantes, de développement de méthodes mixtes, quantitatives et qualitatives de collecte et d’analyse de données, et plus généralement d’échange de connaissances entre les milieux de recherche et de pratique.

Les auteurs appliquent donc l’argumentaire à un cas : l’introduction de formations de troisième cycle en évaluation d’interventions dans le domaine de la santé, et discutent de l’intérêt d’un tel programme à travers les critères de pertinence scientifique, sociale, institutionnelle et systémique, et des possibilités et défis d’y intégrer la pratique évaluative.

Pertinence d’une formation de troisième cycle en évaluation

L’argumentaire se fera à partir des critères suivants : pertinence scientifique, sociale, institutionnelle et systémique. La pertinence scientifique touche à la démonstration que le champ de l’évaluation est d’un intérêt certain pour la recherche. Le critère relatif aux liens avec le marché du travail et, de façon générale, avec la pratique évaluative sera abordé à travers le critère de la pertinence sociale. Ainsi, la pertinence sociale reprend l’offre d’un bassin de recrutement et les besoins de formations. La pertinence institutionnelle justifie l’introduction d’un programme dans le développement d’une institution d’enseignement comme un programme spécifique aux départements et à l’université, alors que la pertinence systémique positionne les besoins de proposer des programmes additionnels et la spécificité de nouveaux projets dans le contexte des formations canadiennes et provinciales.

Pertinence scientifique

Un des critères justifiant l’intérêt d’une formation de troisième cycle en évaluation est la pertinence scientifique. Pour y répondre, il s’agit de démontrer que l’évaluation constitue un domaine de spécialisation ou qu’il existe une communauté de pratique reconnue en recherche par la présence de revues spécialisées, de comités d’attribution de fonds de recherche, d’équipes de recherche et de manuels.

Dans le secteur de la recherche en santé, l’évaluation des interventions s’impose comme domaine de spécialisation. L’évaluation fait partie des priorités stratégiques de recherche de l’Institut sur les services et les politiques de santé (ISPS) et de l’Institut de la santé publique et des populations (ISPP) des Instituts de recherche en santé du Canada (IRSC), qui soulignent l’importance pour les décideurs, administrateurs et praticiens « de disposer de preuves claires et convaincantes de l’efficacité d’interventions et de l’applicabilité de solutions dans le contexte canadien ». Ils soulèvent « le besoin non seulement de recherche de qualité avec preuves à l’appui pour promouvoir de nouvelles pratiques et politiques, mais également de recherche sur les méthodes d’évaluation et de mise en oeuvre pour tester les nombreuses innovations actuelles » (IRSC, 2010). L’évaluation y est reconnue comme un domaine de recherche par la mise à la disposition de fonds de recherche et, tel que mentionné ci-haut, par la formulation de priorités. Ainsi, les IRSC ont des comités spécifiques pour les projets en évaluation d’interventions, tel le comité Recherche en interventions et en évaluation dans les services de santé. En outre, le comité Recherche sur l’application des connaissances des IRSC finance des projets en évaluation et application des résultats d‘évaluation. À l’échelle provinciale, le Fonds de recherche du Québec – Santé finance aussi de la recherche en évaluation, à travers ses programmes réguliers de même qu’avec des initiatives particulières, telle celle sur l’Évaluation des projets d’implantation ciblée de services intégrés en première ligne pour les personnes présentant des troubles cognitifs liés au vieillissement et pour leurs proches[8].

L’évaluation est reconnue comme un domaine de spécialisation en santé et est structurée dans ce sens: postes d’évaluateurs dans les ministères et agences de la santé et des services sociaux, politiques d’évaluation en santé, conférences sur l’évaluation en santé publique, fonds spécifiques pour la recherche en évaluation dans le secteur de la santé et journaux spécialisés en évaluation et santé publique. Les chercheurs en santé publique ont à leur disposition des interfaces pour l’évaluation, tel le colloque de la Société Québécoise d’Évaluation de Programme (SQÉP) qui en 2007 portait exclusivement sur « La santé à l’heure des choix: la contribution de l’évaluation de programmes au débat sur l’avenir du système de santé ». L’American Evaluation Association (AEA) a, chaque année, des groupes thématiques en santé publique pour sa conférence : Health evaluation Topical Interest Group (TIG), Alcohol, drug abuse and mental health TIG, Disaster and emergency management TIG, Environmental program evaluation TIG.

Plus généralement, l’importance accordée à la recherche en évaluation est telle que certaines institutions publiques se sont dotées de structures de recherche internes en évaluation, par exemple les chaires de recherche en évaluation, Chaire de recherche du Canada sur l’évaluation des actions publiques à l’égard des jeunes et des populations vulnérables (CRÉVAJ) ou la Chaire de recherche du Canada en évaluation et amélioration du système de santé au Québec. En outre, l’importance qui y est accordée par les chercheurs se traduit par l’octroi de nomination et de prix prestigieux pour l’avancement de l’évaluation : les compétitions ouvrent des prix pour les jeunes évaluateurs prometteurs (AEA, Société canadienne d’évaluation ou SCÉ), pour les contributeurs exemplaires au domaine de l’évaluation (SQÉP, AEA), pour la publication écrite la plus lue (American Journal of Evaluation) ou encore pour les équipes d’étudiants en évaluation (SCÉ).

Les chercheurs s’occupent d’approfondir les théories de l’évaluation, les approches, les méthodes, le transfert et l’utilisation des résultats d’évaluation. Ils portent leur intérêt sur le développement de modèles et de méthodes qui permettent l’étude systématique d’une intervention ou l’une de ses composantes ou encore ont l’évaluation elle-même comme objet de recherche. Plusieurs interfaces permettent les échanges et les innovations sur l’évaluation comme objet de recherche : les conférences nationales et internationales spécialisées en évaluation (colloque annuel de la SCÉ, conférence internationale annuelle de l’AEA et de l’European Evaluation Society (EES), etc.), les journaux spécialisés en évaluation et les programmes de formation doctorale. Une multitude de livres spécialisés en évaluation existent également à travers le monde. Sur Amazon, on retrouve 132 451 livres comportant le mot « evaluation » dans leur titre[9].

La recherche en évaluation est aussi soutenue par les organismes subventionnaires de la recherche, tant à l’échelle nationale qu’internationale. Mentionnons, à titre d’exemple, le CRDI (Centre de recherche pour le développement international), qui dispose de bourses spéciales pour les études doctorales sur un sujet en évaluation (Bourse de recherche en évaluation du CRDI pour les cycles supérieurs), ainsi que le Centre d’analyse des politiques publiques (CAPP) de l’Université Laval, qui offre des bourses de recherche de doctorat en évaluation des politiques.

Ainsi, l’évaluation est reconnue comme un domaine de spécialisation, avec non seulement des marqueurs de spécialisation comme les fonds, les conférences ciblées, les journaux en évaluation, etc., mais également un important corpus de connaissances spécifiques. Ce corpus comprend notamment les connaissances directement liées à chacune des compétences essentielles d’un évaluateur mais aussi à l’intégration et à la conciliation de ces compétences pour l’exercice de la pratique évaluative.

Pertinence sociale

Le second critère justifiant l’intérêt d’une formation de troisième cycle en évaluation est la pertinence sociale qui, pour un programme en évaluation, se traduirait par le fait qu’il existe une demande ou une filière pour les diplômés de troisième cycle en évaluation en termes d’emploi ou de carrière de recherche et, ultimement, que l’évaluation apporte des répercussions positives sur la société.

Les débouchés en termes de carrière de recherche se multiplient. Ainsi, il est possible d’observer que les exigences du milieu professionnel sont compatibles avec la production et le placement de diplômés de troisième cycle en évaluation. Le volume de recrutements, la diversification des employeurs et la constitution de groupes thématiques d’évaluateurs et de chercheurs en évaluation contribuent au renforcement de la filière évaluation. Au Canada, entre 16 % et 23 % des évaluateurs de la SCÉ sont de niveau Ph. D. (Gauthier, Borys, Kishchuk, & Roy, 2006), 19 % à la SQÉP (SQÉP, 2009) et 40 % à l’AEA. Les évaluateurs travaillent dans la fonction publique, dans les organisations non gouvernementales et dans les entreprises privées. Au Québec, les ministères comptaient en 2008 plus de 60 évaluateurs, alors que dans l’ensemble du Canada, on en relevait 497 en équivalents temps complet (Secrétariat du Conseil du trésor du Canada, 2011).

Les débouchés en termes d’emploi relèvent de la fonction publique, des organismes privés à but lucratif ou du domaine communautaire, et du milieu universitaire. Les organismes publics, à l’échelle locale, provinciale et fédérale, voire internationale, ont en effet des postes à la disposition des évaluateurs au niveau doctoral. Dans l’administration publique centrale, des groupes de recherche en évaluation comme le Centre d’Excellence en Évaluation du secrétariat du Conseil du Trésor offre des débouchés pour les diplômés de troisième cycle.

Des postes de gestionnaires avec un doctorat sont également disponibles. À titre d’exemples, un directeur de l’évaluation dans une organisation fédérale est docteur, et des fondations, telles qu’ «Avenir enfants», recrutent des gestionnaires détenant un doctorat ou, à défaut, des dizaines d’années d’expérience. D’autres organisations provinciales, l’Institut national de santé publique du Québec (INSPQ), les Directions de santé publique (DSP), les Agences de santé et de services sociaux, l’Agence d’évaluation des technologies et des modes d’intervention en santé (AETMIS), devenue l’Institut national d’excellence en santé et services sociaux (INESS) depuis janvier 2011, et les organisations internationales (par ex., l’OCDE et la Banque Mondiale) offrent elles aussi des débouchés aux doctorants en évaluation.

Les centres affiliés universitaires, institutions de soins et de services de santé avec une orientation en recherche, permettent à de jeunes chercheurs d’occuper des postes de responsables des évaluations à mener sur leur territoire de desserte, tel le Centre de santé et de services sociaux Bordeaux Cartierville. En plus des postes de chercheur-évaluateur dans les centres universitaires, centres affiliés universitaires, directions de santé publique, les universités offrent des emplois de professeur en évaluation (ÉNAP, Université de Sherbrooke, Université de Montréal). À ces emplois en évaluation s’ajoutent les chaires de recherche en évaluation (CREVAJ, Chaire de recherche du Canada en évaluation et amélioration du système de santé à l’Université de Sherbrooke et celle en évaluation des technologies de la santé à l’Université de Montréal) et les groupes de recherche sur le thème de l’évaluation (CREXE, PErfEval, Regroupements thématiques majeurs sur les systèmes de santé (RTM3) et sur le transfert des connaissances (RTM 5) de l’Institut de recherche en santé publique de l’Université de Montréal).

Les débouchés pour les diplômés de troisième cycle en évaluation soulignent l’importance de fournir des professionnels avec les compétences requises. Ce bassin de futurs professionnels et chercheurs de niveau de troisième cycle peut raisonnablement être formé dans le contexte actuel où déjà plusieurs formations de deuxième cycle sont dispensées. Ces formations revêtent diverses formes : formations éclair de quelques jours axées sur les compétences essentielles en évaluation définies par la SQÉP et la SCÉ, formations de quelques semaines (par ex., la formation IPDET de l’ÉNAP) ou plus longue de quelques années (M.Sc., DÉSS) dispensées à la fois en formation continue pour des professionnels ou des chercheurs en exercice, et en formation initiale pour des futurs praticiens ou chercheurs. Ceci laisse présumer un potentiel pour une demande de formation doctorale en évaluation. De plus, la professionnalisation des évaluateurs à travers le titre d’évaluateur agréé de la SCÉ exerce un incitatif pour les formations de deuxième cycle et, ultimement, de troisième cycle.

L’atteinte d’une masse critique d’évaluateurs formés devrait permettre de générer certains bénéfices, tout d’abord dans les organisations pour lesquelles ils travaillent. Ainsi, les évaluateurs contribuent à supporter la prise de décision avec des données probantes, fournissent des données sur les forces et les faiblesses des programmes en cours, proposent des recommandations pour des pistes d’action futures. Selon l’approche évaluative choisie, des bénéfices stratégiques peuvent aussi découler de processus participatif avec des décideurs auprès de populations vulnérables (Patton, 2010). Par ailleurs, les organisations gèrent leurs activités sur la base d’une gestion axée sur les résultats où l’évaluation alimente le cycle décisionnel et la planification des actions à venir. Ces bénéfices instrumentaux des évaluations pour les organisations, notamment les administrations publiques ou privées, participent de la pertinence sociale.

Pertinence institutionnelle

Le troisième critère justifiant l’intérêt d’une formation de troisième cycle en évaluation est la pertinence institutionnelle. Elle consiste à montrer qu’il existe dans l’environnement du programme des leviers, des ressources et des expertises nécessaires pour assurer la pérennité et la qualité du projet pédagogique.

La recherche en évaluation dans les universités est marquée par un intérêt constant des étudiants. En effet, les étudiants dans les programmes et cours d’évaluation sont actifs à travers les publications étudiantes dans les journaux avec facteur d’impact, les sujets de doctorat sur l’évaluation, l’obtention de bourses internes aux programmes de troisième cycle en évaluation (par ex. AnÉIS), de bourses des chaires de recherche ou des centres d’expertise en évaluation (chaire de l’Université de Sherbrooke en évaluation, CREXE à l’ÉNAP, PerfEval à l’Université Laval, etc.), de bourses externes en évaluation (IRSC, CRDI), la participation à des universités d’été en évaluation et aux conférences nationales et internationales en évaluation, l’inscription à des cours et séminaires avancés en évaluation, la participation au prix SEEK (Student Excellence advancing Evaluation Knowledge) de la SCÉ ou du Fonds de la Société canadienne d’évaluation pour l’éducation. Ce ne sont là que quelques exemples.

Les forces internes facilement mobilisables pour les formations de recherche en évaluation comprennent notamment des professeurs établis dans le domaine, mieux encore des professeurs récipiendaires de prix de contribution à l’évaluation (prix canadien pour la contribution à l’évaluation au Canada de la SCÉ, prix de Reconnaissance de la SQÉP pour contribution exceptionnelle à l’avancement de la pratique de l’évaluation de programme). Certains professeurs sont aussi des auteurs de publications dans les journaux en évaluation, de développement de cadre d’analyse en évaluation ou encore de livres sur l’évaluation, et mènent des évaluations à l’échelle provinciale, nationale ou internationale démontrant une expertise pratique en évaluation et sur les étapes de déroulement d’une évaluation. La pérennité d’une formation en évaluation au niveau doctoral se doit d’être, de surcroît, assurée par la disponibilité des cours pertinents requérant peu de coûts supplémentaires majeurs de création pour les universités, la disponibilité d’une masse critique tant actuelle que future d’étudiants, de professeurs et de chercheurs en évaluation. L’offre de cours et d’encadrement, tant dans la diversité des cours que dans l’expérience des professeurs et dans les ressources à mobiliser (professionnels, praticiens, etc.), fournit des conditions propices à l’établissement d’une formation de qualité et pérenne au sein du doctorat.

Pertinence systémique

Le quatrième critère justifiant l’intérêt d’une formation de troisième cycle en évaluation est la pertinence systémique ; selon ce critère, il faut démontrer que la formation en évaluation contribue au positionnement stratégique du programme et de l’institution d’accueil par rapport aux autres offres existantes.

L’absence de compilation internationale systématique des programmes en évaluation rend difficile une recension exhaustive de l’offre de formations doctorales en évaluation. Néanmoins, l’information disponible indique que l’offre au troisième cycle est disponible et publicisée pour quelques pays, soit les États-Unis, l’Afrique du Sud, le Canada et Israël. La majorité des formations offertes aux futurs chercheurs sont proposées dans une discipline unique. Aux États-Unis, aucun programme universitaire en évaluation ou comportant une spécialisation en évaluation n’existe dans le domaine de la santé (LaVelle & Donaldson, 2010). Au Canada, il s’en trouve notamment dans le domaine de la santé, en épidémiologie et en analyse de services, organisations et systèmes de santé principalement, outre ceux en agriculture, psychologie clinique et éducation. Les formations interdisciplinaires qui débordent un département ou une faculté sont rares. Le programme de Ph. D. interdisciplinaire en évaluation de la Western Michigan University fait figure d’exception. Au Canada, la majorité des programmes concernés au niveau doctoral incorporent, pour la plupart, quelques cours d’évaluation au sein d’une spécialisation, proposent une concentration en évaluation (par ex., l’Université Laval) ou sont dispensés en parallèle à un programme complémentaire menant à une codiplomation, tel le programme complémentaire en Analyse et évaluation des interventions en santé (AnÉIS) à l’Université de Montréal. Il importe de souligner qu’aucune offre de formation de type Ph. D. n’est principalement dédiée à l’évaluation au Canada. Le tableau 1 recense les formations doctorales en évaluation d’intervention au Canada.

Tableau 1

Formations de troisième cycle en évaluation d’intervention au Canada

Formations de troisième cycle en évaluation d’intervention au Canada

* nd = non disponible

**sources : Réseau québécois des universitaires en évaluation (ReQUE) Inventaire des cours et formations en évaluation de programme 2013 ; Consortium of Universities for Evaluation in Education, Consortium of Universities for Evaluation Education (CUEE) Project: Research on Evaluation Education at the Graduate Level in Canadian Universities, 2009.

-> Voir la liste des tableaux

Dans la santé, la recherche en évaluation semblerait largement pertinente : la santé, au Québec seulement, représente plus de 40 % du budget. Les interventions en santé sont largement sujettes aux évaluations pour les programmes de prévention, les réformes organisationnelles, la prise en charge des patients, etc. Les interventions en santé sont par ailleurs de plus en plus mobilisées sur des interventions transdisciplinaires, telles l’évaluation du plan de lutte contre la pauvreté, l’évaluation de l’implantation de stratégies bio-alimentaires, etc. Les formations doctorales en évaluation en santé au Canada sont disponibles dans quelques universités, à savoir celles de British Columbia, Montréal, Toronto, Victoria, Waterloo et Western Ontario.

Certains positionnements stratégiques à envisager pour développer des formations doctorales en évaluation au Canada seraient, pour la santé, de renforcer l’offre de cours en évaluation au sein de programmes existants, de diversifier le champ d’application des cours en dehors du département d’appartenance du programme de doctorat ou d’opter carrément pour un doctorat en évaluation.

Intégrer théorie et pratique dans les formations de troisième cycle en évaluation

La nature des besoins de connaissances et de compétences est variée ; pour y répondre, différentes formations de troisième cycle peuvent être envisagées. Il importe de définir d’abord ce qu’on entend par une formation de troisième cycle en évaluation, afin de mieux montrer ensuite l’articulation entre la théorie et la pratique et en faire ressortir les principaux défis.

Une formation de troisième cycle en évaluation : qu’est-ce ?

Un troisième cycle constitue une formation de haut niveau, qu’on associe le plus souvent à l’avancement des connaissances théoriques et généralisables, dans un domaine ou une discipline particulière. Dans le cas de l’évaluation d’intervention, ce type de contribution se manifeste, par exemple, par une avancée conceptuelle ou méthodologique et correspond à ce qu’on retrouve chez les professeurs et les chercheurs universitaires, titulaires d’un Ph. D., Dr. of Science ou d’un Sc. D.. L’évaluation d’intervention se prête parfaitement bien à une telle formation doctorale dite de recherche, à la fois par l’ouverture vers de nouvelles questions ou de nouvelles façons d’envisager des problèmes et par la spécialisation qu’elle procure à la discipline de base. Une formation doctorale de recherche en évaluation inclut une connaissance théorique approfondie du domaine de l’évaluation d’intervention ainsi qu’une expérience pratique acquise au cours de la thèse. La nature théorique du doctorat de recherche est ici complétée par la mise en application d’aspects théoriques lors d’activités de recherche.

Il est possible cependant d’imaginer d’autres types de contribution, à caractère davantage appliqué ou pratique, mais reposant sur des habiletés techniques tout aussi poussées et complexes en plus d’une excellente connaissance du domaine de l’évaluation. C’est ce qu’on retrouve habituellement chez les détenteurs d’un doctorat professionnel tels les D. P. H. (Dr. Public Health) ou les D. B. A. (Dr. Business Administration), par exemple. Cette formation de troisième cycle vise les praticiens qui souhaitent pousser plus loin leur connaissance d’un domaine et réfléchir activement à leurs activités. En évaluation d’intervention, ce type de formation pourrait être le fait soit d’évaluateurs d’expérience, soit de praticiens ayant conduit maintes consultations visant à porter un jugement sur des interventions quelconques sans nécessairement connaître le domaine de l’évaluation comme tel. Dans un cas comme dans l’autre, la formation de troisième cycle représenterait une occasion d’apprentissage et d’approfondissement d’un domaine, occasion nourrie par l’expérience antérieure. Il s’agirait donc moins de contribuer à l’avancement des connaissances théoriques typiques d’un Ph. D., mais davantage de construire une nouvelle connaissance, plus approfondie, à partir d’acquis pratiques, appliqués, dans un but d’avancement de la pratique personnelle.

À ces deux profils s’ajouterait un troisième, constitué celui-là aussi de praticiens mais souhaitant cette fois-ci acquérir une formation de pointe de haut niveau et les compétences nécessaires à la pratique de l’évaluation, dans un but de diversification ou de réorientation des activités. La formation de troisième cycle viendrait ainsi compléter un bagage de connaissances et d’expériences dans un domaine autre que l’évaluation, par un contenu et éventuellement une expertise spécifique à ce dernier. Chez des détenteurs de maîtrise, ayant déjà des habiletés en recherche (par ex., méthodes quantitatives, qualitatives et analytiques), il devient possible d’offrir une formation de courte durée, de type microprogramme par exemple, plus attrayante pour ces détenteurs de maîtrise parce que de troisième cycle.

Ces trois profils répondent à des besoins de connaissances et de compétences variés, ainsi qu’à des résultats différents à l’issue de la formation.

Intégrer théorie et pratique

Si l’on systématise la réflexion précédente, il est possible de concevoir la formation en évaluation au niveau du troisième cycle en fonction de trois composantes : le but visé à travers la formation, la composante disciplinaire et l’expérience antérieure en évaluation. Chacune de ces bases touche implicitement ou explicitement l’intégration entre théorie et pratique.

Le tableau 2 classe les trois profils définis ci-dessus en fonction de ces composantes.

Tableau 2

Types de formation de troisième cycle en évaluation en fonction du but de la formation, de la base disciplinaire et de l’expérience antérieure en évaluation

Types de formation de troisième cycle en évaluation en fonction du but de la formation, de la base disciplinaire et de l’expérience antérieure en évaluation

-> Voir la liste des tableaux

But visé par la formation

Le but visé par la formation conditionne le type de formation recherché. Une gradation ascendante existe dans l’expertise acquise au sortir de la formation, allant de l’acquisition de compétences davantage techniques à travers une formation de pointe de type microprogramme, aux compétences théoriques propres aux universitaires et caractérisant les tâches académiques habituelles d’enseignement et de recherche, à travers le doctorat de recherche. Ces niveaux d’expertise touchent tous aux cinq grands volets de compétences en évaluation définis par la SCÉ[10], à savoir les volets professionnel, opérationnel, contextuel, gestion de la démarche et relations interpersonnelles. Il est possible de penser qu’il existe une progression dans le niveau de maîtrise des concepts sous-tendant ces compétences et l’expertise avec laquelle celles-ci se manifesteront, selon que le but visé par la formation passe de technique à technique réflexif, puis de celui-ci à théorique.

Pour le niveau technique, il s’agit de maîtriser les compétences de base de façon à satisfaire aux exigences de la SCÉ pour obtenir, si désiré, le titre d’évaluateur accrédité. Étant de troisième cycle, la formation de type microprogramme amène plus loin l’étudiant, et ce, de deux façons. D’une part, pour être admis au microprogramme, ce dernier doit posséder une bonne connaissance théorique et pratique des méthodes de recherche acquise lors de sa formation de maîtrise. Le microprogramme construit sur ces acquis, en exigeant de l’étudiant une souplesse dans le choix des approches, devis et méthodes en fonction des questions d’évaluation, résultant d’une compréhension poussée de leurs avantages et limites et d’un haut niveau d’habileté technique. Cette souplesse devra être démontrée de façon explicite dans le travail terrain effectué par l’étudiant, à travers l’adéquation entre la formulation de la question d’évaluation et les choix méthodologiques, de même que la justification qui en est faite par l’étudiant. D’autre part, tout en procurant les compétences de base de l’évaluateur, la formation voit à inculquer aux étudiants une connaissance approfondie de l’évaluation en tant que discipline, au-delà d’un aperçu des grandes approches en évaluation de programme à travers une analyse critique et comparative de ces approches et leur application dans la pratique. Les choix techniques, les approches évaluatives et les méthodologies sont ici l’objet de réflexion. Dans son travail terrain, l’étudiant doit démontrer qu’il comprend bien ces approches et justifier le choix de l’une plutôt que les autres dans la conduite d’une évaluation en situation réelle.

Le niveau technique réflexif pousse plus loin l’expertise, en amenant les étudiants à adopter une posture critique face aux pratiques évaluatives et à l’exercice du rôle d’évaluateur. En plus de l’atteinte d’un haut niveau technique, une formation de type doctorat professionnel conduit à une pratique réflexive, c’est-à-dire à examiner de façon critique les postulats sur lesquels reposent les pratiques, l’impact de ces pratiques et, plus généralement, ce qui constitue de bonnes pratiques (Cunliffe, 2004). Dans le cas de l’évaluation, ceci implique de développer une capacité de porter un jugement sur l’évaluation, donc en quelque sorte d’évaluer l’évaluation elle-même. Scriven (2000) propose des points de réflexion pour guider ce jugement sur chacune des étapes du processus évaluatif depuis la préparation du plan d’évaluation jusqu’à la rédaction du rapport. La pratique évaluative est ici l’objet de la réflexion. Elle devra explicitement être discutée de façon critique dans la thèse de l’étudiant, qui fera état d’un travail empirique d’évaluation d’une intervention spécifique.

Le niveau théorique se distingue nettement des deux autres par la contribution qu’il est censé apporter aux connaissances dans le domaine de l’évaluation en tant que discipline. Puisque l’évaluation est ici l’objet de la réflexion, il est attendu de l’étudiant des développements disciplinaires sur le plan des fondements théoriques de l’évaluation, des méthodes utilisées ou de la pratique elle-même. Ces développements reposent ainsi sur une compréhension approfondie de la discipline, en plus des habiletés techniques de haut niveau. L’évaluation se distingue également par la maîtrise des compétences requises pour l’accréditation en tant qu’évaluateur: aucune exigence en ce sens n’est formulée. Il n’est donc pas nécessaire d’être évaluateur accrédité ou de le devenir pour faire avancer les connaissances dans cette discipline, tout comme il n’est pas nécessaire d’être gestionnaire ou de l’avoir été pour détenir un Ph. D. en gestion et réfléchir sur celle-ci. Soulignons toutefois qu’un vécu de la pratique évaluative en situation renforce parfois la pertinence, la profondeur, la portée, voire la crédibilité d’une recherche sur le sujet.

La base disciplinaire

Tel que mentionné dans la pertinence systémique de formation de troisième cycle en évaluation, il n’existe à l’heure actuelle aucune offre de formation doctorale principalement dédiée à l’évaluation au Canada. Quelques-unes existent aux États-Unis, dont le Ph. D. interdisciplinaire en évaluation de la Western Michigan University, mis sur pied pour répondre à la demande et aux besoins grandissants d’évaluateurs de haut niveau (Coryn, Stufflebeam, Davidson, & Scriven, 2010). La particularité de ce programme est l’exigence d’une double spécialisation durant les études doctorales chez les étudiants, l’une en évaluation et l’autre, dans une discipline académique de leur choix telle que l’informatique, l’économie, les sciences infirmières, les sciences politiques, l’administration scolaire, la sociologie ou les statistiques. En plus de l’évaluation, les étudiants sont tenus de s’inscrire dans une discipline additionnelle, d’où l’appellation de Ph. D. interdisciplinaire.

L’évaluation est qualifiée par certains de «transdiscipline» (Donaldson & Christie, 2006), dans la mesure où, un peu comme l’épidémiologie, elle constitue un coffre à outils et propose un ensemble de méthodes propices à l’examen de problèmes au sein d’une autre discipline. De la même façon, on peut concevoir, tant en évaluation qu’en épidémiologie, que la majeure partie des recherches qui s’y font sont de nature essentiellement appliquée, sans nécessairement de contribution au développement de l’évaluation ou de l’épidémiologie comme disciplines. Il s’agit, dans la majeure partie des cas, d’applications des méthodes et des outils évaluatifs ou épidémiologiques au développement d’une autre discipline. La contribution primaire de ces recherches se fait alors à l’autre discipline.

À l’inverse, on peut imaginer, dans une formation de troisième cycle en évaluation que la contribution primaire se fasse à la discipline évaluative, avec une deuxième discipline comme domaine d’application. Dans une telle perspective, l’offre de formation dépendrait alors de la base disciplinaire des acquis, c’est-à-dire de la formation antérieure et du besoin d’acquérir des connaissances dans une discipline. C’est cette perspective qui est retenue ici, et ce, considérant d’une part la réalité des formations en épidémiologie et, d’autre part, la nécessité de mener des évaluations sensibles au contexte. Ces deux aspects sont développés ci-dessous.

En ce qui concerne le premier point, tel que mentionné ci-dessus, les formations doctorales en épidémiologie n’ont aucune exigence de double spécialisation. Elles consistent uniquement en un approfondissement de la discipline épidémiologique, que le gradué se doit de maîtriser totalement. Curieusement, le plus souvent, la contribution primaire n’est pas l’avancement des connaissances ou le développement méthodologique au sein de l’épidémiologie, mais se situe plutôt dans la discipline d’application (par ex., en cancer, en maladies infectieuses, etc.). Plus rarement, la contribution primaire se fera-t-elle à l’épidémiologie elle-même ? La limite majeure de cette approche consistant à ne pas exiger de double spécialisation est la dépendance de la qualité des travaux envers la solidité de la formation antérieure des étudiants. Il arrive ainsi, dans certains cas, que des études épidémiologiques produites par les étudiants de ces programmes soient d’une excellente qualité méthodologique, pour ce qui est des outils et des méthodes épidémiologiques, mais soient par ailleurs a-théoriques et présentent de graves lacunes quant à la conceptualisation de l’objet d’étude, par exemple en organisation des soins de santé ou encore en promotion de la santé. Ce commentaire se transpose directement à l’évaluation.

Le deuxième point, portant sur la nécessité de mener des évaluations qui tiennent compte du contexte, a longuement été débattu dans la littérature en évaluation. De nombreux travaux ont démontré l’influence des contextes sur le degré d’implantation des interventions, de même que l’interaction entre ces contextes et les interventions elles-mêmes dans la production de leurs effets (voir par ex., Brousselle, Champagne, Contandriopoulos, & Hartz, 2009; Chen, 2005). Il en est ressorti une reconnaissance unanime de cette nécessité, qui se traduit par tout un ensemble de compétences à acquérir par les évaluateurs et regroupées dans un volet dit contextuel, où l’accent est mis sur l’analyse et l’inclusion dans les évaluations des contextes dans lesquels prennent place les interventions, de même que la prise en considération des points de vue de l’ensemble des détenteurs d’enjeux. Pour ce faire, il importe par conséquent de connaître non seulement la nature de l’intervention à évaluer, mais de tenir compte également des contextes se rapportant à l’intervention, ce qui requiert une connaissance approfondie des cadres théoriques pertinents, propres à la discipline d’application.

Les deux points développés ci-dessus mettent en lumière la nécessité d’une appartenance disciplinaire au moment de l’entrée dans un programme d’évaluation d’intervention au troisième cycle. Une gradation dans les exigences existe cependant selon le type de formation recherchée, qui vont ici aussi en s’accroissant selon que l’on passe du microprogramme au doctorat professionnel, puis au doctorat de recherche.

Ainsi, à la fin d’une maîtrise et au moment de l’entrée au microprogramme, les étudiants ont habituellement acquis un certain bagage disciplinaire qu’ils utilisent dans l’exercice de leur profession, quelle qu’elle soit. Ceci est en général suffisant pour mener des évaluations solides, de bonne qualité et sensibles au contexte à la fin de leur formation en évaluation.

Une connaissance disciplinaire similaire serait adéquate également chez les praticiens attirés par un doctorat professionnel, d’autant plus qu’à celle-ci s’ajoute le plus souvent une vaste expérience dans le domaine d’application, c’est-à-dire dans la discipline de base. Dans le cadre du doctorat professionnel, les étudiants sont appelés à conceptualiser leurs acquis disciplinaires par l’adoption d’une posture critique et réflexive, tel que discuté précédemment. Par conséquent, à la fin de la formation de troisième cycle, la connaissance disciplinaire s’en trouve grandie. Chez ces gradués, la contribution primaire se fera à la pratique, grandie elle aussi par la formation, soit de l’évaluation chez les évaluateurs de profession, soit de la discipline de base chez les autres. La contribution primaire dépend ici de l’expérience antérieure en évaluation. Cet aspect est discuté dans la section suivante.

Ces exigences deviennent accrues lorsqu’il s’agit d’un doctorat de recherche, conduisant à une carrière académique d’enseignement et de recherche ou encore de chercheur dans un domaine appliqué. Il est attendu ici à ce que le gradué d’un doctorat de recherche en évaluation maîtrise à la fois une discipline de base et la discipline de l’évaluation. En accord avec Stufflebam (2001) et Coryn et al. (2010), les auteurs pensent essentielle la connaissance d’une discipline autre que l’évaluation. Cependant, contrairement à eux, les auteurs du présent article croient qu’une connaissance disciplinaire de deuxième cycle suffit. Au besoin, l’étudiant pourra voir sa scolarité doctorale accrue.

Expérience antérieure en évaluation

Cette troisième composante touche directement la pratique et son intégration avec la théorie. D’entrée de jeu, il importe de préciser que tous les candidats souhaitant acquérir une formation de troisième cycle en évaluation doivent soit posséder un minimum d’expérience en évaluation, soit à tout le moins démontrer un questionnement explicite, pertinent au domaine.

Qu’entend-on par là, cependant ? De façon générale, les travaux menés dans le domaine de la santé peuvent être répartis en deux groupes : les recherches à caractère étiologique et les recherches évaluatives. Beaucoup de recherches en santé portent effectivement sur des questions d’évaluation, très souvent sur l’efficacité ou l’efficience d’interventions. Rarement cependant se réfèrent-elles à la littérature en évaluation. Il en découle souvent une absence de réflexion sur la posture paradigmatique, par exemple positiviste, néo-positiviste, interprétative ou constructiviste (Champagne, Contandriopoulos, & Tanon, 2004 ; Deschenaux & Laflamme, 2007), adoptée implicitement, et une perspective biaisée en faveur de détenteurs d’enjeux au détriment de certains moins présents ou plus démunis (Butterfoss, Francisco, & Capwell, 2001 ; Hurteau, Houle, & Mongiat, 2009; Suarez-Herrera, Springett, & Kagan, 2009), ou encore l’adoption d’une approche traditionnelle d’évaluation ou de diffusion des résultats ayant une faible probabilité d’impact (Alkin, Christie, & Rose, 2006 ; Mark & Henry, 2004 ; Patton, 2010 ; Robinson & Cousins, 2004). Il est donc possible de distinguer parmi la clientèle visée par un programme de troisième cycle en évaluation deux types d’étudiants : ceux qui auront une expérience de recherche, de consultation ou de travail concernant certaines compétences d’évaluation et ceux ayant travaillé comme évaluateurs. Les premiers viendront chercher les compétences propres à la conduite d’évaluations solides et sensibles au contexte, et les seconds, une systématisation et une rigueur dans les approches utilisées intuitivement.

Tout comme pour le but visé par la formation et la base disciplinaire, il existerait une gradation dans les exigences d’expérience antérieure en évaluation. Cette gradation s’applique pour le microprogramme et le doctorat professionnel : l’expérience acquise peut se manifester à des degrés divers en termes d’étendue ou de profondeur au moment de l’entrée dans ces deux types de formation de troisième cycle. Il est ainsi attendu des candidats attirés par un doctorat professionnel qu’ils aient une expérience de travail importante, alors que celle-ci peut se révéler variable chez les candidats au microprogramme. La situation diffère chez ceux visant un doctorat de recherche, dans la mesure où l’expérience antérieure constitue rarement un préalable à l’admission dans un domaine mais où la thèse, donc la mise en application de la théorie, représente la majeure partie du parcours doctoral.

Et la pratique dans tout cela ?

L’évaluation d’intervention est par définition un domaine appliqué, visant à résoudre des problèmes pratiques dans un but d’aide à la décision (Brousselle et al., 2009). Cette préoccupation est fort bien traduite dans la démarche de professionnalisation de l’évaluation d’intervention en tant que pratique professionnelle, régie par certaines exigences conduisant à l’agrément par un organisme reconnu, tel que la SCÉ au Canada. L’évaluation comporte ainsi deux aspects : la discipline et la profession (Fitzpatrick, Christie, & Mark, 2009; LaVelle & Donaldson, 2010). Par définition, elle implique donc une interdépendance entre ces deux aspects, soit entre la théorie et la pratique, l’une ne pouvant s’exercer sans l’autre. Cette interdépendance est mise en lumière par la gradation existant entre les types de formation de troisième cycle et les trois composantes que sont le but visé par la formation, la base disciplinaire et l’expérience en évaluation.

La pratique occupe une place importante dans tous les types de formation de troisième cycle discutés ici, bien que revêtant une forme variable, elle aussi fonction d’une gradation allant en s’accroissant selon l’accent mis sur la pratique. Il est ainsi possible d’ajouter une quatrième composante au tableau 2, reflétant cette fois la place et la forme qu’occupe la pratique par rapport à la théorie dans le travail terrain selon le type de formation :

  • Microprogramme : pratique > théorie

  • Doctorat professionnel : pratique ≈ théorie

  • Doctorat de recherche : pratique < théorie

Dans un microprogramme, la pratique est clairement prépondérante dans la mesure où le microprogramme vise à former des praticiens d’un niveau qu’il est possible de qualifier d’intermédiaire, par analogie à des cadres intermédiaires en gestion. Le doctorat professionnel donnera des praticiens de niveau supérieur aptes à porter un jugement sur leurs actions, tels des cadres supérieurs, et à recourir davantage aux données probantes et aux cadres théoriques pertinents. Les uns comme les autres demeureront fortement néanmoins impliqués dans l’action au sortir de la formation. L’action se situera à un autre niveau chez les titulaires de doctorat de recherche, leur contribution devant avant tout aller vers l’avancement des connaissances en évaluation, donc vers la théorie.

Conclusion

Cet article a proposé un argumentaire en faveur de l’instauration de programmes de troisième cycle en évaluation, reposant sur une intégration de la théorie et la pratique. Trois types de formation sont présentés, soient le microprogramme, le doctorat professionnel et le doctorat de recherche. Toujours présentes, la théorie et la pratique s’y articulent différemment, variant en fonction du but visé, de la discipline de base et de l’expérience antérieure en évaluation.

L’argumentaire développé a été illustré à l’aide d’un cas, celui de l’évaluation d’interventions dans le domaine de la santé, afin de mieux mettre en lumière les éléments pertinents. Cependant, les arguments déployés paraissent interchangeables et généralisables à n’importe quel autre domaine dans lequel une formation de troisième cycle s’avère pertinente.