Corps de l’article

Programmes universitaires professionnalisants au Québec et en Europe

Plusieurs écrits font mention d’une tendance vers la professionnalisation des formations universitaires au Québec et en Europe (Crespo, 2013 ; Henry et Bournel Bosson, 2014). Par professionnalisation, il faut entendre « une tendance vers l’ajustement aux besoins du marché du travail reflétée dans le choix des programmes de formation fait par les étudiants » (Crespo, 2013, p. 4). Pour ce qui est du contexte européen, le processus de Bologne semble avoir impulsé la création de programmes professionnalisants à l’instar des licences professionnelles en France (1999) et des foundation degrees en Angleterre (2001).

Au Québec, de tels programmes relèvent des collèges postsecondaires et des universités par le biais des unités conventionnelles d’enseignement et des unités d’éducation continue[2]. Ces dernières offrent, bon an mal an, un éventail de formations qui couvrent divers cycles d’études (premier cycle et/ou cycles supérieurs), types de programmes (délivrance d’une attestation pour les programmes courts et/ou sanction d’un grade universitaire pour les programmes dits conventionnels) et modalités de validation des enseignements reçus (programmes crédités et/ou non crédités).

Évaluation de programmes universitaires au Québec : état des lieux

Dans plusieurs pays, l’évaluation de programmes universitaires incombe à des organismes indépendants, par exemple le Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur en France. Au Québec, l’évaluation de programme revient aux universités, qui souscrivent, depuis 1991, à la politique de la Conférence des recteurs et des principaux des universités du Québec (CREPUQ, devenue le Bureau de coopération interuniversitaire). Dans les faits, cette politique a pour objectif d’uniformiser et de baliser la pratique évaluative :

«  L’évaluation périodique des programmes d’études universitaires relève de la responsabilité de chaque établissement. Cependant, tous ont convenu d’orienter leur processus respectif de façon concertée dans le cadre de la Conférence des recteurs et des principaux des universités du Québec (CREPUQ). C’est ainsi que fut adoptée, en 1991, la Politique des établissements universitaires du Québec relative à l’évaluation périodique des programmes existants, communément appelée la Politique de la CREPUQ »

CREPUQ, 2004, p. 5

Force est de constater que seuls les programmes qui confèrent un grade universitaire sont soumis aux exigences de la CREPUQ. Nonobstant, le Conseil supérieur de l’éducation (2012) « recommande aux universités de se doter, si ce n’est déjà fait, […] de procédures d’évaluation périodique des programmes ne menant pas à un grade et de rendre celles-ci publiques » (p. 82). Cela s’applique, entre autres, aux unités d’éducation continue qui offrent des programmes courts analogues aux microprogrammes, aux modules et aux certificats.

Présentation d’une unité universitaire d’éducation continue au Québec et de l’évaluation de l’environnement de ses programmes

Cet article prend pour toile de fond la Faculté de l’éducation permanente de l’Université de Montréal, qui offre des formations professionnalisantes et majoritairement multidisciplinaires à des étudiants aux modes d’apprentissage non traditionnels (profil type des apprenants : des femmes adultes qui travaillent à temps plein et qui étudient à temps partiel). Notons par ailleurs qu’il s’agit de programmes de premier cycle universitaire allant des programmes courts au baccalauréat.

Afin de répondre aux besoins spécifiques de cette unité à vocation professionnalisante, la conduite d’évaluations neutres et externes aux programmes par des professionnels a été retenue. Conforme aux exigences de la CREPUQ, l’évaluation de l’environnement d’un programme repose sur une étude de terrain effectuée auprès de secteurs d’activité, de milieux professionnels et d’acteurs clés :

« Une analyse rigoureuse du programme devrait s’appuyer sur […] les consultations menées auprès des étudiants, des diplômés, des professeurs concernés, des employeurs et des personnes de l’extérieur qui s’intéressent de près au programme »

CREPUQ, 2004, p. 19

L’évaluation de l’environnement sert de complément à l’évaluation périodique des programmes, qui revient aux responsables de programme et qui comprend, entre autres, l’évaluation des résultats d’apprentissage et des enseignements.

À terme, les données récoltées concourent à évaluer la pertinence sociale et interne (destinataires, critères d’admission, objectifs et structure des programmes, intitulé/contenu des cours, formats d’enseignement) des programmes. Rappelons que l’objectif est d’informer les membres de la direction[3] et d’alimenter les responsables de programme sur la réalité et les besoins des milieux professionnels (Université de Montréal, 2015). Ultimement, les responsables de programme enrichissent leur argumentaire en statuant sur les données présentées dans les rapports d’évaluation de l’environnement des programmes.

Distinction entre le rôle du chercheur et du conseiller en évaluation de programme

Diverses études qui se sont intéressées aux praticiens de l’évaluation font état d’une méconnaissance des théories de l’évaluation (Dubois et Marceau, 2005), d’un recours à des « théories spontanées » de l’évaluation (Shadish, Cook et Leviton, 1991 ; Tourmen et Droyer, 2013), de l’emploi de méthodes de collecte des données « simplistes » et « routinières » (Péladeau et Mercier, 1993), de l’attrait pour les données quantitatives sous couvert de fiabilité (Lanarès, 2016 ; Jorro, 2015), d’une dépendance aux exigences managériales faisant fi des finalités de la démarche d’évaluation (Dubois et Marceau, 2005) et d’un manque de professionnels formés en évaluation (Hurteau, 2009).

À la lueur de ces données, il a été jugé utile de circonscrire le rôle du conseiller en évaluation de programme. En principe, les tâches réalisées par un chercheur et par un conseiller en évaluation convergent sur un point : l’adoption d’une démarche scientifique (Rossi et al., 2003 ; Nadeau, 1988 ; Jorro, 2009 ; Scriven, 1996 ; Newcomer et al., 2015). De l’avis de Nadeau (1988) :

« L’éducation est un domaine où l’on ne peut tolérer, ni se contenter d’une évaluation informelle à cause des conséquences, quant à l’avenir des étudiants, que pourraient avoir des jugements de valeur hâtifs, intuitifs et non basés sur les données les plus objectives et valides possibles »

p. 35

Pour ainsi dire, l’importance accordée aux choix de l’approche théorique, d’une méthodologie de travail, d’une modalité d’interprétation des données et d’une conduite éthique fait partie de la démarche scientifique.

En revanche, l’évaluation de programme diffère de la recherche, en ce sens où les données ne sont pas généralisables (Nadeau, 1988), où la visée est pratique (Patton, 2015 ; Levin-Rozalis, 2000) et où les délais de réalisation sont restreints (Levin-Rozalis, 2000). Même si les données relatives à l’évaluation de l’environnement d’un programme ne peuvent être généralisées, le conseiller en évaluation est toutefois en mesure de relever des tendances et de soulever des enjeux.

Cela dit, le Gabarit d’évaluation de l’environnement des programmes ne permet pas de généraliser les résultats à l’ensemble des formations offertes dans l’unité à l’étude, mais de mieux saisir les enjeux propres à un programme afin d’avancer des pistes de réflexion et d’action. Selon les prévisions de Smits et Leduc (2013) :

« L’atteinte d’une masse critique d’évaluateurs formés devrait permettre de générer certains bénéfices, tout d’abord dans les organisations pour lesquelles ils travaillent. Ainsi, les évaluateurs contribuent à supporter la prise de décision avec des données probantes, fournissent des données sur les forces et les faiblesses des programmes en cours, proposent des recommandations pour les pistes d’action futures »

p. 61

Méta-évaluation d’anciens rapports d’évaluation de l’environnement des programmes : une étape nécessaire à l’élaboration du gabarit

L’élaboration d’un gabarit d’évaluation de l’environnement des programmes a représenté un défi de taille : celui de s’adapter à des champs disciplinaires et à des formats variés (modes présentiel, hybride et à distance). À bien des égards, la méta-évaluation de rapports d’évaluation antérieurement réalisés sur l’environnement externe des programmes est apparue comme étant nécessaire. Comme la définit Scriven (1991) :

« La méta-évaluation est l’évaluation des évaluations – indirectement, l’évaluation des évaluateurs – et représente une obligation éthique aussi bien que scientifique lorsque le bien-être d’autrui est impliqué »

p. 228, trad. libre

La méta-évaluation a servi à l’identification d’une problématique et d’objectifs communs aux divers programmes, sans oublier de prendre en considération la nature formative et les finalités de ce type d’évaluation (Newcomer et al., 2015). La question se pose en ces termes, à savoir : Est-ce que les formations offertes dans cette unité d’éducation continue sont arrimées à la réalité des milieux professionnels ?

Les objectifs permettent quant à eux de saisir les changements (technologiques, socioéconomiques, législatifs, stratégiques et organisationnels) qui ont marqué les secteurs d’activité ; l’impact de ces changements sur les professionnels cibles (contexte de travail, tâches réalisées) ; les critères conditionnels à leur embauche (formation, compétences et expérience professionnelle requises) ; la pertinence des critères d’admission au programme ; et la formation jugée adéquate à l’exercice de leur fonction (cycle d’études, type de programme, destinataires, critères d’admission, objectifs et structure du programme, intitulé des cours et format d’enseignement).

Pour ce qui est des hypothèses de travail, elles peuvent soit émerger de la revue de littérature, soit provenir du responsable de programme. (Par exemple, une baisse des inscriptions pourrait être ainsi causée soit par la création d’un programme passerelle DEC-bac, soit par un décloisonnement d’activités professionnelles données dans un écosystème en pleine mutation). Notons que des critères et objectifs d’évaluation balisent l’analyse afin de ne pas être tributaires des intérêts des milieux professionnels.

Cadre théorique du Gabarit d’évaluation de l’environnement des programmes

Comme le préconise Jorro (2009), c’est avec réflexivité que le cadre théorique du Gabarit d’évaluation de l’environnement des programmes (résumé au tableau 1 en annexe) a été sélectionné :

« La connaissance théorique n’est pas une fin en soi ; elle permet au praticien d’agir avec pertinence et efficience, par exemple d’approfondir une réflexion sur une démarche évaluative ou encore de penser de façon globale la mise en place d’un dispositif d’évaluation »

p. 224

L’intention n’est pas la mesure de résultats ni la validation d’une théorie donnée, mais la compréhension des programmes et de leurs environnements respectifs (Jorro, 2009)[4].

La question et les objectifs ont servi de base à l’identification d’un cadre théorique puisé à même divers « noyaux durs » théoriques (Dubois et Marceau, 2005). Il s’agit précisément des théories constructiviste (Guba et Lincoln, 1989 ; Patton, 1997) et postpositiviste (Campbell et Stanley, 1966 ; Cook et Campbell, 1979 ; Scriven, 1980 ; voir Tableau 1). Ce choix « hybride » se traduit par une approche qui se veut principalement déductive (problématique, hypothèse de travail, critères et objectifs d’évaluation préétablis) et qualitative. Concernant l’aspect qualitatif, Péladeau et Mercier (1993) rappellent que « l’évaluation qualitative serait de même plus adéquate lorsque l’évaluation est réalisée à des fins formatives ou exploratoires, ou dans le but de développer une théorie de l’intervention » (p. 115).

En outre, des sources statistiques sont recueillies et la place est laissée aux données empiriques émergeant du terrain. Comme l’observent Péladeau et Mercier (1993) :

« Bien souvent, une des méthodologies s’avère nettement prédominante, tandis que la seconde assume un rôle plus accessoire pour clarifier ou enrichir les résultats obtenus par la première (Lipsey, Cordray et Berger, 1981 ; Trend, 1979) »

p. 117

En procédant à une analyse critique des données qualitatives et quantitatives, le conseiller en évaluation peut ainsi se prévaloir d’une certaine indépendance face à son objet d’étude.

Pour ce qui est de la méthodologie de travail, le Gabarit d’évaluation de l’environnement des programmes recommande aux conseillers en évaluation de programme de suivre les cinq étapes suivantes.

Étape 1 : recherche documentaire

Plusieurs études attestent que les conseillers en évaluation sont souvent étrangers au domaine étudié, d’où l’importance d’une recherche documentaire exhaustive (Rossi et al., 2003 ; Péladeau et Mercier, 1993). Le gabarit d’évaluation ici présenté s’est employé à baliser la recherche documentaire du conseiller en évaluation de programme et à recenser un certain nombre de sources documentaires incontournables (publications scientifiques, rapports ministériels, documents produits par des ordres professionnels) en vue de l’obtention de données probantes (Stufflebeam et Coryn, 2014).

En définitive, la revue de littérature guide le travail du conseiller en évaluation de manière à ce qu’il puisse saisir les enjeux propres à une famille d’interventions (en lien avec un secteur d’activité, un milieu professionnel), pondérer les données empiriques (Péladeau et Mercier, 1993), établir des priorités (selon les orientations ministérielles ou les exigences émises par des ordres ou associations professionnels) et soumettre des pistes de réflexion et d’action.

Étape 2 : triangulation des données

De ce cadre théorique découle un choix méthodologique qui est arrimé aux finalités du Gabarit d’évaluation de l’environnement des programmes (Newcomer et al., 2015 ; Nadeau, 1988). Autrement dit, « le choix de la méthode doit se faire en fonction de la problématique, des buts de l’investigation, du type et de la quantité d’information à recueillir, des auditoires devant être servis, des contraintes et des caractéristiques du milieu » (Nadeau, 1988, p. 48). La triangulation des méthodes de collecte des données donne lieu à une analyse détaillée, contextualisée et pondérée de l’environnement des programmes (Denzin et Lincoln, 2011 ; Patton, 2015).

D’une part, il est apparu utile de concevoir un guide d’entretien semi-directif qui soit aligné au Gabarit d’évaluation de l’environnement des programmes, lui-même orienté par une problématique, par des critères et par des objectifs d’évaluation. Pour ce qui est du choix des questions ouvertes, il permet de recueillir un maximum de données et d’ouvrir la voie à de nouvelles avenues induites par le terrain (Boutin, 1997). Il s’ensuit une transcription quasi intégrale des entrevues semi-directives afin d’illustrer l’analyse des données (Péladeau et Mercier, 1993), d’être le plus fidèle possible aux réponses des répondants et d’éviter tout biais interprétatif.

Rappelons que la qualité des entrevues semi-directives dépend de la capacité du praticien à faire preuve d’une écoute active, ce qui signifie recadrer le répondant au besoin (apporter une précision sur le secteur d’activité et/ou la catégorie professionnelle dont le propos fait l’objet), demander un complément d’information (au sujet de pratiques professionnelles, de règlements en vigueur) et/ou souligner d’éventuelles contradictions. Quant au temps requis, il oscille entre 45 minutes et 1 h 30 afin d’assurer un contenu de qualité et de susciter une construction réflexive chez le répondant (pondération des besoins).

D’autre part, c’est au moyen de données quantitatives que le conseiller en évaluation est à même de dresser le portrait des étudiants inscrits au programme (statistiques colligées à l’interne par la passation d’un questionnaire annuel aux étudiants), le profil de sortie des diplômés (taux d’employabilité, secteurs qui recrutent, catégories professionnelles en demande) ainsi que les caractéristiques (démographiques, règlementaires, organisationnelles, économiques et technologiques) des milieux professionnels concernés.

Étape 3 : sélection d’un échantillon représentatif

La sélection d’un échantillon représentatif (Newcomer et al., 2015 ; Péladeau et Mercier, 1993) répond non seulement aux finalités du mandat dont l’étude fait l’objet, mais également aux recommandations émises par la CREPUQ (2004) :

« Quelle que soit la forme de consultation retenue (entrevue, groupe de discussion ou questionnaire), on doit s’assurer du caractère représentatif de chaque catégorie de personnes interrogées et analyser les résultats avec soin »

p. 19

Dans un premier temps, il importe de dresser le portrait statistique des destinataires du programme, de leur répartition géographique (clientèle non desservie), des secteurs d’activité/types d’organisations qui recrutent (profil de sortie), de leur répartition géographique (secteur non desservi), des départements/unités concernés (département/unité non desservis) et des professionnels visés par l’évaluation (catégorie professionnelle non desservie).

Une fois cette étape réalisée, le conseiller en évaluation est apte à cibler les lieux de cueillette de l’information et les répondants. Péladeau et Mercier (1993) témoignent de la popularité de cette démarche :

« L’utilisation qui semble la plus courante consiste à se référer aux résultats d’enquêtes ou de sondages au moment du processus de sélection des personnes ou des groupes qui feront l’objet d’une étude qualitative approfondie »

p. 120

Quant au choix du répondant, il s’agit généralement d’un supérieur hiérarchique qui est à même d’exercer un regard critique sur son secteur d’activité et sur son organisation, et qui se trouve être au fait des tâches réalisées par la/les catégorie(s) professionnelle(s) cible(s).

Étape 4 : conduite éthique en évaluation de programme

L’adoption d’une conduite éthique en évaluation de programme fait consensus chez les experts du domaine (Patton, 2015 ; Christians, 2011 ; Scriven, 1996). Elle comprend le consentement éclairé (expliquer la démarche au répondant, aviser que l’entrevue fera l’objet d’un enregistrement, proposer l’envoi du questionnaire au préalable) ; le respect de la confidentialité (tant pour le répondant que l’employeur) ; la neutralité du conseiller en évaluation (quant au choix du cadre théorique, de la recherche documentaire, de la méthodologie, de l’échantillon et de la modalité d’interprétation des données) ; et la transparence de ce dernier vis-à-vis du responsable de programme.

La transparence est de mise vis-à-vis du responsable de programme afin d’assurer une collaboration des plus fructueuses. À la première rencontre, le conseiller en évaluation explique en quoi consistent l’évaluation de l’environnement d’un programme et son rôle dans le processus (prévenir l’ingérence), puis précise le temps imparti à cette tâche (éviter les demandes irréalistes). Dans un second temps sont abordés les enjeux propres au programme et les pistes à explorer qui seront confrontées aux données empiriques et à la revue de littérature.

Finalement, le conseiller en évaluation adopte une posture impartiale, qui consiste à éviter tout parti pris en lien avec le sujet à l’étude, à tester les idées parfois préconçues des responsables de programme et à identifier des voeux pieux pouvant être émis par certains répondants. Cette problématique a été abordée par Scriven (1996), qui stipule :

« L’évaluation des besoins doit bien faire la distinction entre un besoin et un désir, un besoin de rendement et un besoin de traitement, un besoin et un idéal, un besoin satisfait et non satisfait, etc. »

p. 160, trad. libre

Étape 5 : modalité d’interprétation des données

L’échantillon étant restreint à 10 organisations et le temps de réalisation des évaluations de l’environnement des programmes étant limité à 2 mois (en raison du nombre de conseillers en évaluation, des programmes à évaluer dans l’unité et de la périodicité des évaluations), il aurait été irréaliste d’axer l’analyse sur la mesure de variables dépendantes et indépendantes. Sur ce point, Nadeau (1988) estime que :

« Ce contrôle présente peu d’intérêt pour l’évaluateur. Il suffit à ce dernier de savoir qu’un ou plusieurs aspects connus du programme sont responsables des résultats obtenus, sans plus. […] Le contrôle expérimental est fondamental dans la recherche, alors qu’il ne l’est pas dans l’évaluation »

p. 41

Une analyse descriptive des programmes et de leurs environnements respectifs a donc été privilégiée (Rossi et al., 2003 ; Scriven, 1996). Celle-ci est ponctuée de catégories d’analyse qui 1) sont constituées à partir de thèmes récurrents, 2) s’inscrivent dans des chapitres et sous-chapitres préétablis, 3) sont illustrées par des citations et nuancées par un croisement de données pour souligner des récurrences et/ou des besoins spécifiques à un secteur d’activité, à un type d’organisation, voire à une catégorie professionnelle. À l’occasion, des pratiques innovantes sont isolées puisqu’il appartient au responsable de programme de juger, entre autres, de la pertinence sociale et disciplinaire d’un programme.

Évaluer l’écart entre la formation offerte et la réalité des milieux : critères et objectifs d’évaluation

Afin de mesurer l’écart entre la formation offerte (pertinence interne du programme) et la réalité des milieux professionnels (pertinence sociale du programme), ce gabarit suggère l’emploi de critères d’évaluation et d’objectifs qui leur sont afférents. Si certains critères s’alignent sur ceux de la CREPUQ (2004), d’autres sont adaptés à la réalité de l’unité universitaire d’éducation continue à l’étude. Au final, six critères (détaillés aux tableaux 2 à 7 en annexe)ont été retenus pour évaluer la pertinence des formations de l’unité, soit : 1) les objectifs de formation ; 2) le cadre règlementaire ; 3) les compétences ; 4) la structure du programme, l’intitulé et le contenu des cours[5] ; 5) la concurrence institutionnelle et interuniversitaire ; et 6) le format d’enseignement. Notons que les ressources matérielles (nécessité de maîtriser un logiciel particulier), l’orientation pédagogique (importance de développer l’approche réflexive des futurs diplômés) et la pertinence disciplinaire ne sont que sommairement traités par le conseiller en évaluation.

Conclusion

Nombre d’experts en évaluation soulignent l’importance de penser les outils d’évaluation en fonction de leurs finalités ainsi que des contextes institutionnel et organisationnel dans lesquels ils s’inscrivent (unité universitaire d’éducation continue, présence de conseillers en évaluation, réalisation d’évaluation de l’environnement des programmes). Destiné aux conseillers en évaluation, le Gabarit d’évaluation de l’environnement des programmes : 1) relève d’une démarche scientifique (choix du cadre théorique, de la méthodologie de travail, d’une modalité d’interprétation des données et d’une conduite éthique), 2) répond à ses finalités évaluatives (aide à la prise de décision, évaluation formative, amélioration continue des programmes) et 3) précise les limites de l’analyse disséminée dans le rapport d’évaluation de l’environnement des programmes (délai de réalisation restreint, visée pratique, données non généralisables).

En règle générale, il a participé à assurer la fiabilité des données colligées, à harmoniser les pratiques à l’interne et à les rendre plus efficaces (conception d’un guide d’entrevue et d’un rapport d’évaluation type avec des chapitres, des critères et des objectifs d’évaluation préétablis). Le but étant de proposer des pistes d’action et de réflexion aux membres de la direction et aux responsables de programme par une bonne compréhension des programmes universitaires concurrentiels ainsi que des réalités professionnelles et sectorielles afférentes.