Article body

Depuis les années 1990, les universités des pays industrialisés ont été le théâtre de mutations profondes touchant à la fois les programmes, le financement, la gouvernance interne et les mécanismes d’évaluation et d’accréditation (Bruno, Clément et Laval, 2010; Lorenz, 2012). Dans un rapport récent de l’Institut de recherche et d’informations socio-économiques (IRIS), Éric Martin avance que le principe cardinal de ces changements consisterait à faire de l’université « non plus une institution indépendante au service du bien commun, mais une organisation modelée sur les autres organisations économiques (entreprises), et pilotée en fonction des mécanismes de régulation du nouveau “marché” mondial de l’enseignement supérieur globalisé » (Martin, 2016; Vinokur, 2014). Sur la base d’une étude de cas portant sur l’Université de Montréal, il insiste surtout sur le fait que ces changements sont parés par leurs promoteurs des atours de l’inévitable. Dans cette perspective, les responsables politiques et universitaires devraient accompagner ces changements pour permettre aux institutions d’enseignement supérieur de leur pays de se maintenir dans la concurrence internationale.

Dans leur ouvrage Les grandes universités de recherche, Robert Lacroix et Louis Maheu présentent une série d’énoncés visant justement « à mettre en place des politiques qui faciliteront une telle mutation » (p. 12) – présentée comme inévitable – pour contrer une catastrophe appréhendée. Cet ouvrage aux allures académiques prétend offrir aux responsables politiques et universitaires des analyses rigoureuses sur la base desquelles développer leur action à l’endroit des institutions d’enseignement supérieur. Il nous arrive également auréolé d’appuis de grands personnages du monde académique dont le sociologue Alain Touraine, qui prédit même que ce livre « devrait provoquer une explosion deux fois plus forte » que celle déclenchée par la publication des classements internationaux des universités en 2003, qui avait « fait l’effet d’une bombe dans les universités de recherche du monde entier » (quatrième de couverture). Il est également paru en anglais aux Presses McGill-Queen’s. Pour rassurer les lecteurs anxieux à la vue des mots « explosion » et « bombe », disons tout de suite qu’au terme de notre travail de déminage et de désamorçage, la bombe s’avérera n’être qu’un pétard mouillé…

Devant l’importance appréhendée d’un tel ouvrage, on comprendra qu’il mérite une grande attention de la part de tous ceux et celles qui ont quelque expertise sur la question de la recherche universitaire et ont aussi à coeur l’avenir de nos universités. Si, comme semblent en convenir les auteurs, la rigueur de la démonstration est ce qui garantit le bien-fondé des recommandations qui en découlent, il est d’autant plus important d’éprouver les analyses proposées, l’ouvrage risquant d’être pris au sérieux par ceux et celles qui se laisseront impressionner par les petites phrases élogieuses de la quatrième couverture ou la multiplicité des tableaux chiffrés. De plus, certains se diront aussi qu’un ancien recteur (Lacroix) et un ancien doyen (Maheu), qui ont fait carrière à l’université de Montréal, sont sûrement des experts sur les questions d’enseignement supérieur et se contenteront de conclure qu’il est maintenant « prouvé » qu’il faut réformer les universités pour les rendre « compétitives » au plan international. Pour contrer cette impression, il nous faudra donc aller dans le détail de l’argumentation des auteurs pour montrer les sérieuses failles méthodologiques et logiques de l’ouvrage, lesquelles invalident la plupart de leurs conclusions. Celles-ci, loin d’être fondées sur des données probantes, ne sont en fait que la réaffirmation de postulats idéologiques fondés sur la « compétition », postulats qui semblent d’ailleurs imperméables aux démentis empiriques et à la complexité et la diversité du monde universitaire.

Après avoir résumé la structure de l’ouvrage, nous expliquerons pourquoi il ne nous semble pas répondre à l’objectif qu’il s’était fixé, à savoir l’identification des facteurs de réussite des universités dans les classements internationaux. Nous montrerons également que les conclusions tirées par les deux auteurs ne découlent nullement d’un argumentaire fondé sur des données probantes. En somme, les propositions des auteurs sont plus performatives que descriptives ou explicatives de la réalité. Elles visent en effet à faire advenir un état du monde conforme à leurs croyances (un système fondé sur le marché et la compétition) en le présentant comme la conclusion logique et même inéluctable d’une analyse des données chiffrées.

La thèse centrale de l’ouvrage est que les « universités de recherche » ont un rôle unique à jouer dans le système d’enseignement supérieur et même dans les systèmes nationaux de recherche des pays les plus développés. Les auteurs entendent « y voir plus clair et mieux comprendre ce qui fabrique, sous divers horizons nationaux, le destin des universités de recherche » (p. 10). Ils disent vouloir identifier, plus précisément, les facteurs qui expliquent la domination de certaines universités (surtout américaines et britanniques) dans les classements internationaux des universités de recherche. Les auteurs soutiennent qu’il est possible d’identifier de tels facteurs de réussite en se concentrant sur les quatre pays qui dominent les classements internationaux (États-Unis, Angleterre, Canada, France). Pour préparer le terrain, le chapitre 1 offre un survol rapide de l’histoire des universités de recherche dans le monde à partir du 19e siècle. Ces vignettes historiques n’apportent rien d’essentiel à l’objectif central de l’ouvrage. On les laissera ici de côté car l’espace nous manque pour en montrer les nombreuses faiblesses. Le chapitre 2 présente les différents classements internationaux des universités pour conclure que le classement ARWU, plus connu sous le nom de « classement de Shanghai », est le plus stable et donc le plus fiable pour déterminer quelles sont les « universités de recherche de calibre mondial » (p. 56). Le chapitre 3 étudie la distribution des pays dans ce classement pour identifier les plus performants. Les chapitre 4 à 7 présentent et analysent respectivement les systèmes d’enseignement supérieur et de recherche américain, britannique, canadien et français, en suivant le même plan : bref historique, structures et caractéristiques des systèmes, acteurs en présence et gouvernance. Le chapitre 8 propose un « cadre d’analyse élargi », plutôt répétitif en regard de ce qui précède. Il est suivi d’une conclusion générale, sous la forme d’une discussion de « quelques défis majeurs qui marqueront indéniablement le futur immédiat des universités de recherche » (p. 277).

Peut-on faire dire n’importe quoi aux classements?

La problématique centrale de l’ouvrage tient, on l’a dit, à une analyse des facteurs explicatifs de la position des universités dans les classements internationaux. C’est dire que tout l’édifice de l’ouvrage repose sur la croyance en la validité de ces classements. Pour y introduire, Lacroix et Maheu rappellent brièvement, au chapitre 2, les origines des divers classements et se concentrent sur les deux plus importants au niveau international, soit l’Academic Ranking of World Universities (ARWU) et le Times Higher Education Supplement (THES). Ils concluent que ce sont des outils utiles, que le THES est fiable seulement depuis 2010 (on y reviendra) mais qu’ils préfèrent ARWU qui est plus stable. Les auteurs font preuve de peu de distance critique à l’endroit de ces classements, dont l’essentiel de la force sociale tient pourtant à la méconnaissance de leurs conditions de production et des limites qui y sont attachées (Salmi et Saroyan, 2007). Ils se contentent, en fait, de reprendre les discours officiels des producteurs de classements et écrivent, par exemple, que « pour les jeunes à la recherche d’une bonne formation universitaire comme pour les employeurs désireux de recruter une excellente main-d’oeuvre, les informations relatives à la performance des universités gagnaient en importance stratégique » (p. 26). Tout en admettant au passage que les critiques des classements « ne sont pas sans fondement » (p. 29), ils restent convaincus de leur validité sur la base d’un argument que l’on pourrait dire de « gros bon sens » : si ces classements allaient « à l’encontre de la perception des gens informés de la chose universitaire » (p. 29), alors « [o]n comprendrait mal aussi pourquoi leur influence sur le choix des étudiants et le comportement des universités va en croissant. Les étudiants, les parents, et même les gouvernements les reçoivent plutôt bien » (p. 29). Il est d’ailleurs curieux que, plus loin dans l’ouvrage, ils affirment que « le classement du THES d’avant 2010 n’a vraiment aucune valeur » (p. 49). Cela est embêtant car il existe depuis 2004 et a donc fortement influencé les recteurs, les étudiants, les parents, et même les gouvernements qui les « reçoivent plutôt bien », comme l’affirment les auteurs. Ils ne se demandent pas pourquoi un classement sans valeur a tout de même eu autant d’influence auprès « des gens informés de la chose universitaire » pendant 5-6 ans, alors que ces derniers étaient sûrement « bien informés » comme le postule la vision économique de l’agent rationnel (homo economicus) qui sous-tend l’ouvrage.

Quoi qu’il en soit de la rationalité supposée des dirigeants académiques, dont la simple action de prendre les classements au sérieux confirmerait de façon circulaire leur valeur et leur validité, la question scientifique demeure : où sont les données qui confirment ces affirmations sur l’usage par les parents et étudiants? Aucune n’est mentionnée par les auteurs. Or, il s’avère qu’une enquête de 2015 montre que seulement 15 % des étudiants internationaux connaissent l’existence de ces classements et que parmi ceux-ci seulement 10 % s’en servent pour choisir leur université[1]. C’est donc moins de 2 % des étudiants qui seraient ainsi influencés par ces classements! Ces résultats confirment d’ailleurs ce que l’on sait d’autres classements, dont celui des hôpitaux en France. Ils sont publiés régulièrement mais les études montrent que les malades ne s’en servent pas (Pierru, 2008; Beuscartet al. 2015). Une analyse sérieuse force donc à mieux distinguer la rhétorique performative des promoteurs de classements et la réalité.

Malgré tous ces faits bien établis, on pourra bien sûr toujours tenter de sauver la face (et ses croyances) en disant que ces classements sont « de plus en plus » utilisés, ce qui est encore performatif et constitue une fuite en avant devant la réfutation empirique. On dira aussi que si les dirigeants des universités les prennent au sérieux, c’est qu’ils sont sérieux. La logique à l’oeuvre ici est en fait celle exemplifiée dans le conte de l’écrivain Hans Christian Andersen, « Les habits neufs de l’Empereur » (Gingras, 2014, p. 98-106).

L’absence de véritable prise en compte de l’abondante littérature sur la non validité méthodologique des classements, mène parfois à des explications tautologiques. Les auteurs peuvent ainsi écrire que c’est le « besoin d’information des consommateurs à satisfaire » (p. 26) qui a engendré l’apparition des classements et préciser qu’ils ont d’abord émergé aux États-Unis « parce que c’est dans ce pays que le besoin d’une telle information était le plus grand » (p. 27). Or, aucune mesure indépendante d’une telle demande n’existe. On peut penser, par analogie à d’autres types de classement (Bourdieu, 1984, p. 275-286), que ce sont plutôt les journaux (US News and World Report et THES, entre autres) qui ont vu un marché potentiel et ont ainsi créé la demande, qui, on vient de le voir, n’affecte qu’une infime proportion des étudiants visés. Le fait même que ces journaux (et organisations dans le cas d’ARWU) publient les classements chaque année alors qu’il est impossible que des variations significatives surviennent en si peu de temps, suggère clairement que ce sont bien les producteurs de classements qui tiennent à ces annonces annuelles pour hausser leurs ventes et se donner de la visibilité – et nullement les « besoins » des étudiants ou des parents. On sait en effet que le choix d’une université se fait d’abord, au premier cycle tout au moins, en fonction de la distance à l’université (Drewes et Michael, 2006)[2]. Cela explique d’ailleurs le fait que l’Université de Montréal ait choisi de construire un édifice à ville de Laval, juste au bout de la ligne de métro (station Montmorency), qui est pourtant à seulement un peu plus de trente minutes de la station Université de Montréal…

Ouvrir la boîte noire

Bien que toute leur analyse des « déterminants » de la qualité des universités repose sur les résultats des classements ARWU et THES, les auteurs ne se posent pas vraiment la question de la validité des indicateurs retenus et de leur pondération. Ils tiennent pour acquis qu’ils sont valides et se contentent de les décrire sans se demander si ces indicateurs – censés, rappelons-le, mesurer la qualité des universités – mesurent bien ce qu’ils prétendent mesurer. Ainsi, ils affirment (sans citer aucune étude) que l’édition 2010 du classement « repose sur un nombre plus large d’indicateurs » que les années précédentes, « et [qu’]elle s’avère nettement améliorée quant à leur fiabilité » (p. 45). Or, la fiabilité des différents indicateurs n’a nullement été démontrée. Pour cela, il faudrait tester la corrélation entre des mesures indépendantes de la variable visée (la qualité) ou analyser de près la signification réelle de la mesure : cela n’a pas été fait. Ainsi, à défaut de réaliser ce travail de vérification de la qualité des mesures, nous nous retrouvons face à une énorme tautologie : la qualité est mesurée par la présence dans le classement et donc être dans le classement signifie être de qualité « mondiale ».

Or, si l’on se penche sérieusement sur les indicateurs et leur combinaison, on voit qu’ils sont inadéquats à leur objet. Les auteurs ne disent rien de la pondération, dont l’importance est pourtant cruciale car il est connu que le poids attribué à chaque variable est arbitraire et que le modifier affecterait le classement obtenu (Gladwell, 2011). Car il ne suffit pas de dire que les « poids choisis sont toujours un peu arbitraires » (ce qui est inexact) pour régler le problème, et encore moins de dire que ce sont ceux qui sont mal classés qui les critiquent. Les auteurs ne discutent pas non plus du problème que représente le fait de combiner des indices qui n’ont rien en commun. Or, la valeur douteuse de tous les indicateurs choisis a été démontrée dans une littérature abondante que les auteurs ne maîtrisent pas, même s’ils disent avoir présenté les « principales critiques faites » au classement de Shanghai (p. 35)[3]. Confirmant le caractère en quelque sorte magique de la croyance aux classements, ils concluent curieusement qu’une « importante littérature existe sur le sujet et continue de s’enrichir tous les jours sans, semble-t-il, atténuer l’intérêt porté à ce classement annuel » (p. 35). Ils n’offrent cependant aucune explication à cet intérêt supposé, alors qu’il est assez évident qu’il est avant tout médiatique (et ne dure généralement que 24 heures) et ne préoccupe en fait que les dirigeants des universités visées (Martin et Ouellet, 2012; Charlier, Croché et Leclercq, 2012).

Les auteurs concluent le chapitre 2 en écrivant à propos d’ARWU que « nos analyses nous ont montré que ce classement était plus stable et plus fiable » que le THES (p. 50). Ils confondent ici la stabilité des résultats et leur fiabilité. Or, il est parfaitement évident que les deux caractéristiques sont indépendantes : des classements non fiables pouvant être stables. La seule chose que les auteurs ont réussi à montrer, c’est que les classements annuels d’ARWU varient moins que ceux du THES. Cela ne prouve en rien la fiabilité des résultats obtenus, laquelle demande une analyse de la validité des indicateurs choisis. Il suffit de rappeler le choix de l’indicateur des prix Nobel : cet indicateur est totalement inadéquat étant donné que ce prix est décerné des décennies après la découverte réalisée par le ou les récipiendaires. Qui peut croire que le Nobel de 1985, reçu par un chercheur pour des travaux réalisés en 1965, nous dit quelque chose de la qualité d’une université en 2015?

L’indigence de l’analyse atteint un sommet lorsque les auteurs sont confrontés à des démentis empiriques imparables. Ainsi, à propos du « nombre de professeurs et d’étudiants internationaux comme indicateur de la qualité d’un établissement » (p. 37) retenu par THES, ils écrivent que « Steiner trouve même dans son étude empirique qu’il n’y a pas de corrélation entre l’indicateur du caractère international du corps professoral ou des étudiants et ceux reflétant la performance académique, sauf pour les grandes universités privées américaines » (p. 37). Mais ils ajoutent aussitôt : « Il n’en demeure pas moins qu’une université qui attire un grand nombre de professeurs et d’étudiants internationaux doit sûrement exercer un certain attrait en termes de qualité et d’excellence et aussi une ouverture sur le monde. Ces deux traits sont caractéristiques d’une grande institution universitaire » (p. 37, nous soulignons). En somme, insensibles aux démentis empiriques, les auteurs restent sur des positions qui ne sont fondées sur rien de tangible et dont le caractère idéologique est ainsi confirmé. En fait, ce que les auteurs ne semblent pas comprendre ici est qu’il s’agit de définir un indicateur. Or, pour être valide[4], un indicateur doit avoir un certain nombre de propriétés techniques, dont celle de la proportionnalité directe : tout comme, sur un thermomètre, 40 degrés est plus chaud que 20 degrés, 60 % de professeurs « internationaux » devrait donc être mieux que 20 %. Et ce que Steiner (Steiner, 2007) prend la peine de montrer par une étude statistique, c’est que le pourcentage de professeurs étrangers ne suit pas une telle règle. Il suffit pour le comprendre de noter que les universités d’anciennes colonies ont souvent davantage de professeurs étrangers (car elles ne peuvent les former sur place) que les grandes universités américaines comme Harvard qui peuvent compter sur leurs propres diplômés (considérés comme les meilleurs!) ou ceux des autres grandes universités américaines. Ainsi, une proportion très élevée de professeurs étrangers est plutôt le signe d’une dépendance que d’une grande qualité. Le fait d’avoir une grande proportion de professeurs étrangers ne veut rien dire en lui-même et n’est donc pas un indicateur valide de la « qualité » de l’institution et de ses programmes de formation. Il en va de même pour la proportion des étudiants étrangers, dont la présence dépend aussi de l’histoire des relations internationales, dont celles entre métropoles et anciennes colonies. Cela explique facilement le résultat de Steiner qui n’a rien de mystérieux ou de surprenant.

Un « modèle explicatif » qui n’explique rien

Le coeur de la thèse des auteurs est présenté au chapitre 3 de l’ouvrage, sous la forme d’un « modèle explicatif » (p. 53). L’un des auteurs étant économiste, l’usage de l’expression « modèle explicatif » peut donner l’impression que ce chapitre présentera une analyse statistique avec régression (linéaire ou autre), liant la position dans les classements aux cinq variables choisies (population, PIB, PIB par habitant, dépense intérieure de recherches et développement (DIRD), proportion de la population ayant une formation universitaire et « densité économique », soit le produit des deux premières variables). Selon les auteurs, ces variables « joueront un rôle déterminant dans la dynamique de développement des universités de recherche et dans leur répartition entre pays » (p. 54). Bien qu’il soit affirmé d’emblée que ces variables « joueront » (notons l’usage du futur…) un rôle central, on cherche en vain une telle preuve dans la suite de l’ouvrage, la partie intitulée « Résultats empiriques » ne présentant en fait que deux tableaux (3.2 et 3.3) montrant les valeurs des variables par pays et nullement une analyse statistique des liens entre ces variables et le nombre ou la proportion des universités classées.

Partant, l’expression de « modèle explicatif » relève plus de l’abus de langage que de la démonstration scientifique. Tout le raisonnement est en fait inversé : ayant postulé que la « densité économique » doit expliquer l’existence d’universités de calibre mondial et observant que le Japon, par exemple, en a moins que prévu par cette variable, les auteurs concluent que ce pays souffre de nette sous-performance (p. 60). En plus d’être circulaire, l’argument se limite à la variable dite de « densité économique » (bien qu’elle n’ait pas les dimensions d’une densité) et l’on se demande pourquoi les auteurs ne font aucune analyse statistique (régression logistique multiple) sur l’ensemble des variables retenues pour établir lesquelles expliquent une partie de la variance dans les classements des universités. C’est pourtant la seule façon de vraiment identifier les facteurs explicatifs d’un phénomène multidimensionnel. Les auteurs parlent aussi de leur « variable synthèse » mais il faudrait d’abord montrer le poids de chacune des autres avant de dire que cette variable constitue une « synthèse ». En fait, ce travail statistique a déjà été fait de façon rigoureuse par B. Cantwell et B. J. Taylor (2013) dans une étude qui ne porte que sur les universités américaines (mais comme elles sont dominantes dans les classements cela est très éclairant). Ils montrent que les seules variables ayant un effet statistiquement significatif sur les classements d’ARWU sont le caractère privé de l’université, les revenus de R&D en provenance du gouvernement fédéral américain et la proportion des doctorats produits en sciences et technologie. En effet, ces facteurs sont les plus explicatifs pour la simple et bonne raison que le classement d’ARWU se fondant essentiellement sur les publications scientifiques et les citations, il ne peut qu’être fortement corrélé avec les revenus de recherche et la production de doctorants en sciences, qui sont essentiels (tout comme les post-doctorants) pour la production de publications. Comme le classement ARWU ne couvre bien que les sciences dures, on comprend que la proportion des doctorats dans ces domaines soit importante. Par conséquent, les variables choisies par les auteurs sont à la mauvaise échelle : ce sont les intrants de R&D des institutions qui expliquent leur présence dans le classement, et non pas leur appartenance à un pays ou un autre.

Un autre problème majeur de ce « modèle explicatif » tient au fait que le raisonnement est circulaire : les auteurs définissent les universités de « calibre mondial » par la présence dans le classement ARWU. Or, les universités françaises y étant peu présentes, ils concluent que « la France a des résultats plutôt problématiques » (p. 61). Mais comme ils se placent au niveau global du pays, ils pourraient aussi se poser la question suivante : comment se fait-il que le Canada ait plus d’universités bien classées que la France? Or cette question n’est pas posée. Pourtant, s’interroger sur ce point peut amener à mettre en doute la validité du classement (Gingras, 2009). En effet, qui peut sérieusement croire que le Canada est globalement meilleur que la France en sciences? La France a eu au cours des dix dernières années de nombreux prix Nobel et de nombreuses médailles Fields (en mathématiques), alors qu’au cours de la même période il y en a très rarement eu au Canada. Comment un tel système d’enseignement supérieur peut-il produire des résultats que le Canada n’atteint pas? En fait, si on mesure les universités de façon rigoureuse sur la seule base des citations par article (normalisées par domaine), on trouve plusieurs universités françaises bien avant les universités canadiennes. Dans le cas des sciences humaines, cela est pire encore en raison du biais anglo-saxon énorme des bases de données utilisées dans les classements (Archambaultet al. 2006). Parler de « sous-performance » (p. 62) n’a pas vraiment de sens ici : une telle affirmation découle d’une analyse superficielle du système de la recherche française. Ce point a été bien relevé par Billaut, Bouyssou et Vincke (2010) : le classement ne tient pas compte de l’histoire et de l’organisation de l’enseignement supérieur dans les différents pays considérés. En France, on trouve parfois des universités souvent spécialisées (telle université regroupe les facultés de sciences, telle autre les facultés de sciences humaines, etc.), des grandes écoles et des organismes de recherche. Or, l’ARWU ne retient que les « universités », ce qui soulève un problème évident. Le prix Nobel français de physique Albert Fert, pour ne citer qu’un exemple, travaillait dans un centre de recherche sous la double tutelle du CNRS et de l’Université Paris-Sud. Or, le CNRS n’étant pas une université, la moitié des points de son prix Nobel ont disparu du classement. On pourrait en dire tout autant pour l’Allemagne. Donc dire que le Canada surperforme est aussi un artefact des indicateurs retenus par le classement ARWU. En effet, les chercheurs canadiens étant à la frontière des États-Unis, ils ont un avantage géographique lié aux fortes collaborations avec des Américains, ce qui contribue à expliquer les résultats obtenus. Soulignons ici que ce qui précède n’est nullement une « justification » de la position des universités françaises mais une explication fondée justement sur une analyse serrée des indicateurs retenus.

En définitive, le « modèle » des auteurs n’est pas testé empiriquement à la lumière des nombreuses données contenues dans leur ouvrage. On ne comprend donc pas comment ils peuvent « tirer quelques conclusions sur l’intérêt de ce modèle de variables macro-économiques et groupes économiques pour donner sens à la répartition entre pays des meilleures universités de recherche de calibre mondial » (p. 62-63). Pour notre part, si on trouve que le thermomètre de la maison indique une température de dix degrés alors qu’on sent bien qu’il en fait vingt, nous croyons qu’il vaut mieux changer de thermomètre avant de se mettre à engager des dépenses majeures pour mieux isoler la maison…

(Faire) l’économie… de la preuve

Constatant que certains pays dépassent ou contredisent les prévisions de leur « modèle », les auteurs s’essayent ensuite à identifier « des traits organisationnels et institutionnels des systèmes nationaux d’enseignement supérieur qui favorisent ou au contraire freinent les rendements et performances d’universités de recherche » (p. 63). Or, qu’il s’agisse des États-Unis, de la Grande Bretagne, du Canada ou de la France, l’analyse des données demeure largement impressionniste.

Soulignant la « surperformance » des universités américaines en regard de ce qui pouvait être attendu dans les termes de l’analyse macro-économique, les auteurs se penchent sur le cas étatsunien au chapitre 4 et essayent d’identifier les caractéristiques particulières du système universitaire susceptibles d’influencer la performance de ses institutions. Pourtant, le passage en revue des différentes caractéristiques retenues (intégration des activités d’enseignement et de recherche, niveau et flexibilité des sources de financement, division du travail académique entre études de premier cycle et études supérieures, etc.) ne prouve rien. Mais, étonnamment, les auteurs écrivent que « ce sont là les caractéristiques institutionnelles qui permettent aux universités qui nous intéressent de se positionner dans les catégories supérieures de rendement des classements des meilleures universités de calibre mondial » (p. 94). Or, ce ton affirmatif, presque péremptoire, ne constitue pas une preuve. Tout au plus, il ne sert qu’à réaffirmer les a priori des auteurs, comme si leur simple répétition pouvait les transformer en preuve. Aucune analyse comparative n’étant faite, il est tout bonnement impossible de tirer de telles conclusions à partir des données. L’ensemble est, encore une fois, tautologique : les universités américaines étant au top des classements, toutes leurs caractéristiques « expliquent » qu’elles soient au top des classements. Seules des analyses de régression rigoureuses permettraient d’identifier les véritables facteurs explicatifs, comme cela a été fait par Cantwell et Taylor (cités plus haut) dans le cas américain. Il s’agit en fait d’une erreur logique classique de type post hoc ergo propter hoc : comme elles ont des graduate schools et sont les meilleures, c’est donc à cause de cette structure qu’elles le sont. Ce raisonnement, bien sûr, ne démontre rien. Toutes les techniques d’analyse statistique ont justement été créées pour éviter de telles erreurs de logique. En outre, les comparaisons entre universités présentées dans les tableaux A-4.1 et A-4.2 (p. 111) concernant les « coûts de fonctionnement par étudiant à temps plein » sont trompeuses car elles ne tiennent pas compte de la différence entre les disciplines. Johns Hopkins a une grande faculté de médecine et le MIT ne couvre que la technologie, alors qu’Harvard est très forte en sciences humaines, donc ses coûts moyens sont évidemment moins élevés que ceux de Johns Hopkins ou Yale. La comparaison en tant que telle ne signifie rien sans ces précisions et donne à ceux qui ignorent ces détails une fausse idée de la distribution des coûts selon les universités. Dernier problème méthodologique majeur : les données utilisées sont globales pour chaque pays alors que la compétition se fait entre des institutions avec leurs ressources propres. Il y a donc un problème d’échelle d’analyse car des données au niveau du pays ne peuvent pas rendre compte des faits observés sur la distribution des institutions.

Les auteurs répètent souvent que « la diversité des sources de revenus demeure tout de même une variable clé pour toute université qui parvient à se démarquer sur le plan international » (p. 139). Or, encore une fois, non seulement cela n’est jamais démontré par une analyse statistique, mais tout porte à croire que c’est faux car les différences entre les types de ressources obtenues sont souvent faibles entre des universités qui ont des classements très différents. Il faudrait encore ici effectuer des tests statistiques pour vraiment confirmer les affirmations des auteurs. Toutes les universités ont en gros accès à trois sources de revenus principales (gouvernement, étudiants et philanthropie). Donc c’est seulement une analyse des différentes distributions de ces sources qui pourrait montrer si cela fait ou non une différence dans les classements. En fait, le montant total a plus d’effet que sa distribution par type de sources, comme l’ont montré Cantwell et Taylor (2013).

Les auteurs affirment aussi que le fait d’avoir une graduate school entraîne qu’une « attention accrue est donc accordée au cheminement et à l’encadrement des étudiants des cycles supérieurs, y compris ceux en formation avancée en recherche, et une plus grande organisation et cohérence académique dans la gestion des programmes » (p. 144). Mais en quoi la simple existence d’une telle École assure-t-elle une attention accrue aux cheminements? Cela n’est pas démontré mais simplement affirmé. Or, rien ne peut être aussi mécanique. Un département est en général près de ses étudiants et peut les encadrer – ou non – indépendamment de l’existence d’une Graduate School qui reste en général plutôt éloignée de la base. Donc, cette affirmation serait à démontrer en invoquant des données ou d’autres études. Quant à la hausse du nombre d’étudiants par professeur, il faudrait montrer si elle a bien eu des effets sur la qualité de la recherche. Or sans de telles analyses empiriques on en reste aux croyances qui forment l’idéologie professionnelle des professeurs selon laquelle la formation en petits groupes est nécessairement meilleure qu’en effectifs plus élevés, ce qui n’a jamais été démontré dans le livre – ni le contraire, bien sûr.

À ce manque de précision s’ajoutent aussi des raisonnements plutôt curieux. Ainsi, les auteurs considèrent que plus on dépense par étudiant, mieux c’est (p. 189). Or, pour démontrer cela, il faudrait d’abord avoir une variable indépendante mesurant la qualité. Car il est évident que simplement dépenser plus d’argent par étudiant ne prouve pas qu’ils seront mieux formés. Il aurait fallu prendre des étudiants de qualité comparable (selon une mesure indépendante des dépenses, cela va de soi) et voir si les institutions sont plus ou moins efficientes. D’un point de vue économique, à qualité égale (extrant), celle qui met le moins d’argent (intrant) est la plus efficiente. À moins de croire que « plus » est par définition « meilleur », ce qui contrevient cependant à la règle de rationalité économique qui exige de mesurer l’efficience non pas par les intrants, mais bien par le rapport extrant/intrant. De ce point de vue, le tableau A-6.4 (p. 204) est édifiant mais peu interprété par les auteurs : il montre que le coût par étudiant de UBC est beaucoup plus élevé que celui de Toronto. Pourtant il est indéniable que Toronto dépasse UBC dans tous les classements utilisés par les auteurs. Logiquement, ils devraient donc en conclure que Toronto est plus efficient. Les auteurs concluent le chapitre sur le Canada en disant avoir montré « comment six multiversités canadiennes réussissent bon an mal an à se faufiler parmi le top 100 des meilleures universités de calibre mondial » (p. 197). Rien de tel n’a été démontré sur le plan causal des facteurs explicatifs. Ils ont simplement décrit ces universités et leurs ressources, somme toute assez comparables, et dont les différences à elles seules ne peuvent expliquer les écarts observés.

Les auteurs affirment que le Canada « en proportion de sa population totale, forme un tiers de moins de doctorats de recherche que les États-Unis » (p. 281). Outre qu’aucune source n’est indiquée, notons que le simple ratio avec la population totale est trompeur. De plus, cette affirmation ne tient pas du tout compte du fait que les États-Unis attirent de nombreux étudiants étrangers, 50 % dans plusieurs programmes. Mais on peut comprendre qu’il soit souvent utilisé de façon stratégique pour promouvoir la croissance des universités. Cependant, il suffit de consulter le rapport statistique de l’OCDE (2015) pour observer que, selon ces données (Table A.3.1), si l’on exclut les étudiants étrangers, on observe que le Canada et les États-Unis produisent la même proportion de doctorats pour le même groupe d’âge[5].

Quoi qu’il en soit, la véritable mesure de la nécessité de former plus de PhD devrait être la capacité de la structure industrielle (et plus généralement de l’économie) de les intégrer. Sinon cela ne peut que générer une surproduction de doctorats et du ressentiment chez les diplômés. Il est d’ailleurs curieux que les auteurs ne discutent jamais sérieusement des pays nordiques, qui sont les mieux classés selon tous les indices de développement humain et de formation de l’ONU alors qu’ils ne s’orientent pas vers le modèle présenté par les auteurs comme le seul pouvant générer des universités de « calibre mondial » (Kalpazidou-Schmidt, 2009). Du reste, les auteurs peuvent aussi écrire que « les mains-d’oeuvre hautement qualifiées, surtout celles, moins nombreuses mais toutefois essentielles, détentrices de formations doctorales avancées en recherche, sont des acquis déterminants pour toute économie et société fondées sur le savoir » (p. 278). Une telle affirmation fait peu de cas du fait que, dans plusieurs domaines, les MA et les MSc sont en fait les grades optimum en termes de revenus et que la survalorisation du PhD peut créer une surproduction de diplômés sous-employés[6].

L’espace nous manque pour montrer les nombreux problèmes de leur « analyse » du cas français, mais force est de constater que le propos des auteurs ne se fait pas plus précis qu’ailleurs dans l’ouvrage et contient là aussi d’importantes erreurs de raisonnement. Notons seulement le fait que la lecture du tableau 7.1 (p. 229) sur le « Financement des dépenses de fonctionnement par source et catégorie d’université » montre que la distribution des fonds par source (donc la diversité) est essentiellement la même pour les deux groupes d’universités (soit les seize universités dites « de recherche » car présentes dans les classements et les autres), ce qui semble clairement réfuter l’idée, mise en avant à maintes reprises dans l’ouvrage, selon laquelle « la diversité des sources de revenus est un atout de taille pour les universités » (p. 225). De plus, le même tableau montre que le groupe des seize universités dites « de recherche » concentre une proportion plus grande du total national des ressources que les autres, ce qui confirme encore les résultats de Cantwell et Taylor (2013) selon lesquels le nerf de la guerre est le montant total de R&D et non la « diversité » des sources.

La rhétorique de la conviction

Plutôt que d’opposer la parole à l’action, il convient de considérer, comme y encourageait le philosophe John Austin (1962) il y a près d’un demi-siècle, que la parole est elle-même une forme d’action. De ce point de vue, tout porte à penser que les auteurs s’emploient ici à un travail d’imposition ce que devraient être l’université et les politiques qui les concernent, conception qui se résume au sous-titre de l’ouvrage : « institutions autonomes dans un environnement concurrentiel ». Pour ce faire, et malgré les apparences, Lacroix et Maheu n’utilisent pas des méthodes d’analyse empirique mais recourent à trois procédés (la répétition, la dichotomisation et la peur) sur lesquels nous nous pencherons maintenant à titre de conclusion.

Sous couvert de présenter « un modèle d’analyse élargi », titre du chapitre 8 de l’ouvrage, les auteurs répètent encore leur thèse centrale, selon laquelle la diversité des bailleurs de fonds des universités, dans des proportions ni trop fortes ni trop faibles, serait une condition déterminante de la percée dans les classements internationaux. Le problème, comme on l’a souligné plus haut, est que ces sources sont les mêmes pour toutes les institutions et que la différence de distribution ne peut rendre compte des différences entre institutions même au sein d’un même pays et encore moins entre pays différents. À cela s’ajoute aussi la répétition des affirmations habituelles sur la « compétition » comme source de qualité, assertions non démontrées par les données recueillies. Il s’agit surtout d’un concentré de convictions somme toute personnelles sur l’importance des « leaders visionnaires et innovateurs à tous les niveaux » (p. 272).

L’accent mis uniquement sur la « compétition » tranche en fait avec la réalité car il clair que, depuis dix ans au moins, la tendance centrale est à la coopération scientifique, thème curieusement absent de cet ouvrage. Or, au Québec et au Canada, dans le domaine des sciences, plus de 50 % des publications sont aujourd’hui issues de collaborations internationales (Gingras, 2011; Maisonobeet al. 2016). C’est donc un phénomène central qui est ici ignoré au profit d’une vision unidimensionnelle de la « compétition » dont les auteurs semblent escompter qu’elle soit considérée comme la seule réalité qui vaille. Compétition qui, du reste, apparaît aussi peu interrogée que la mission des universités, les auteurs semblant prendre celle-ci pour acquise et limitée à être « les meilleurs au monde » dans un système de compétition mondiale. Or, cela mériterait d’être plus expliqué car, en fait, les États ont créé des universités pour répondre d’abord à des besoins nationaux spécifiques, ce qui n’est jamais discuté ou expliqué (Charle et Verger, 2012). À croire que la répétition occupe ici la même fonction que le fétiche en religion : il agit d’autant mieux qu’il occulte son opération réelle, en l’espèce circonscrire le lieu de ce qui devrait vraiment compter, c’est-à-dire la compétition et faire oublier le reste de la réalité.

La rhétorique de conviction, plus que de la démonstration scientifique, s’appuie aussi sur un procédé de dichotomisation quasi caricaturale du monde. Les auteurs opposent les universités de recherche à autocontrôle institutionnel et les universités de recherche à régulation étatique. Dans le cas des premières, ils soulignent qu’elles « se démarquent mieux sur le plan international » (p. 254), sont intégrées dans un « environnement fortement compétitif marqué par des rapports entre elles d’émulation et de concurrence » (p. 258) et doivent compter avec une « régulation étatique [qui] ne semble pas nuire outre mesure à la dynamique d’autocontrôle institutionnel » (p. 262) car « elle ne se substitue pas, bien au contraire, aux rapports compétitifs qu’elles entretiennent entre elles et aux influences de marchés qu’elles doivent maîtriser » (p. 264). À l’inverse, les secondes, dont la France est l’archétype, sont « confronté[e]s aux risques de devoir vivre de longues périodes de sous-financement chronique, puisqu’[elles] sont plus vulnérables aux crises des finances publiques et aux changements d’orientations politiques et idéologiques de l’État » (p. 267). Elles sont placées « sous le joug de modèles bureaucratiques de distribution des ressources freinant leur capacité décisionnelle » (p. 268), payent le prix d’une régulation étatique qui, lorsqu’elle domine, « tend à dérégler l’influence des marchés, et leurs indissociables rapports d’émulation et de concurrence entre institutions » (p. 269). Présenter en conclusion un tel tableau dichotomique et simpliste ne reflète pas des résultats de recherche, mais ne fait que répéter le credo bien connu des auteurs qui, on l’a vu, est imperméable aux démentis empiriques. La foi inébranlable en leur « modèle » explique le ton péremptoire de certaines de leurs affirmations. À la question « Pourquoi des frais de scolarité? », ils répondent : « Tout simplement parce que le premier bénéficiaire de l’éducation reçue est l’étudiant lui-même » (p. 294, nous soulignons). Un esprit curieux pourrait alors se demander pourquoi de nombreuses universités européennes et des pays nordiques n’ont pas de frais de scolarité et découvrir ainsi que le monde n’est pas aussi simple que semblent le croire les auteurs…

En terminant, il faut dire un mot sur la conclusion du volume qui verse clairement dans une stratégie de la peur : « En cédant à la tentation de s’éloigner encore une fois des caractéristiques les plus porteuses des systèmes universitaires nord-américains, le Québec met en péril l’évolution remarquable qu’a connue son système universitaire au cours des 50 dernières années et hypothèque lourdement la capacité concurrentielle de son noyau d’universités de recherche » (p. 301). Notons aussi un énoncé non prouvé et probablement faux : « Quant au refus du Québec de s’ajuster en ce qui a trait au financement universitaire au nouvel équilibre du système universitaire canadien, il a eu les conséquences anticipées » (p. 301). Outre le fait que l’on se demande en quoi cela est un nouvel « équilibre », le ton inquisiteur n’est pas sans rappeler un document de la CREPUQ de 2004, alors que Robert Lacroix était recteur de l’Université de Montréal, qui prophétisait « qu’il y a et il y aura une pénurie de professeurs d’université au Québec » (CREPUQ, 2004, p. 7, nous soulignons). Elle ne s’est nullement matérialisée, car la prédiction était basée sur une confusion entre la notion de « demande » (qui obéit à des contraintes de disponibilités de ressources) et celle de « besoin » qui est infinie dans le monde universitaire.

Les auteurs reprennent ici la vieille rhétorique du « retard » et crient au déclin de la qualité de la recherche et de la formation sans fournir de données probantes[7]. De plus, comme on l’a mentionné plus haut, ce raisonnement ne tient aucunement compte de la question de l’efficience dans l’usage des ressources. Donc, écrire que les coupures (réelles en effet) ont eu les conséquences anticipées (par qui?) est une affirmation non fondée dans le cadre de cet ouvrage. Il en va de même pour les affirmations non étayées sur l’existence des « impacts notoires sur la qualité… ». Aucune de ces affirmations n’a été testée dans cet ouvrage. Cela est bien sûr compliqué, mais encore une fois, faire de la recherche scientifique veut dire établir les faits et les mesurer, et non pas simplement les affirmer comme si la simple répétition d’un credo avait la vertu de le rendre vrai. Car, ainsi que le notait Nietzche dans Humain, trop humain, « la pensée profonde peut néanmoins être très éloignée de la vérité » et le sentiment fort ne garantit pas la connaissance, « tout comme la croyance forte ne prouve que sa force, non la vérité de ce que l’on croit ».