Dérives et effets pervers de l’évaluation quantitative de la recherche : sur les mauvais usages de la bibliométrie

Avec l’arrivée en milieu universitaire de l’idéologie néolibérale adossée aux techniques du nouveau management public avec ses « tableaux de bord », surtout depuis les années 1990, les chercheurs et les administrateurs utilisent de plus en plus souvent les mots « évaluation », « facteurs d’impact », « indice h ». Le monde de la recherche et de l’enseignement supérieur particulièrement en Europe (voir, notamment, Abélard, 2003 ; Charle et Soulié, 2007 ; Schultheis, Escoda et Cousin, 2008 et Brisset, 2009) est ainsi la proie d’une véritable fièvre de l’évaluation. On veut tout évaluer : les enseignants, les professeurs, les chercheurs, les programmes de formation et les universités. Les indicateurs « d’excellence » et de « qualité » se multiplient sans que l’on sache toujours sur quelles bases ils ont été construits. Parmi les outils utilisés pour mettre au point les nombreux « indicateurs d’excellence » qu’une vision gestionnaire de l’enseignement supérieur et de la recherche tente d’imposer à tous comme une évidence, une place de choix est aujourd’hui accordée à la bibliométrie – méthode de recherche qui consiste à utiliser les publications scientifiques et leurs citations comme indicateurs de la production scientifique et de ses usages. Que ce soit pour classer les universités, les laboratoires ou les chercheurs, le calcul du nombre de publications et des citations qu’elles reçoivent sert souvent de mesure « objective » de la valeur des résultats de recherche des uns et des autres. Il est donc important de rappeler, même brièvement, les nombreux dangers que comporte l’usage simpliste qui tend à se répandre de l’utilisation mécanique d’indicateurs bibliométriques censés mesurer de façon « objective » la productivité et l’impact scientifique des chercheurs. Nous nous limiterons ici à analyser les usages des deux principaux indicateurs amplement utilisés tant par les chercheurs que par les administrateurs de la recherche, à savoir le « facteur d’impact » des revues et « l’indice h » des chercheurs. Nous nous pencherons aussi sur les effets pervers des usages simplistes de mauvais indicateurs sur la dynamique de la recherche scientifique, particulièrement dans le domaine des sciences humaines et sociales. Calculé et publié chaque année depuis 1975 par la compagnie Thomson Reuters dans le Journal Citation Reports à partir des données du Science Citation Index (SCI), le facteur d’impact (FI) d’une revue consiste en une simple moyenne arithmétique du nombre de citations obtenues par les articles d’une revue donnée sur une période de deux ans. Le FI caractérise donc des revues, et non pas des articles (Archambault et Larivière, 2009). Ainsi, le FI d’une revue pour 2006 est obtenu en divisant le nombre de citations que les articles publiés en 2004 et 2005 ont obtenues en 2006 par le nombre d’articles publiés au cours de ces deux années (2004 et 2005). Le choix d’une fenêtre courte de deux ans pour évaluer le FI n’est pas anodin. En effet, on a tendance à opposer les FI élevés des revues scientifiques (comme Science et Nature) aux FI très faibles des revues de sciences sociales. Or, cela est en grande partie un artefact dû au fait que la temporalité des sciences sociales est plus longue que celle des sciences de la nature. En effet, il suffit d’augmenter la fenêtre des citations à dix ans pour que les FI de ces disciplines atteignent des valeurs comparables à celles des revues scientifiques (Glänzel et Moed, 2002). Il est évident que les FI des revues de différents domaines ne sont pas comparables entre eux et que leur valeur numérique n’a pas de sens en elle-même, mais seulement si on les compare à des revues du même …