Publication Bias in Union-Productivity Research? Existe-t-il un biais de publication dans la littérature consacrée au lien syndicat-productivité ? ¿ Publicación tendenciosa en la investigación sobre la productividad sindical ?

Abstract

This paper develops and applies several meta-analytic techniques to investigate the presence of publication bias in industrial relations research, specifically in the union-productivity effects literature. Publication bias arises when statistically insignificant results are suppressed or when results satisfying prior expectations are given preference. Like most fields, research in industrial relations is vulnerable to publication bias. Unlike other fields such as economics, there is no evidence of publication bias in the union-productivity literature, as a whole. However, there are pockets of publication selection, as well as negative autoregression, confirming the controversial nature of this area of research. Meta-regression analysis reveals evidence of publication bias (or selection) among U.S. studies.

Résumé

Quels sont les critères de sélection des études publiées ? Est-ce exclusivement la qualité de la recherche menée ? Si les travaux de recherches ont d’autant plus de chance d’être publiés que leurs résultats sont significatifs, alors on court le risque d’introduire un biais, appelé biais de publication. Un biais de publication peut apparaître lorsque la sélection des études s’opère sur le degré de significativité statistique des résultats ou lorsque les résultats confortent toujours les mêmes hypothèses théoriques. L’objectif principal des investigations empiriques consiste à renforcer une théorie en éliminant d’autres théories en concurrence. Malheureusement, les résultats empiriques peuvent ne pas refléter la réalité mais en donner une vision déformée en ne publiant que les travaux en faveur d’une théorie unique.

Le problème du biais de publication a suscité l’intérêt de nombreux chercheurs, notamment en psychologie et en médecine (c.f. Begg et Berlin, 1988). Plus récemment, les économistes ont commencé à s’intéresser à cette question (Card et Krueger, 1995 ; Ashenfelter, Harmon et Oosterbeek, 1999 ; Gorg et Strobl, 2001) et ont montré que les revues en sciences sociales et économiques avaient également tendance à un certain degré de publication sélective. À notre connaissance, il n’existe pas d’études spécifiquement dédiées au problème du biais de publication dans le domaine des relations industrielles. Ceci est d’autant plus surprenant que ce champ d’étude est l’un des plus controversé en sciences sociales. De nombreux aspects du travail et de l’emploi sont fortement discutés par les chercheurs, à l’instar de l’impact économique du syndicalisme.

Dès lors, l’objet de cet article est, d’une part, d’examiner l’existence et l’importance du biais de publication dans la littérature consacrée aux effets de la présence syndicale sur la productivité du travail et, d’autre part, de développer des outils d’investigation du biais de publication transposables dans le champ des relations industrielles.

Le biais de publication. Le biais de publication est un phénomène qui désigne un ensemble de distorsions dans le processus de publication des résultats de travaux de recherche (Sutton et al., 2000b). Le biais de publication peut avoir plusieurs causes, liées aux auteurs des travaux et aux comités de lecture des revues.

En premier lieu, il arrive souvent que les auteurs s’autocensurent et considèrent d’emblée que leurs résultats non significatifs sont sans intérêt et ont peu de chance d’être publiés. Par ailleurs, il arrive aussi que les auteurs choisissent de ne présenter à la publication que les résultats de leurs études qui confortent un positionnement théorique voire idéologique particulier.

En second lieu, plusieurs études ont montré que certaines revues se laissent influencer par les résultats d’un travail pour décider de publier ou non. Ainsi, les revues auraient tendance à publier les études dont les résultats sont statistiquement significatifs. Il arrive d’ailleurs souvent que les rédacteurs en chef écartent de la publication les travaux de recherche portant sur de petits échantillons ou encore ceux fondés sur des approches qualitatives (études de cas, monographies, etc.). Le rejet des articles dont les résultats sont non significatifs reflète parfois un positionnement théorique ou idéologique du comité de lecture des revues lui-même.

Les synthèses de la littérature jouent un rôle essentiel dans la diffusion de la connaissance scientifique sur un objet d’étude. Le fait que la revue de la littérature s’effectue uniquement sur la base d’un échantillon d’études – c’est-à-dire sans tenir compte des études non publiées – plutôt que sur l’ensemble des études existantes fait courir le risque de l’introduction d’un biais de publication. Ce phénomène est alors susceptible d’entraîner des conséquences au niveau des résultats des généralisations empiriques. Bien que le biais de publication soit souvent difficile à identifier, il existe plusieurs techniques permettant d’en détecter l’existence.

Dans le cadre de cette étude, nous nous interrogeons sur l’existence d’un biais de publication dans la littérature consacrée à l’étude du lien entre la présence syndicale et la productivité des salariés. Du fait de l’existence de deux approches théoriques contradictoires, il est possible d’envisager l’existence de résultats à la fois négatif et positif au sein du corpus empirique existant. L’approche de Freeman et Medoff (1984) postule que les effets négatifs de la présence syndicale sur la productivité (grèves, pratiques de travail restrictives, etc.) mis en exergue par les économistes néoclassiques peuvent être contrebalancés par des effets positifs de la présence syndicale (effet voice). Dès lors, il est possible d’envisager également des résultats non significatifs.

Les techniques présentées dans cet article permettent de rechercher l’existence d’un biais de publication à partir des données collectées par Doucouliagos et Laroche (2003). Dans un premier temps, des techniques purement descriptives ont été utilisées puis des techniques quantitatives plus avancées ont permis d’obtenir une estimation du biais de publication au sein de cette littérature.

En effet, le biais de publication peut être examiné en utilisant à la fois des outils qualitatifs ou quantitatifs. L’approche classique consiste à analyser des représentations graphiques telles que les funnel plots (« graphiques en entonnoir ») – qui consistent à représenter, pour chaque étude, la valeur estimée de la relation (ici la corrélation partielle entre le syndicalisme et la productivité) en fonction de la taille des échantillons de chaque étude –, des histogrammes et d’y associer des tests statistiques permettant de quantifier la probabilité d’existence d’un biais de publication (test des rangs de Kendall par exemple). Cette approche n’est pas toujours très robuste, ce qui explique le recours à d’autres outils quantitatifs plus avancés et notamment à la méta-analyse de régression.

Conclusion. Plusieurs méthodes d’identification du biais de publication ont été appliquées à la littérature consacrée au lien syndicat/productivité du travail. Les résultats obtenus montrent qu’il n’existe pas de biais de publication au sein de ce corpus empirique.

Jusqu’alors dans le domaine des sciences économiques, les investigations avaient révélé l’existence de biais de publication dans certains champs d’étude. Par exemple, Card et Krueger (1995) ont mis en évidence un biais de publication dans la littérature existante sur le salaire minimum. De même, Ashenfelter, Harmon et Oosterbeek (1999) ont identifié un biais de publication parmi les estimations portant sur les effets de l’éducation.

Cette étude conduit à un constat intéressant. Il semble que les domaines de recherche au sein desquels une théorie unique est acceptée par l’ensemble des chercheurs (ex. une élasticité-prix négative) sont susceptibles d’aboutir à des résultats empiriques fortement entachés par un biais de publication. Au contraire, les domaines de recherche au sein desquels il n’y a pas de théorie largement acceptée par tous ont plus de chance de présenter des résultats empiriques sans biais de publication. Le problème du biais de publication semble plus prononcé lorsqu’il existe un large consensus des chercheurs autour d’une théorie. Parce que les recherches sur le lien syndicat/productivité s’appuient sur des théories contradictoires, le problème du biais de publication se pose beaucoup moins qu’ailleurs.

Néanmoins, des « poches » de sélection peuvent être mises en évidence. D’une part, les résultats positifs obtenus par les études sur le lien syndicat/productivité sont souvent suivis par des études révélant des résultats négatifs. De telles autocorrélations négatives reflètent simplement la nature contestée et controversée de la recherche sur le sujet. D’autre part, on constate une tendance forte à un certain degré de publication sélective parmi les études étatsuniennes, indiquant généralement un lien positif entre la présence syndicale et la productivité. Ce résultat mériterait une analyse plus approfondie.

Resumen

Este documento desarrolla y aplica varias tecnicas de meta-analisis para investigar la presencia de publicación tendenciosa en las investigaciones de relaciones industriales, especificamente en la literatura relativa al efecto sindical en la productividad. Las publicaciones tendenciosas surgen cuando los resultados estadísticamente non significativos son suprimidos o cuando se da preferencia a los resultados que satisfacen las expectativas iniciales. Como en muchos campos, la investigación en relaciones industriales es vulnerable a la publicación tendenciosa. A diferencia de otros campos como la economía, no hay evidencia de desviación de publicación en la literatura sobre la productividad sindical en su conjunto. Sin embargo, hay indicios de publicación selectiva, así como de auto-regresión negativa, lo que confirma la naturaleza controvertida de esta área de investigación. El analisis de meta-regresión revela evidencias de publicación tendenciosa (o selección) en los estudios estado-unidenses.