Qualitative Literacy: A Guide to Evaluating Ethnographic and Interview Research, de Mario Luis Small et Jessica McCrory Calarco, Oakland, University of California Press, 2022, 230 p.

La majorité des chercheur·euses en sciences sociales maîtrisent les codes de la recherche quantitative et en connaissent le vocabulaire. La majorité savent lire une table de régression, connaissent l’importance de la représentativité et peuvent identifier les erreurs statistiques flagrantes. Les nombres ne parlent pas d’eux-mêmes – c’est aux auteur·es de nous raconter l’histoire qui se cache derrière –, mais les normes disciplinaires sont quant à elles bien établies.

En est-il de même de la recherche qualitative ? Est-elle aussi « intuitive » qu’elle le paraît ? Comment évaluer la rigueur d’une recherche reposant sur des entretiens ou une ethnographie ? Comment parler de représentativité, de robustesse et d’échantillonnage dans ce cas ? Dès la première page de Qualitative Literacy, Mario Luis Small et Jessica McCrory Calarco relèvent le malaise entourant ces questions : « Suppose you were given two books, each based entirely on one year of ethnographic observation, and were told that one of them is a sound piece of empirical social science and the other, though interesting and beautifully written, is empirically unsound. What criteria would you use to tell the difference? » (p. ix) Cette interrogation en est le fil conducteur.

Plusieurs ouvrages méthodologiques proposent des modes d’emploi pour former les chercheur·euses à la réalisation de la recherche qualitative. Qualitative Literacy se distingue de ces ouvrages : il offre plutôt une réflexion de fond sur la lecture, l’appréciation et l’évaluation des travaux qualitatifs. Comme un pied de nez au désormais classique Designing Social Inquiry (Gary King, Robert O. Keohane et Sidney Verba, Princeton University Press, 1994), qui, essentiellement, propose d’appliquer les normes de l’analyse quantitative aux méthodes qualitatives, l’ouvrage suppose la singularité des outils qualitatifs et insiste sur la nécessité de les évaluer à partir de règles qui leur sont propres. Les auteurs proposent cinq critères pour évaluer ce type de recherche, soit un par chapitre.

L’empathie cognitive. L’empathie cognitive est le degré de compréhension de la façon dont les enquêté·es voient le monde et se perçoivent (p. 23). Selon ce critère, les bons travaux mettent en évidence la manière dont les perceptions, les interprétations et les motivations des enquêté·es se forment. Les moyens d’arriver à un degré satisfaisant d’empathie cognitive sont multiples. Prenons l’exemple d’une enquêtée qui confie se sentir méprisée par les élites politiques. Nous pouvons immédiatement émettre des hypothèses sur les causes de cette perception. Or, le ou la chercheur·euse arrivant à questionner la motivation de ces croyances (ex. : « Pourquoi avez-vous ce sentiment ? ») sera beaucoup plus enclin·e à faire preuve d’empathie cognitive. Il en est de même du ou de la chercheur·euse sollicitant des précisions sur les croyances formulées (ex. : « Qu’entendez-vous par méprisée ? »).

L’hétérogénéité. Le biais d’homogénéité inter-groupe, consistant à surestimer les similitudes au sein d’un groupe qui nous est inconnu, nous guette en permanence. Or, des études en psychologie suggèrent que ce biais s’estompe à mesure qu’augmente la familiarité avec l’inter-groupe (p. 48). Ainsi, plus le ou la chercheur·euse est exposé·e au groupe enquêté, plus il ou elle est susceptible de concevoir son échantillon comme hétérogène – ce qui, tout porte à le croire, est plus représentatif de la réalité. La représentativité en recherche qualitative ne s’incarne en ce sens pas en nombre, mais en diversité des observations.

Revenons à l’exemple d’une enquêtée affirmant se sentir méprisée par les élites politiques. Une série d’entretiens avec des personnes partageant ce sentiment révélerait peut-être que ces dernières recourent régulièrement à ce cadrage pour expliquer leur position sociale marginale. Or, une analyse détaillée relèverait probablement que les croyances qui sous-tendent ce cadrage commun sont hétérogènes. Le critère d’hétérogénéité renvoie à une assise fondamentale de la recherche qualitative : la réalité est complexe, et il est ainsi pertinent de s’intéresser intensivement à un faible nombre d’observations pour en représenter l’amplitude.

L’hétérogénéité met ainsi en valeur ce qui distingue les méthodes qualitatives des autres. Pour les auteurs, ce critère appuie une mise en garde contre l’usage des statistiques pour décrire un échantillon qualitatif (ex. : 46 % des enquêté·es affirment se sentir méprisé·es par les élites politiques). Les échantillons des études qualitatives ne sont pas statistiquement représentatifs. En mettant de l’avant des statistiques pour décrire les résultats plutôt qu’en en présentant un portrait hétérogène, la synthèse des résultats peut ainsi mener à des conclusions erronées à propos de la population à l’étude (p. 63-67).

La « palpabilité ». La force de la recherche qualitative est son lien fort à la quotidienneté, lien qui échappe nécessairement aux recherches quantitatives vu la taille des échantillons. En ce sens, les bonnes recherches qualitatives doivent rendre compte de réalités vécues et échapper aux récits abstraits (p. 81). Lorsque possible, des extraits d’entretiens doivent être cités. Les montées en généralité doivent être accompagnées d’exemples concrets. Lors d’entretiens, des questions de précision menant l’enquêté·e à donner une mesure concrète de ces croyances doivent être posées (ex. : « Qu’est-ce qui, dans votre vie quotidienne, témoigne du mépris des élites politiques à votre égard ? »). Dans le cadre d’une ethnographie, les chercheur·euses doivent décrire avec précision des événements dont ils et elles ont été témoins et brosser des portraits détaillés des personnes rencontrées.

Les follow-ups. Les études qualitatives doivent prévoir des retours itératifs vers les enquêté·es (follow-ups). Les données qualitatives sont « émergentes », au sens où elles sont formées dans l’interaction du ou de la chercheur·euse avec l’enquêté·e (p. 99). Il est donc impossible d’anticiper avec précision ce que l’on trouvera sur le terrain. En contexte d’entretiens, Small et Calarco détaillent cinq méthodes itératives : 1) poser une nouvelle question approfondissant un thème abordé, 2) planifier un entretien subséquent lorsque jugé pertinent, 3) contacter de nouvelles et nouveaux enquêté·es après une première ronde d’entretiens, 4) recueillir des données complémentaires (sondage, archives, etc.) et 5) poser une nouvelle question de recherche à l’issue des entretiens (p. 102-108). En contexte ethnographique, les chercheur·euses doivent suivre les pistes imprévues lancées par les enquêté·es. Cela peut être accompli sur le terrain, en visitant de nouveaux lieux et de nouvelles personnes, en incluant d’autres enquêté·es à l’échantillon, ou en observant de nouveaux événements liés aux observations précédentes. Cela peut également être accompli hors terrain, en recueillant des données complémentaires ou encore en incorporant un second terrain de recherche.

La conscience de soi. Le caractère émergent des données qualitatives implique également qu’elles sont le résultat d’un processus de co-production entre enquêté·es et chercheur·euses. Il est ainsi essentiel qu’une réflexion du ou de la chercheur·euse soit aboutie à propos de son impact sur le terrain. La qualité de cette réflexion est, pour Small et Calarco, garante de la qualité des données produites. Les marqueurs identitaires du ou de la chercheur·euse (genre, ethnicité, classe, etc.) influenceront la co-production des données.

Les auteurs suggèrent que les conséquences de la conscience (ou de l’inconscience) de soi sont apparentes sur trois plans. D’abord, l’identité du ou de la chercheur·euse surdétermine son accès aux terrains potentiels puisque la confiance à gagner pour y entrer et s’y intégrer en dépend le plus souvent. Ensuite, sa capacité à obtenir des données transparentes sur la réalité des enquêté·es dépend de ce que ceux-ci et celles-ci ont bien envie de montrer. L’identité du ou de la chercheur·euse affecte ce processus de divulgation. Enfin, l’interprétation des données recueillies dépend de son identité. Il est souhaitable que les conséquences anticipées de son positionnement et les moyens prévus pour en tenir compte avant, pendant et après la collecte de données soient présentés dans la section méthodologique d’une éventuelle publication.

Au final, Small et Calarco rappellent que le degré d’exposition, soit le temps passé sur le terrain et la qualité des interactions y ayant cours, est la condition sine qua non d’une bonne recherche qualitative. Répondre à ces cinq critères contribue à améliorer le degré d’exposition, et la qualité de la recherche produite du même coup.

L’ouvrage est clair, concis et synthétique. Il intègre des exemples issus de publications récentes en sociologie qualitative états-unienne. Il se démarque par sa force pédagogique, sans pour autant compromettre l’ambition de la démarche. Qualitative Literacy laisse toutefois plusieurs questions épineuses en suspens. Comment faire preuve d’empathie cognitive ou assurer des follow-ups lors d’une ethnographie en ligne, là où le degré d’exposition est forcément plus limité ? Comment s’assurer de l’hétérogénéité des observations lorsque l’échantillon est, par la conception de l’étude, relativement homogène ? Comment faire preuve d’empathie cognitive ou de conscience de soi lorsque les croyances et les actions du groupe enquêté sont profondément différentes des nôtres ? Enfin, Mario Luis Small et Jessica McCrory Calarco échappent à la question du seuil de passage, peut-être la plus difficile : quand peut-on définitivement affirmer qu’une recherche qualitative répond de manière satisfaisante aux critères présentés ? Ces questions et bien d’autres qui émergent à la lecture de l’ouvrage pourront bénéficier de réponses en séminaires de méthodologie aux cycles supérieurs, là où, j’en ai l’intime conviction, Qualitative Literacy: A Guide to Evaluating Ethnographic and Interview Research est bien à sa place.