Corps de l’article

Introduction

Les coûts sociaux associés aux conséquences de la maltraitance subie, détectée ou non, doivent conduire les décideurs à considérer cette réalité comme un problème de santé publique majeur en occident (Corso et Lutzker, 2006 ; Brown, Fang et Florence, 2011 ; Fang et al., 2012). Bien que des efforts constants soient poursuivis en Amérique du Nord afin de créer une approche uniforme de la mesure de la maltraitance à l’endroit des enfants, il persiste énormément de variations et d’inconsistances dans les définitions mêmes employées par les différentes agences gouvernementales, les législations qui les gouvernent et les chercheurs (Runyan et al., 2005 ; Fallon et al., 2010 ; Trocmé et al., 2011).

Dans le domaine de la protection de l’enfance, deux méthodes sont régulièrement employées par les décideurs et quelquefois les chercheurs pour évaluer les taux de prévalence et d’incidence des jeunes en besoin de protection sociale : soit les recensements et l’utilisation des bases de données administratives. Les recensements consistent souvent en des sondages effectués auprès de professionnels oeuvrant dans le secteur de la protection de l’enfance. À titre d’exemple, au Canada, le CIS (Canadian Incidence Study of Reported Child Abuse and Neglect) a permis d’estimer l’ampleur du phénomène de la maltraitance dans toutes les provinces. Au Québec, l’EIQ (Étude d’incidence québécoise sur les situations évaluées en protection de la jeunesse), version adaptée du CIS, documente pour sa part les cas de signalements en protection de la jeunesse en incluant les troubles de comportement sérieux au sens de la Loi sur la protection de la jeunesse (LPJ)[1]. Les recensements sont toutefois très couteux en termes de temps. La collecte de données pour les questionnaires du CIS s’échelonne par exemple sur une période de six mois. De plus, ils posent de nombreux problèmes de logistique tels que le recrutement du personnel dans les établissements pour effectuer la collecte des données ou des problèmes d’évaluation tels que la fiabilité des données fournies pour mesurer avec acuité le phénomène étudié.

La deuxième méthode d’estimation consiste en l’extraction et l’analyse de données administratives d’une base de données, laquelle est constamment alimentée en temps réel par les cliniciens selon divers cycles (ex : journalier, hebdomadaire, mensuel ou annuel). Un exemple en est le NSANDS (The National Child Abuse And Neglect Data System) qui collige des données, de façon annuelle, sur des cas d’allégation de maltraitance en provenance des différentes agences gouvernementales à travers les États-Unis. Au Québec, nous avons les BDI (Bases de données informationnelles) qui sont alimentées par l’interface informatique PIJ (Projet Intégration Jeunesse) et, bientôt, la BDC (Base de données communes)[2]. Examinons maintenant les aspects méthodologiques relatifs aux limites inhérentes à l’utilisation de telles bases à des fins de recherche, avant de les situer les dans le cadre plus précis du Québec.

L’utilisation des bases de données en recherche sociale : limites et enjeux

Plusieurs limites inhérentes aux deux méthodes de collecte de données mentionnées en introduction existent lorsque l’on souhaite les utiliser en recherche ou pour éclairer les décideurs. Un des problèmes principaux réside dans la détection des cas. Comme plusieurs situations ne sont pas rapportées, les experts s’entendent sur le fait que ces faux négatifs amènent à sous-estimer le taux réel d’enfants maltraités dans la population (Cerezo et Pons-Salvador, 2004 ; Trocmé, Chamberland et Clément, 2009).

Une autre limite signalée est le problème de comparabilité des études entre elles, en raison des différentes définitions des concepts évalués ou des méthodologies employées (Runyan, et al., 2005 ; Fallon et al., 2010). De plus, les statistiques utilisées sont rarement présentées avec suffisamment de détails sur ces aspects ou sur l’impact associé à la qualité des mesures (Fallon et al., 2010). Ces études utilisent souvent différentes unités de mesure (p. ex., jeune ou famille) ou encore des données de même nature mais agrégées de façon différente pour répondre aux questions spécifiques qui intéressent leurs auteurs.

D’autres critiques concernent la mise en place du système de collecte de données. La fiabilité et la validité de ces dernières sont étroitement liées à la nature et à la qualité des infrastructures mises en place par les organisations. La centralisation en un lieu spécifique constitue un des éléments importants lors de la création et de l’exploitation de larges bases de données administratives. Elle permet de faciliter l’uniformisation de l’information, et par conséquent la fiabilité de celles-ci. Le caractère adéquat de ces structures repose entre autre sur le fait que le parc informatique et les programmes sont basés sur une technologie de pointe, constamment mise à jour (Drake et Jonson-Reid, 1999).

L’utilisation des bases de données est devenue une pratique fréquente pour soutenir la prise de décision en gestion. Mais elle peut aussi grandement bénéficier aux chercheurs s’intéressant aux caractéristiques et au vécu des jeunes en protection de la jeunesse sur une base populationnelle (Hélie, 2009 ; Lavergne, Clément et Cloutier, 2005). Les pratiques cliniques, programmes et politiques étant de plus en plus mis sur pied à partir de données scientifiques, l’exploitation de bases de données performantes s’avère plus que jamais indispensable (Jonson-Reid et Drake, 2008).

Or, la validité des données saisies au sein des bases de données administratives constitue un enjeu de taille afin de s’assurer que leur contenu reflète adéquatement la réalité des phénomènes étudiés. Une convention de saisie et de sens s’avère primordiale pour assurer la standardisation de cette saisie par les intervenants cliniciens qui en sont responsables, et assurer la validité des contenus de la base de données (Lavergne, Clément et Cloutier, 2005). Une convention de saisie implique que les données non obligatoires dans un système mais qui ont une portée clinique certaine soient saisies afin de mieux décrire les caractéristiques de la clientèle. Une convention de sens, quant à elle, implique que chaque élément saisi dans la base de données administratives a le même sens pour tous les utilisateurs de celle-ci (Lavergne, Clément et Labrecque, 2005). L’uniformité des procédures de collecte et de classification des informations permet donc rigueur et standardisation, éléments essentiels pour l’utilisation de ces données à des fins de recherche scientifique (Lavergne, Clément et Cloutier, 2005).

Au Québec, le système Projet Intégration Jeunesse est une interface informatique dotée d’une convention de saisie et de sens rigoureuse. Elle permet la saisie par les travailleurs sociaux et autres cliniciens de toutes les données relatives aux usagers, aux demandes de services, ainsi qu’aux décisions et interventions cliniques faites aux différentes étapes de la prestation de services en protection de la jeunesse. Grâce à ce système, l’intervenant doit saisir toute l’information prévue par les conventions de sens et de saisie et selon le cadre normatif qui y est associé, à chaque fois qu’il rend des services au jeune ou à sa famille. Ces informations sont ensuite enregistrées et sauvegardées dans une Banque de données opérationnelles (BDO) locale dans chaque centre jeunesse. La BDO compile en temps réel toutes les opérations saisies dans le système informatique et est constamment mise à jour. Certaines données contenues dans cette banque sont ensuite dénominalisées et dirigées vers la Base de données informationnelles (BDI). Les champs texte (c’est-à-dire rapport clinique d’étape ou rapport clinique, notes évolutives, remarques, etc.) ne sont pas acheminés vers cette banque.

Finalement, une partie des BDI locales est ensuite acheminée à la Base de données communes (BDC) après avoir été validée au préalable[3]. Ainsi, la BDC est constituée des informations communes provenant des 16 centres jeunesse. Ces données permettent de tracer des portraits de la clientèle à l’échelle de tout le Québec et d’assurer un suivi sur les modifications législatives dans le domaine de la protection de l’enfance, de la pratique sociale qui y est associée, et de l’utilisation des services par la population. À des fins de vulgarisation, le parcours informatique complet de l’information de PIJ à la BDC est illustré dans un schéma joint à l’annexe A.

Limites de PIJ et des banques qui en découlent : une approche solution

Malgré les précautions entourant la gestion des conventions de saisie et de sens, plusieurs critiques concernant des problèmes de fiabilité et de validité des données saisies dans PIJ ont été émises. Spécifiquement en ce qui concerne certains champs ou aspects que le clinicien en protection de la jeunesse n’est pas obligé de saisir ou de consigner dans le dossier de l’usager (c’est-à-dire le PIJ), à propos des services professionnels qu’il rend. Illustrons ces difficultés au moyen de trois exemples concrets.

Dans le cours de leurs prestations cliniques quotidiennes, les travailleurs sociaux agissant en tant que personnes autorisées, investies d’un mandat délégué par le directeur de la protection de la jeunesse aux termes de la loi, doivent inscrire au dossier des notes évolutives. C’est dans une des fenêtres du dossier informatisé de l’usager qu’ils doivent le faire. Ainsi, les intervenants choisissent, à l’aide d’un menu déroulant, le type d’activités cliniques approprié parmi une liste comprenant plusieurs dizaines de choix. Certains d’entre eux comportent des similitudes et sont définis soit en termes plus larges (p. ex., « téléphone ») ou plus restreint et ciblé à une activité clinique (p. ex., « entrevue téléphonique »). Des études administratives internes (Lacerte et Côté, 2008) ont suggéré que plusieurs intervenants choisissaient par exemple « téléphone » pour entrer le contenu exhaustif des décisions prises ou suggérées lors d’entrevues téléphoniques. Cela a pu conduire à mal interpréter l’intensité des services réellement fournis au client dans la réalité. Cette difficulté a motivé la formulation de mises en garde importantes à l’endroit des décideurs. Mises en garde concernant entre autres l’interprétation qu’ils font des données provinciales saisies au sein de ces deux champs spécifiques. Les chercheurs peuvent donc jouer un rôle prépondérant pour assister les décideurs dans l’exercice d’une vigilance continue concernant la fiabilité des données saisie. Mais surtout, ils jouent un rôle fondamental dans l’interprétation adéquate de celles-ci.

Une autre difficulté concernant l’interprétation des données administratives anonymes découle de l’impact des données manquantes au sein de ces différentes banques. À titre d’exemple, une étude effectuée auprès de cinq centres jeunesse portant sur la conformité et la qualité des plans d’Intervention (PI) a démontré une augmentation de 2004 à 2006 des données manquantes pour certains champs de saisie, relatifs à la présence des deux parents ou même du jeune au moment du PI ou de sa révision juridique. Ce qui ceci semblait suggérer que ces personnes n’étaient pas présente au PI ou à sa révision. Or cette présence est obligatoire et décrétée par la loi et les dispositions réglementaires associées. Il est donc peu probable que les travailleurs sociaux aient procédé en l’absence de leurs clients. Les chercheurs ont suggéré qu’il était plus raisonnable de croire que les cliniciens respectent cette consigne mais qu’ils ne saisissent tout simplement pas cette donnée car elle n’est pas obligatoire[4].

Un troisième exemple de limite ou de critique a trait à des champs de saisie dont la définition ne semble pas adéquate et en rapport avec la réalité clinique qu’elle veut dépeindre. Prenons l’exemple de l’ethnicité. Cette variable dans PIJ est programmée de façon à inscrire une valeur par défaut si le travailleur social ne précise pas le pays d’origine, la langue ou la religion de son client. Conséquemment, les membres du comité de travail provincial[5], appuyés de certains chercheurs institutionnels, ont détecté une surreprésentation des « francophones du Québec » dans les situations de maltraitance, ce qui ne semblait pas refléter la réalité sur le terrain. Encore ici, les mises en garde et les représentations auprès des décideurs ont conduit le nombre de valeurs par défaut à diminuer dans les années suivantes (Lacerte, 2012, communication interne).

Malgré ces limites, les critiques et questionnements des chercheurs à l’endroit des bases de données administratives amènent donc les décideurs à poser des activités concrètes entourant les activités de saisie et à prendre les précautions nécessaires au plan de l’interprétation et de l’utilisation des données. Par ailleurs, une vaste quantité d’autres champs de saisie ont démontré leur fiabilité au fil des années. Parmi les variables très fiables on retrouve celles relatives aux prises de décision dans la prestation de services en protection de la jeunesse, celles qui concernent les données sociodémographiques des jeunes signalés et qui reçoivent des services de protection, de même que les données relatives aux placements et aux coûts associés à chaque ressource (famille d’accueil et hébergement en centres de réadaptation). Certaines de ces données ont appuyé les travaux présentés aux autorités concernant l’évaluation des impacts de la nouvelle Loi sur la protection de la jeunesse en vigueur depuis 2007 au Québec (Turcotte et al., 2010 ; Drapeau et al., 2012). D’autres types de services dispensés pour protéger l’enfant et orienter sa prise en charge, ou encore le recours à des mesures exceptionnelles comme l’encadrement intensif, les isolements ou les contentions, sont également très valides et conformes à la réalité du terrain.

Soutien de travaux contemporains et pistes futures

La nature cumulative et anonyme de ces banques de données offre plusieurs possibilités en recherche. Elle permet de réaliser des études longitudinales et populationnelles sur des cohortes de jeunes tout en protégeant l’anonymat de la clientèle visée. Elle facilite l’accès à de l’information sur des échantillons de grande taille à moindre coût (Lavergne, Clément et Cloutier, 2005 ; Hélie, 2009). De plus, lorsque le contenu est convenu aux termes d’une convention de sens et de saisie, comme c’est le cas au Québec, il devient possible de comparer entre elles les études utilisant de mêmes agrégats de données.

Outre des chantiers d’envergure comme ceux concernant l’évaluation de l’impact de nouvelles législations (Turcotte et al., 2010 ; Drapeau, Hélie et Turcotte, 2012), plusieurs autres travaux de recherche sociale à l’aide des bases de données administratives permettent de soutenir concrètement les gestionnaires et cliniciens. Suite à l’étude de Lacerte et Côté (2008) sur les PI par exemple, des consignes claires ont été émises par tous les Directeurs des services professionnels de l’ensemble des centres jeunesse du Québec afin de corriger la situation. Ils furent amenés à resserrer leur vigilance auprès de leurs équipes, tant sur la façon dont sont réalisés les PI, que sur la présence des personnes qui y participent et l’importance que les travailleurs sociaux saisissent adéquatement ces données en respect du cadre juridique de leur intervention.

L’implantation et la validation clinique d’un outil clinique de dépistage des retards de développement des jeunes enfants signalés aux autorités, le GED (Grille d’évaluation du développement des enfants de 0 à 5 ans – Pormerleau et al., 2005) constitue un autre exemple d’utilisation novatrice en ce sens. L’étude interne de Lacerte (2011) a colligé et examiné une série de variables pertinentes saisies par le travailleur social dans le PIJ au sujet de l’enfant après la passation de l’outil. L’étude fournit un portrait détaillé de la détection des difficultés développementales de la clientèle des 0-5 ans, signalée aux autorités pour maltraitance. Cela permet maintenant aux décideurs de cibler un sous-groupe d’enfants particulièrement en difficulté pour orienter les programmes d’intervention à privilégier par l’entremise du Centre d’expertise pour le bien-être et le développement des enfants au Centre jeunesse de Québec – Institut universitaire.

Dans l’avenir, outre les questions concernant les profils d’usagers et les trajectoires de services en protection de la jeunesse, des questions de recherche originales pourraient faire appel à l’exploration qualitative du contenu de différentes données cliniques saisies au sein des dossiers informatisés (p. ex., notes évolutives ou suivi d’activités), tout en les croisant avec les données quantitatives fiables. De tels devis exigent toutefois de faire appel à des techniques d’extraction et à des méthodologies particulières permettant l’accès et l’analyse des champs texte des bases de données. Mais ils sont susceptibles d’alimenter des avenues de recherche novatrices, combinant les forces inhérentes aux méthodologies de recherche qualitatives et quantitatives.

Ces méthodes dites mixtes, permettent une compréhension approfondie et plus riche des questions complexes de recherche (Pluye et al., 2009 ; Guével et Pommier, 2012). Dans l’état actuel des connaissances au Québec, les devis des plus prometteurs pourraient utiliser la BDC pour documenter, au plan populationnel, certains aspects généraux d’une question de recherche à l’étude. Puis, combiner à la démarche une autre collecte de données explorant certaines informations des champs texte auprès d’un échantillon représentatif de la population étudiée. À cette fin, les bases de données administratives facilitent grandement l’établissement de la représentativité des échantillons et la constitution de ceux-ci.

Si le chercheur n’est pas suffisamment familier avec le fonctionnement de la base de données ou encore du milieu clinique qu’il étudie, il court le risque d’adopter de fausses interprétations. Afin de contrer ce risque les chercheurs collaborent de façon très étroite avec des experts du terrain (Hélie, 2009). Pour sa part, le Centre jeunesse de Québec – Institut universitaire offre un soutien et un encadrement statistique de pointe aux chercheurs et aux étudiants des cycles supérieurs intéressés à inclure l’utilisation des banques de données administratives dans leurs devis.

Conclusion

La démonstration des bénéfices associés à l’exploitation des bases de données administratives en recherche sociale permet de réaffirmer notre volonté de maximiser leur potentiel d’utilisation, tant au profit de l’avancement des connaissances appliquées ou fondamentales, que de l’amélioration de la pratique sociale auprès d’enfants parmi les plus vulnérables de notre société. Toutefois, la validité de certains types de données extraites de ces banques, peut entraîner pour les chercheurs des prises de mesure complémentaires. Néanmoins, l’implication constante des gestionnaires d’établissement de même qu’un rafraîchissement régulier de la convention de saisie grâce à des formations continues offertes aux cliniciens, sont susceptibles d’améliorer la fiabilité de l’ensemble de ces données.

Améliorer les connaissances populationnelles de façon continue sur les jeunes et leurs familles dont les difficultés nécessitent le recours à une protection sociale fournie par l’État, de même que sur leur vécu d’utilisateurs des services, permet de questionner en continu et de bonifier l’efficience même des interventions cliniques offertes (Turcotte et al., 2010 ; Lavergne, Clément et Cloutier, 2005). Cette responsabilité de mesure et d’évaluation demeure au coeur de plusieurs des innovations actuelles concernant le travail social en protection de la jeunesse. N’oublions pas qu’elle se partage collégialement au plan sociétal entre les chercheurs, les décideurs et gestionnaires, et les cliniciens.