Article body

Introduction

La plupart des pays européens et d’Amérique du Nord ont mis en place des politiques d’éducation prioritaire pour lutter contre les inégalités, et ce, depuis les années 1960 ou 1970. En règle générale, leurs effets positifs sur les acquis des élèves n’ont pu être montrés de façon évidente (Demeuse, Frandji, Greger & Rochex, 2008, 2011 ; Dutrévis & Crahay, 2009). Cela explique en partie le fait que ces politiques ont évolué au cours des décennies (Rochex, 2008). Le Réseau d’enseignement prioritaire (REP) mis en place à Genève depuis 2006 ne fait pas exception. Il s’est constitué progressivement et comporte, depuis 2011, 17 établissements primaires sur 81, ce qui représente environ 20 % des élèves scolarisés à l’école primaire. Les conditions d’entrée d’un établissement dans le REP sont principalement liées à la proportion d’élèves provenant de milieux défavorisés, qui doit être d’au moins 55 %. Une seconde condition est utilisée en cas de situation « limite » (c.-à-d. une proportion d’enfants d’ouvriers et divers/sans indication se situant entre 51 et 54 %) : la proportion d’élèves allophones (plus de 55 % d’allophones scolarisés dans l’établissement).

Les principales mesures du REP sont les suivantes : un meilleur encadrement des élèves (diminution des effectifs par classe à raison de deux élèves, plus grande dotation en enseignants chargés de soutien pédagogique) et, surtout, la création de la fonction d’éducateurs scolaires permettant de développer les liens entre famille et école. À côté de ces mesures spécifiques, l’enseignement primaire a connu une réforme globale avec l’instauration de directions, de projets et de conseils d’établissement. Ces différents éléments ont d’abord été expérimentés dans le REP, puis généralisés à l’ensemble des établissements primaires.

Les différentes études menées depuis son introduction (Soussi, Guignard, Hayoz & Nidegger, 2008 ; Soussi & Nidegger, 2010, 2015) n’ont pas permis de démontrer des effets positifs marqués concernant les acquis scolaires. Il faut d’emblée souligner que la mesure des effets de ces politiques de discrimination positive pose des problèmes méthodologiques difficiles à résoudre. Dans la plupart des évaluations, on procède par comparaison d’un groupe expérimental bénéficiant des mesures prévues dans le cadre de ces politiques avec un groupe témoin ne bénéficiant pas de ces mesures. Or, nombreux sont les chercheurs qui reconnaissent que la condition ceteris paribus est rarement respectée. Nous-mêmes avons fait face à cette difficulté.

Dans une première étude, nous avons comparé la réussite des élèves scolarisés dans le REP à celle de leurs camarades scolarisés dans l’ensemble des autres établissements genevois (Soussi et al., 2008). Nos résultats ne permettent pas de conclure à des effets positifs du REP. Il demeure un écart non négligeable de réussite en français et en mathématiques des élèves scolarisés dans le REP par rapport à ceux scolarisés dans les autres établissements primaires du canton. Cette absence d’évolution de cet écart peut être attribuée au fait que l’on compare des élèves vivant dans des conditions de vie difficiles avec un échantillon de sujets tout venant, mélangeant enfants de familles favorisées et défavorisées. Sans conteste, ce type de comparaison ne respecte pas le principe de « toutes choses égales par ailleurs ».

Dans une deuxième étude, nous avons comparé les performances des élèves du REP à celles de camarades scolarisés dans des établissements « témoins » dont les caractéristiques sociodémographiques sont similaires (Soussi, Nidegger, Dutrévis & Crahay, 2012). Les analyses multiniveaux (à deux ou à trois niveaux : élèves, établissement ou élèves, classe, établissement) ont surtout mis en évidence le poids des caractéristiques individuelles, mais peu d’effets des établissements et de l’appartenance au REP.

Dans cette deuxième étude-ci, nous nous rapprochons de la comparaison expérimentale. Cependant, les deux groupes ne sont pas parfaitement identiques. Le groupe témoin se compose de six établissements ayant un public d’élèves présentant des caractéristiques sociodémographiques légèrement moins défavorisées par rapport au groupe expérimental. Ce sont d’ailleurs des établissements entrés par la suite dans le REP lorsque les critères ont été élargis. Quant au groupe expérimental, composé (au moment de l’étude) de 15 établissements du REP, il n’est pas homogène, et ce, à différents égards. Ainsi, la condition principale pour qu’un établissement intègre le REP est qu’il accueille une proportion d’enfants de milieux défavorisés d’au moins 55 %. Or, ce pourcentage varie de 52 % à plus de 70 % selon les établissements. Il en va de même pour la proportion d’élèves allophones, critère utilisé de façon complémentaire : elle varie de 40 % (moyenne des établissements primaires genevois) à plus de 70 %. Il importe également de souligner que les établissements sont entrés dans le REP à des moments différents, ce qui a pour conséquence une durée variable d’exposition des enseignants et des élèves au dispositif.

En effet, le Réseau d’enseignement prioritaire, mis en place dès 2006 à l’école primaire pour favoriser l’égalité des chances en matière de réussite scolaire dans tout le canton, s’est constitué en plusieurs phases :

  • En 2006, l’expérience REP a débuté avec une seule école pilote. Lors de cette première phase, les deux principales mesures du REP (réduction du nombre d’élèves par classe et embauche d’un éducateur scolaire) ont été introduites en même temps que différentes autres mesures expérimentées dans le REP, telles que la création de directions, puis de projets et de conseils d’établissement.

  • En 2007-2008, huit autres écoles sont entrées dans le REP. Peu à peu, les autorités scolaires ont également décidé de regrouper les 220 écoles en 91 établissements en lien avec la création de directions d’établissement.

  • En 2008-2009, huit autres écoles ont intégré le REP, dont certaines qui avaient été regroupées avec les écoles de la phase 2.

  • En 2009-2010, un établissement a rejoint le REP.

  • En 2010-2011, deux établissements de plus sont entrés dans le REP.

  • En 2011-2012, enfin, deux écoles, dont l’une était regroupée avec une autre déjà dans le REP, ont rejoint le réseau, tandis qu’un établissement dont la composition socioéconomique s’était améliorée en est sorti. Le REP est, depuis la rentrée 2011, composé de 17 établissements sur 81. Depuis cette année, les établissements ont fait l’objet de regroupements et ceux du REP représentent 13 établissements sur 58.

L’évaluation des effets « vrais » de l’entrée dans le REP pour un établissement est donc problématique et il n’est pas assuré que la méthode comparative soit la meilleure façon de procéder. Dans cet article, nous explorons une autre voie inspirée de l’analyse des séries temporelles[1] (voir Campbell & Stanley, 1963 ; Shadish, Cook & Campbell, 1971 ; Barlow, Nock & Hersen, 2008).

Méthode

Les analyses dont il est question dans cet article portent sur les établissements[2] qui composent le REP. Cependant, les établissements se sont constitués au fur et à mesure, et certains sont composés de plusieurs écoles qui ne sont pas entrées dans le dispositif en même temps. C’est pourquoi nous avons considéré qu’il y avait 20 établissements, et non 17, qui composent le REP.

Des analyses multiniveaux de croissance permettant d’évaluer une évolution et d’observer les effets du contexte (notamment ceux des établissements) auraient pu être réalisées puisque les élèves sont soumis à des évaluations externes en français et en mathématiques à trois reprises lors de leur scolarité primaire. Toutefois, nous nous heurtons à la même difficulté que celle décrite précédemment, compte tenu de la constitution progressive du REP de 2006 à 2011. Le REP ne constitue pas un ensemble homogène, car, selon les établissements, les élèves n’ont pas été exposés le même nombre d’années au dispositif.

La première partie de cette étude a pour but d’étudier globalement et par établissement l’évolution des résultats des élèves sur une période de quatre ans (voir les quatre moments dans le Tableau 1).

Tableau 1

Plan expérimental (séries temporelles)

Plan expérimental (séries temporelles)

-> See the list of tables

On retrouve donc un schéma classique du type « avant – traitement – après (2) », partant de l’hypothèse que, si le dispositif REP est efficace, on devrait observer des résultats qui s’améliorent entre t-1 et t+1, et qui se maintiennent (ou continuent de s’améliorer) en t+2.

Dans cette perspective, notre étude s’intéresse tout particulièrement aux résultats des différents établissements, dont on peut notamment étudier les « profils d’évolution » définis par les quatre moyennes observées entre t-1 à t+2. Le profil de chaque établissement est donc exprimé par une série de quatre moyennes ordonnées.

Vu sous cet angle, le problème est tout à fait classique et peut être traité en appliquant la méthode usuelle d’analyse de la variance sur un schéma défini par deux facteurs : le facteur Moments (quatre modalités ou niveaux : de t-1 à t+2) et le facteur Établissements (20 modalités). De plus, puisque les quatre moments sont ordonnés dans le temps, on peut appliquer au facteur Moments des contrastes polynomiaux. Cette approche permettra en particulier d’étudier la tendance (c.-à-d. l’évolution) des résultats observés entre t-1 et t+2 : tendances linéaire, quadratique et, éventuellement, cubique[3] (Howell,1998).

Par ailleurs, outre l’effet des deux facteurs sur les résultats des élèves, il est également possible d’étudier l’effet dû à l’interaction entre ces mêmes facteurs, ce qui permet notamment de vérifier si l’effet du moment dépend de l’établissement (ou, selon le point de vue adopté, si l’effet de l’établissement dépend du moment). Dans le cadre de notre étude, la réponse à cette question est cruciale puisqu’elle montrera si les profils d’évolution des établissements diffèrent plus ou moins les uns des autres. À cet égard, on dira que deux profils sont identiques si les tracés qui les représentent sont parallèles, ou se superposent dans le cas limite (même type d’évolution ; voir les figures de l’interaction avec, en abscisse, les quatre moments). Cette définition s’applique également aux profils tels que nous les considérerons dans la deuxième partie de cet article.

Signalons enfin qu’à partir d’une analyse de la variance globale, il est possible d’envisager l’étude de certains phénomènes plus spécifiques (ou sectoriels) en considérant l’approche dite des comparaisons partielles (ou multiples), par exemple la méthode de Bonferroni, issue de la famille des comparaisons dites a posteriori ou post-hoc (Howell, 1998).

Il faut retenir également que ces différents traitements (tout comme ceux que nous présenterons ultérieurement) ont été effectués en considérant les résultats fournis par des épreuves (ou évaluations) externes :

  • dans deux disciplines : compréhension de l’écrit (CE) et mathématiques (maths) ; et

  • dans deux années d’études (en début et en fin de primaire) : deuxième année (2P) et sixième année (6P) primaires[4]. Les résultats utilisés ont été exprimés en scores centrés réduits (ou scores z)[5] par élève, puis nous avons calculé la moyenne de ces scores individuels par établissement. L’utilisation de scores z permet de comparer les résultats à des évaluations différentes.

Notre base de données comportait donc quatre situations différentes : CE en 2P, maths en 2P, CE en 6P et maths en 6P.

Les objectifs de cette première analyse sont donc les suivants : 1) vérifier quelle est l’évolution globale (ensemble des établissements) à travers les moments considérés et 2) vérifier s’il existe une interaction entre les deux facteurs considérés, c’est-à-dire si le résultat des établissements varie en fonction du moment considéré.

Nous avons choisi d’utiliser les résultats aux évaluations externes étant donné que nous avons dû travailler sur des données existantes présentant le mérite d’être communes à tous les élèves d’une année d’études et pour une même année scolaire. De plus, les résultats de ces évaluations entrent dans les notes des élèves et participent à la certification en fin de cycle. Quelques biais potentiels peuvent toutefois être relevés. Ainsi, il faut préciser que ces épreuves sont plus ou moins standardisées en matière de passation et de correction, malgré des consignes très précises. Ajoutons qu’il ne s’agit pas des mêmes évaluations d’une année à l’autre, même si elles sont construites de façon identique, sont basées sur un tableau de spécifications portant sur le plan d’études et mesurent les mêmes objectifs d’une année à l’autre. Il en va de même pour les échantillons d’élèves considérés. Ils proviennent des mêmes établissements, mais ne sont pas strictement équivalents d’une année à l’autre (voir Tableau 2).

Dans un second temps, nous avons essayé d’établir une typologie des évolutions observées et d’en dégager les caractéristiques qui les définissent au moyen d’une analyse de grappes (cluster analysis).

Comme nous avons déjà eu l’occasion de le préciser, un des objectifs de cette étude est de vérifier comment évoluent les résultats des élèves, globalement et par établissement, entre les quatre moments considérés. À cet effet, il convient tout particulièrement de déterminer si l’évolution constatée est à peu près la même pour l’ensemble (la majorité) des établissements ou si, au contraire, cette évolution varie beaucoup d’un établissement à l’autre. Poursuivant l’étude dans cette direction, nous avons cru nécessaire de chercher à regrouper les établissements qui présentent des profils d’évolution semblables et à distinguer des groupes d’établissements (grappes) caractérisés par des profils bien contrastés. (Nous recherchons des groupes aussi homogènes et aussi différenciés que possible.) À partir de ces groupes, la question est alors de vérifier s’il existe des caractéristiques propres aux établissements et aux élèves qui les fréquentent susceptibles d’« expliquer » les ressemblances et les différences observées.

Tableau 2

Nombre d’élèves dans les établissements en fonction de l’année scolaire et du moment

Nombre d’élèves dans les établissements en fonction de l’année scolaire et du moment

-> See the list of tables

L’objectif de la démarche est donc d’effectuer une classification – soit d’établir une typologie – des établissements en fonction des profils qui décrivent leur évolution.

De ce point de vue, l’analyse typologique classique (ou classification) est la démarche statistique appropriée, qui sera appliquée à un tableau à double entrée présentant quatre colonnes (une pour chaque moment) et autant de lignes qu’il y a d’établissements. L’analyse typologique peut être définie de la façon suivante :

« Étant donné un ensemble d’objets (ou d’individus) décrits par un certain nombre de caractéristiques (ou variables), constituer des groupes (ou types) d’objets tels que les objets soient les plus similaires possibles au sein d’un groupe et que les groupes soient aussi dissemblables que possible ; la ressemblance ou la dissemblance étant mesurée sur l’ensemble des variables décrivant les objets » (Evrard, Pras & Roux, 2003).

Sur le plan pratique, ce type d’analyse peut être effectué en appliquant différents procédés. Or, il n’est pas toujours facile d’en privilégier un parmi ceux que les logiciels statistiques proposent. Disons simplement que la méthode classique, basée au départ sur le calcul des distances entre chaque établissement et chacun des autres, s’est avérée peu utile. En raison de certaines caractéristiques des données, elle conduit simplement à isoler quelques établissements très différents des autres. Il en résulte que les premiers groupes comportent un ou quelques établissements seulement, dont la caractéristique principale est de se démarquer très nettement de tous les autres. Poursuivre dans cette direction aurait donc conduit à étudier uniquement quelques établissements très atypiques et à ignorer ou à négliger la plupart d’entre eux. Après divers essais d’analyse et d’interprétation (en variant notamment le nombre de groupes demandés), il est apparu que la méthode la plus satisfaisante est celle dite des nuées dynamiques (ou centres mobiles ou encore k-moyennes, désignées k-means dans la littérature et les logiciels anglophones). C’est donc en utilisant cette variante de la méthode que les résultats présentés ici ont été obtenus.

Selon nous, cette démarche devrait permettre de répondre à deux questions :

  1. Existe-t-il une évolution positive (c.-à-d. des résultats globalement plus élevés) entre l’année -1 (année précédant l’introduction du nouveau dispositif) et l’année 0 (année au cours de laquelle ce dispositif a été appliqué pour la première fois) ?

  2. Comment les résultats des établissements ont-ils évolué au cours des deux années qui ont suivi l’introduction du nouveau dispositif (+1 et +2) ?

Résultats

Nous allons présenter les résultats en plusieurs phases : examiner la tendance globale selon les quatre moments considérés, puis en fonction des établissements et des périodes (p. ex., t-1/t ou t/t+2 ou encore t-1/t+2). Nous essaierons ensuite de dégager des profils d’évolution par discipline ou par année d’études (en début ou en fin de primaire). L’objectif sera d’essayer de les expliquer.

De manière globale, l’amélioration entre l’année précédant l’entrée dans le dispositif et deux ans après est assez peu marquée. Comme l’illustre la figure 1, des différences d’évolution sont observées selon la discipline considérée. En effet, même si les progrès sont relativement minimes, un écart positif de score de t-1 à t+2 est relevé pour les mathématiques au début de la scolarité, mais pas à la fin du primaire. Ce n’est pas le cas pour la compréhension de l’écrit, surtout en fin de primaire.

Figure 1

Évolution des scores z de la période t-1 à la période t+2 en CE et en maths 2P et 6P

Évolution des scores z de la période t-1 à la période t+2 en CE et en maths 2P et 6P

-> See the list of figures

Tableau 3

Évolution globale des établissements entre le moment t-1 et le moment t-2

Évolution globale des établissements entre le moment t-1 et le moment t-2

-> See the list of tables

Le tableau 3 montre une situation très contrastée selon les établissements. Ainsi, pour la compréhension de l’écrit, près de la moitié des établissements (2P = 11/20 et 6P = 9/20) connaissent une évolution positive entre le moment ayant précédé l’entrée dans le dispositif et deux ans après son introduction. En mathématiques, la situation diffère selon l’année d’études : en 2P, 11 établissements sur 20 présentent une évolution positive, tandis que 7 en présentent une négative. À la fin du primaire, la majorité des établissements en maths 6P (14/20) évoluent négativement. Relevons que, dans l’ensemble, de rares établissements ont des résultats identiques entre les deux moments extrêmes (t-1 et t+2), c’est-à-dire que leurs résultats ne semblent pas avoir évolué.

Quand on détaille les évolutions en fonction des établissements, on constate qu’ils se différencient passablement, non seulement en matière d’écart d’un moment à l’autre, mais également de type d’évolution (plutôt ascendante ou plutôt descendante), et ce, aussi bien en compréhension de l’écrit (CE) qu’en mathématiques (maths). Ainsi, en CE 2P (voir Figure 2), l’établissement 6 connaît d’abord une évolution négative puis positive relativement marquée puis à nouveau négative, ce qui correspond à une stagnation entre l’année précédant l’entrée dans le dispositif et deux années après son introduction. L’établissement 4 illustre une évolution positive relativement linéaire. L’établissement 1 évolue également positivement, même s’il suit une progression moins linéaire puisqu’il commence par une évolution négative. Enfin, l’établissement 14 présente relativement peu d’évolution.

Figure 2

Évolution par établissement en CE 2P

Évolution par établissement en CE 2P

-> See the list of figures

À noter que, dans la figure 2, n’apparaît qu’une partie des établissements sélectionnés pour représenter les différents types d’évolution : évolution ascendante en traits pleins, stagnation en pointillés fins ou évolution descendante en pointillés longs.

En maths 6P (voir Figure 3), les profils d’évolution sont également très variables d’un établissement à l’autre. Par exemple, l’établissement 5 connaît une évolution positive relativement régulière. L’établissement 19, qui progresse également, a une évolution moins régulière : il commence par baisser (de t-1 à t), puis progresse. L’établissement 18 a tendance à stagner : il progresse un peu au début, pour retomber, au bout de deux ans, pratiquement au point de départ. Enfin, plusieurs établissements commencent par progresser, puis l’évolution devient négative. C’est le cas de l’établissement 15.

Figure 3

Évolution par établissement en maths 6P

Évolution par établissement en maths 6P

-> See the list of figures

Le type d’évolution est d’ailleurs variable selon la discipline et l’année d’études, si l’on observe les contrastes polynomiaux (voir Tableau 4). Ainsi, en compréhension de l’écrit, il n’y a aucune évolution statistiquement significative, pas plus en 2P qu’en 6P. Par contre, en maths 2P, on observe une légère tendance linéaire (qui évolue positivement de manière relativement progressive, passant en moyenne de -0,28 à -0,11) et quadratique (qui évolue positivement entre t-1 et t, puis qui a tendance à stagner entre t et t+1, pour à nouveau augmenter entre t+1 et t+2).

Tableau 4

Contrastes polynomiaux (moments) en CE et en maths 2P et 6P

Contrastes polynomiaux (moments) en CE et en maths 2P et 6P

-> See the list of tables

Des évolutions différentes en fonction des deux sous-périodes (t-1 et t ; t et t+2)?

Étant donné la grande variété d’évolutions observées pour les quatre moments considérés, nous avons décidé de subdiviser les périodes : d’une part, la période précédant l’entrée dans le dispositif et celle de son entrée, d’autre part, l’année de l’entrée et la période se situant deux ans plus tard. En d’autres termes, y a-t-il des effets de l’introduction du dispositif ? Et ces effets sont-ils durables au bout de deux ans ?

L’analyse post-hoc réalisée sur les rendements aux différents moments (par le test de comparaison de Bonferroni) met en évidence des évolutions variées selon la discipline et l’année d’études considérées (voir Tableau 5).

Tableau 5

Comparaison des rendements par moment pris 2 à 2

Comparaison des rendements par moment pris 2 à 2

-> See the list of tables

Globalement, il ressort qu’il y a très peu d’effets entre le moment précédant l’introduction du REP et l’année d’après, à l’exception des mathématiques au début de la scolarité : le score z moyen va en augmentant, passant de -0,28 à -0,09. Il en va de même pour la période allant de l’introduction du dispositif à deux ans plus tard. De nouveau, en maths 2P seulement, une différence positive et statistiquement significative entre le moment t et t+2 est observée : le score z passe de -0,28 à -0,11.

Malgré ces résultats peu encourageants et étant donné les évolutions très variables d’un établissement à l’autre, nous avons décidé de poursuivre les analyses pour essayer de comprendre ce qui pouvait expliquer une évolution positive ou, au contraire, négative.

Les profils d’évolution

Nous avons d’abord réalisé une analyse de grappes pour chaque discipline et chaque année d’études. Pour chaque analyse, nous indiquerons dans quelle mesure les grappes regroupent ou non des établissements ayant les mêmes caractéristiques sociodémographiques. Nous avons choisi une solution en trois grappes (ou en deux, p. ex. pour les maths 2P) pour deux raisons : la première étant qu’avec un nombre relativement petit d’établissements, elle présente l’avantage que chaque grappe comporte plusieurs établissements, la seconde étant que l’évolution observée à l’intérieur d’une grappe soit comparable.

Figure 4

Profil d’évolution en CE 2P

Profil d’évolution en CE 2P

-> See the list of figures

En CE 2P, les trois grappes connaissent des profils d’évolution différents (voir Figure 4) :

  • La première grappe (3 établissements), dont les résultats sont plutôt bas au départ, présente une évolution positive ;

  • La deuxième grappe (7 établissements) présente une évolution globalement négative ;

  • La troisième grappe (10 établissements), dont les scores sont les plus élevés, connaît une évolution globalement positive.

Il est difficile d’expliquer par les caractéristiques sociodémographiques des établissements leurs différentes évolutions. Il faut sans doute rechercher d’autres raisons telles que les pratiques pédagogiques, la dynamique ou le climat existant à l’intérieur de l’établissement.

Figure 5

Profil d’évolution en maths 2P

Profil d’évolution en maths 2P

-> See the list of figures

En maths 2P, la meilleure solution pour regrouper les établissements est celle en deux grappes comportant chacune la moitié des établissements (voir Figure 5) :

  • La première grappe (10 établissements) présente des scores proches de la moyenne et a tendance à stagner ;

  • La seconde grappe (les 10 autres établissements) commence avec des scores plus faibles, évolue positivement de façon marquée au début, mais retombe un peu lors de la dernière période. L’évolution est globalement positive.

Cette fois, des différences dans le taux d’élèves en retard sont observées, la première grappe comportant une proportion plus élevée d’élèves en retard que la seconde.

À la fin de l’école primaire, la situation se présente un peu différemment du point de vue des établissements qui se regroupent. Pour la compréhension de l’écrit, elle se présente comme suit :

  • La première grappe (6 établissements) a tendance à stagner. Ses résultats pour les deux moments extrêmes se situent autour de la moyenne ;

  • Dans la deuxième grappe (7 établissements), l’évolution est positive, avec un profil de type cubique. Le score est relativement bas au départ et descend encore au moment t+1. La progression a lieu entre t+1 et t+2 ;

  • La troisième grappe (7 établissements) se caractérise par une évolution négative linéaire.

Il est difficile d’expliquer les raisons de ces regroupements, hormis le fait que les établissements faisant partie d’une grappe évoluent de la même manière : pas plus l’entrée dans le REP que la composition sociodémographique ne se différencient particulièrement d’une grappe à l’autre. Il faut sans doute rechercher des raisons liées à la dynamique des établissements ou aux pratiques pédagogiques utilisées.

En mathématiques, plusieurs solutions ont été testées. Celle à trois grappes a été finalement retenue, même si la deuxième grappe ne comporte qu’un établissement. La situation se présente de la manière suivante : une première grappe se compose de 11 établissements, dont les résultats sont relativement bons et ont tendance à stagner. La deuxième grappe ne se compose que d’un seul établissement atypique, avec des résultats très faibles. La troisième grappe regroupant 8 établissements présente une évolution négative. Les différentes grappes ne se différencient pas sur le plan des caractéristiques sociodémographiques.

Compte tenu des résultats mis en évidence dans le tableau 5, à savoir une certaine similarité à l’intérieur d’une discipline, nous avons décidé de réaliser une seconde analyse de grappes par discipline (compréhension de l’écrit d’une part et mathématiques d’autre part) afin d’observer s’il y aurait davantage de logique de regroupement à l’intérieur des établissements.

Figure 6

Profil d’évolution en CE 2P et 6P

Profil d’évolution en CE 2P et 6P

-> See the list of figures

L’analyse de grappes réalisée par discipline pour les deux années scolaires (début de primaire et fin de primaire) montre les résultats suivants. Pour la compréhension de l’écrit (voir Figure 6), la situation se présente comme suit avec trois grappes :

  • Une première grappe (9 établissements) connaît une évolution positive assez marquée en début de primaire, mais une évolution négative en fin de primaire ;

  • Dans la deuxième grappe (7 établissements), la situation est inversée : l’évolution est négative en début de primaire et positive en fin de primaire ;

  • Enfin, la troisième grappe (4 établissements) se caractérise par une évolution très similaire au début et à la fin du primaire de type cubique. Au départ, les scores augmentent, baissent, puis remontent, pour se stabiliser à un niveau un peu plus élevé qu’au départ.

Quand on observe les caractéristiques des établissements composant ces trois grappes en termes sociodémographiques (proportion d’élèves de milieux défavorisés, d’allophones et d’élèves en retard), on ne constate pas de différences statistiquement significatives, même si la première grappe comporte en moyenne une plus grande proportion d’élèves de milieux défavorisés (59 % c. 56 % pour la deuxième et 53 % pour la troisième). Il faut sans doute chercher ailleurs l’explication de ces similitudes et de regroupement dans les grappes. L’hypothèse suivante peut être avancée : les établissements qui connaissent la même évolution positive en début et en fin de 6P ont particulièrement mis l’accent sur l’apprentissage de la langue tout au long de la scolarité primaire[6]. Dans les autres situations, nous pouvons supposer qu’au contraire il y a une différence de centration entre le début et la fin de la scolarité primaire.

Pour les mathématiques (voir Figure 7), nous avons également adopté une solution en trois grappes. En 2P comme en 6P, la première grappe (2 établissements) connaît des évolutions positives. En 2P, les résultats sont au départ assez bas, puis augmentent. En 6P, ils se situent autour de la moyenne et terminent un peu au-dessus. La deuxième grappe (3 établissements) a un fonctionnement plus différencié entre les deux moments de la scolarité : en 2P, elle a une tendance à la baisse, alors que c’est l’inverse en 6P. Enfin, la troisième grappe, qui regroupe une majorité d’établissements (15), présente globalement une tendance à la baisse.

Figure 7

Profil d’évolution en maths 2P et 6P

Profil d’évolution en maths 2P et 6P

-> See the list of figures

Ces grappes se différencient cette fois de manière importante par la proportion d’élèves provenant de milieux défavorisés : 44 % dans la première grappe (c.-à-d. en dessous de la proportion requise pour entrer dans le REP), comparativement à 56 % dans la deuxième et 58 % dans la troisième.

Compte tenu des évolutions relativement différentes selon la discipline, nous ne présenterons pas les résultats en fonction des années d’études.

Discussion et conclusion

La mesure des effets de dispositifs visant l’égalité des chances et la lutte contre l’échec scolaire est problématique. Le modèle expérimental est rarement applicable tel quel, l’équivalence des groupes étant difficile à obtenir. Rappelons les débats méthodologiques qui, concernant les recherches sur le redoublement, ont pour objet d’assurer l’équivalence « vraie » des doublants et non-doublants (Grisay, 2001 ; Crahay, 2004). Dans le cas du REP genevois, la difficulté à mesurer les effets est d’autant plus grande qu’il s’agit d’un dispositif constitué petit à petit, et comportant un certain nombre de mesures expérimentées dans le dispositif et généralisées par la suite dans l’ensemble des établissements genevois de l’école primaire. Or, connaissant les effets de testing et, surtout, de connaissance des tests, nous craignons que la diffusion de ces informations n’ait eu un effet sur les pratiques courantes dans les écoles hors du REP.

Les analyses globales comparant les établissements du REP et les autres établissements primaires du canton de Genève n’ont pas pu mettre en évidence d’effets positifs de ce dispositif sur les acquis des élèves observés au moyen des résultats aux épreuves externes. Il faut souligner que ces premières comparaisons portaient sur des établissements trop différents du point de vue des compétences. C’est pourquoi, dans l’étude de Soussi et ses collaborateurs (2012), les auteurs ont tenté, dans un deuxième temps, de comparer les établissements bénéficiant des mesures REP avec d’autres établissements présentant des caractéristiques similaires, mais ne recevant pas de mesures. La réflexion critique sur la recherche oblige à reconnaître qu’ils n’ont pas réussi à respecter la condition ceteris paribus, notamment parce que l’histoire de chaque entrée dans le REP est singulière, qu’elle ne se passe pas au même moment et que les motivations pour y entrer peuvent différer.

C’est pourquoi il nous paraissait important de dépasser ce constat et de trouver une manière de mesurer des effets en prenant en compte le temps d’exposition au dispositif, mettant de côté le moment de l’entrée dans le dispositif. La méthode des séries temporelles (en prenant en compte les différents moments considérés) permet de réaliser cet objectif, ce qui n’était pas possible avec d’autres méthodes, par exemple l’analyse multiniveaux de croissance, pour laquelle il est nécessaire de disposer de plusieurs observations simultanées. Nous avons donc construit un plan expérimental comportant quatre moments définis pour chaque établissement indépendamment de son moment d’entrée dans le REP afin d’observer l’évolution générale des résultats en compréhension de l’écrit et en mathématiques en début et en fin de primaire, depuis l’année précédant l’entrée dans le dispositif et deux ans après son introduction. Nous avons également voulu voir quelle était l’évolution immédiate à court terme et aussi à moyen terme, à savoir au bout de deux ans d’introduction du dispositif, c’est-à-dire si cette évolution se poursuivait.

Le plan expérimental ainsi constitué a permis de montrer des effets d’interaction moments-établissement, c’est-à-dire que chaque établissement présente une évolution spécifique entre les deux moments extrêmes (celui qui précède l’entrée dans le dispositif et celui qui se situe deux ans après le début de l’expérience). Soulignons que l’évolution est positive dans certains établissements. Ces résultats confirment la variabilité des établissements du REP au-delà de leur variabilité en termes de composition sociodémographique.

Un découpage de l’évolution en deux phases (t-1/t et t/t+2) permet de constater que les effets sont également faibles, voire inexistants dans ces deux phases, à l’exception des mathématiques au début de la scolarité. Ainsi, les résultats observés une année avant l’entrée dans le dispositif se différencient de ceux observés lors de l’entrée dans le dispositif ou encore une année, voire deux années plus tard.

Par ailleurs, les évolutions varient également selon la discipline observée : la compréhension de l’écrit et les mathématiques. Ainsi, une évolution globalement positive est principalement observée en mathématiques en début de primaire pour les phases, mais pas à la fin du primaire.

Cette absence de progrès en compréhension de l’écrit peut étonner en partie étant donné l’accent mis sur la maîtrise de la langue dans la plupart des projets d’établissement. Toutefois, on sait que, dans certains quartiers comportant beaucoup d’élèves de milieux défavorisés et surtout allophones, la maîtrise de la langue est parfois moins grande, ce qui explique des résultats moins bons en lecture. Or, la langue est un vecteur de connaissances scolaires global et une maîtrise insuffisante a des répercussions dans toutes les disciplines. C’est pourquoi des efforts sont souvent mis pour développer les compétences langagières.

Par ailleurs, une évolution positive globale est observée en mathématiques au début du primaire, mais pas en fin de primaire. Cela pourrait sans doute s’expliquer par deux éléments. Le premier élément concerne le caractère cumulatif des connaissances en mathématiques. Il est certainement difficile de rattraper l’écart de départ. De plus, on peut supposer que plus les élèves avancent dans la scolarité, plus ils font face à des problèmes complexes qui les discriminent davantage et qui peuvent avoir un effet négatif sur les élèves du REP (voir Soussi et al., 2008 ; Bautier & Goigoux, 2004 ; Cèbe & Goigoux, 2004), notamment avec la gestion des implicites et les processus de secondarisation nécessaires à la construction des apprentissages scolaires. De manière générale, l’origine socioéconomique influe sur les compétences en mathématiques aussi bien que sur celles en lecture (voir les études du programme PISA, notamment OCDE, 2014 ; Andreu, Ben Ali & Rocher, 2016).

Le second élément est sans doute lié au fait du temps d’exposition au REP de la part des élèves. En effet, les plus jeunes élèves fréquentant des établissements du REP ont commencé leur scolarité dans le dispositif, ce qui n’est pas le cas de ceux en fin de primaire, qui ont été exposés moins longtemps à ce dispositif.

Pour essayer de dégager des tendances et d’expliquer ce qui détermine le type d’évolution, nous avons réalisé une analyse de grappes. Il est toutefois difficile de trouver une logique de regroupement des établissements sur la base des données récoltées et des caractéristiques sociodémographiques des établissements (proportion d’élèves de milieux défavorisés, d’allophones ou d’élèves en retard) ou encore de la taille de l’établissement ou du moment d’entrée dans le REP. Dans quels cas observe-t-on des progressions ou au contraire des stagnations, voire des baisses depuis le début du dispositif ? D’autres raisons sont sans doute à chercher ailleurs, par exemple dans la dynamique à l’intérieur des établissements et des équipes enseignantes ou dans les accents spécifiques mis dans le projet d’établissement (notamment, la lecture) qui pourraient expliquer des évolutions positives dans ce domaine. Des expériences de politiques d’éducation prioritaire menées dans d’autres pays, par exemple en France, ont montré que certaines zones d’éducation prioritaire (ZEP) réussissaient mieux que d’autres (voir Moisan & Simon, 1997). Il faut souligner que le plan expérimental utilisé (séries temporelles) a permis de montrer certaines évolutions positives, ce qui n’avait pas pu être montré avec des analyses quantitatives plus complexes, notamment multiniveaux. Ces séries temporelles offrent une mesure pertinente de la variable dépendante, car elles permettent de prendre en compte le fait que le REP s’est constitué en plusieurs phases et qu’il ne constitue pas un ensemble homogène, les élèves y étant scolarisés n’ayant pas été exposés de façon homogène au dispositif selon l’établissement. Toutefois, on ne dispose pas de mesures précises du changement dont on espère des effets sur les compétences des élèves.

Par ailleurs, nous constatons que les différentes grappes ne regroupent pas forcément les mêmes établissements selon l’année d’études ou la discipline observées. L’évolution est donc à la fois spécifique des établissements, de la discipline considérée, voire de l’année d’études.

Le plan expérimental utilisé dans cette étude a toutefois permis de dépasser un constat peu rassurant qui concluait à une absence d’effets du dispositif REP et de mettre en évidence l’existence de progrès dans certains établissements et en mathématiques, en particulier. Nous croyons qu’il faudrait creuser plus ou autrement le problème et notamment s’intéresser au type de mesures mises en place.

Ainsi, sans prendre en compte l’ensemble des neuf qualités transversales selon le modèle de Bouchard et Plante (2002, cités par Demeuse et Friant, 2012), qui permet d’évaluer la qualité d’une action, nous en retiendrons quelques-unes, parmi lesquelles la pertinence (les objectifs répondent-ils aux besoins ?), l’efficacité et l’efficience. Ainsi, le REP, qui a pour objectif de lutter contre l’échec scolaire et de promouvoir l’égalité des chances, comporte assez peu de mesures : dans des établissements socialement défavorisés, le nombre d’élèves par classe est diminué de deux et on a créé la fonction d’éducateurs scolaires permettant de faire le lien entre la famille et l’école ainsi que l’environnement extérieur. Si les mesures mises en place visent à améliorer les conditions d’enseignement, peu de mesures pédagogiques ou didactiques ont été prévues sur le plan institutionnel. Cela ne signifie pas que les équipes enseignantes ne s’adaptent pas à leur public. Mais ces résultats, comme ceux obtenus dans les études précédentes, tendent à montrer la nécessité d’aller plus loin dans l’évaluation et l’observation des effets. Il serait nécessaire d’observer de façon plus fine et plus qualitative la mise en oeuvre concrète du REP, en particulier dans les établissements qui connaissent une évolution positive, pour essayer d’en comprendre les raisons, notamment du point de vue des pratiques pédagogiques et de la dynamique de l’établissement.