Article body

Introduction

En 2017, les brevets informatiques et Internet (B2i®) et les certificats informatiques et Internet (C2i® de niveau 1; Ministère de l’Éducation nationale et de la Jeunesse, 2008) évoluent vers un cadre commun de référence des compétences numériques entre le scolaire et le supérieur, à savoir le PIX (Ministère de l’Éducation nationale et de la jeunesse, 2016). Dans ce contexte, nous observons un dispositif ancien (2006-2008) ayant eu pour objectif de former et, le cas échéant, de certifier au C2i® de niveau 1 le plus grand nombre de primo-arrivants au sein d’un établissement en Lettres, sciences humaines et sociales (LSHS). Pour les établissements d’enseignement supérieur, l’enjeu réside dans la recherche et la conception de la meilleure approche pour former aux savoirs universitaires d’excellence et certifier des compétences. Des travaux montrent que les apprenants manquent de stratégies efficaces (notamment de ressources cognitives) leur permettant de surmonter des difficultés (Tardif, 1992, 1996) inhérentes au processus de désétayage ou de « décontextualisation » (Meirieu, 2006) de la compétence, ce qui est appris dans un contexte et difficilement exploité ailleurs. Pour Meirieu (2006), « désétayer, c’est permettre à l’apprenant de se passer des aides formatives » et donc d’acquérir de l’autonomie dans son apprentissage pour permettre une modification plus importante de ces conceptions initiales et développer ses compétences métacognitives. Dioni (2008) a montré l’intérêt de travailler l’assise d’un métier étudiant et la nécessité de lui donner l’espace nécessaire à l’expression de son autonomie. Perrenoud (1997) a établi que nous ne sommes pas égaux lorsqu’il s’agit de faire face à une nouvelle situation en faisant appel à des connaissances procédurales ou méthodologiques. Meirieu (1989) a mis en avant qu’il est en effet plus aisé de maîtriser des savoirs déclaratifs et plus difficile de déterminer la famille à laquelle appartiennent le problème, les outils et les méthodes qui permettraient de traiter les difficultés. Par conséquent, une des stratégies de l’apprenant en difficulté pour « décontextualiser » ou qui n’a pas l’espace pour le faire consiste à accumuler un grand nombre de situations particulières. Ainsi, Rey (1996) propose de remplacer la notion de « compétence » par celle « d’intention », exprimant ainsi la conscience du sujet dans sa volonté d’évaluer la situation à partir de ce qu’il peut extraire et de ce qu’il peut donc traiter à l’aide de compétences qu’il a lui-même décontextualisées et déjà exprimées en d’autres situations.

Pour travailler au caractère transférable d’une intention, il est donc nécessaire de mettre en place un cadre de pratique facilitateur, un écosystème propice (Endrizzi et Sibut, 2015, p. 15). Ce dernier doit permettre à l’apprenant d’étayer ses intentions en jeu et de se désengager des conditions d’apprentissage, le décorum (Lemaître, 2009, 2018), à savoir le milieu didactique, l’enseignant(e), les ressources et les modalités d’évaluation. De fait, pour mettre en oeuvre le processus de transfert, il faudrait a minima réunir simultanément deux conditions, à savoir un contexte favorable de mise en oeuvre de la compétence et donc des intentions de l’apprenant, et des capacités cognitives permettant de rendre compte de la structure de la compétence/intention et de repérer ce qui peut être réinvesti dans une autre situation.

Plus spécifiquement, les textes assignent à l’Université (Circulaire no 2005-051 du 7 avril 2005) de prendre en charge l’acculturation aux usages professionnels du numérique dans le sens du métier de l’apprenant (Dioni, 2008). Dans la perspective d’outiller et de garantir une pratique numérique responsable et professionnelle, le certificat Informatique et Internet de niveau 1 (C2i®1) pour les étudiants de licence a été défini en 2002, expérimenté en 2003-2004 et « généralisé »[1] à partir de la rentrée 2006.

Les recherches, portant spécifiquement sur le C2i®, ne s’interrogent plus sur la nécessité de la certification des compétences numériques (Cochard et Rogard, 2008), ses modalités ou la capacité à développer ou non des compétences réflexives à l’aide du dossier numérique de compétences (De Lavergne et Heïd, 2012). Elles partent du postulat que le C2i® existe (Mell et Trellu, 2016), qu’il possède une légitimité propre et qu’il génère des représentations variables auprès d’acteurs décideurs de l’université (Mell, Trellu, Roux et Le Berre, 2015), ce qui pourrait expliquer les disparités existantes en matière de dispositifs de formation et de certification. Le C2i®1 peut en effet se préparer en présentiel, dans le cadre de travaux dirigés spécialisés ou en hybride à partir d’une collection de MOOC par exemple (Mocquet, Santi, Ammari et Marchand, 2016). Notre objectif n’est pas de nous interroger sur le C2i®, mais d’exploiter les données issues des formations et certifications en contexte pour évaluer l’influence des conditions de réinvestissement des intentions travaillées en formation et d’un décorum universitaire, mis en oeuvre en filière disciplinaire.

Alors que les compétences visées par ce certificat sont transversales, il n’y a, à notre connaissance, que très peu d’études sur l’influence du contexte et des processus de « décontextualisation » de la formation initiale, c’est-à-dire du « milieu » au sens de la didactique des mathématiques (Brousseau 1998, Chevallard 1995) dans lequel elles sont appréhendées en prenant en compte les différents types ou sources d’intentions auxquels les étudiants peuvent faire appel quand ils agissent. Dans l’étude de l’usage ou du non-usage des ressources numériques (Papi, 2012), les compétences initiales des étudiants et de leurs évolutions par la rencontre avec l’ingénierie didactique sont évaluées à l’aide de réponses à une enquête dont les étudiants peuvent avoir des difficultés à saisir la nuance entre savoir utiliser un traitement de texte et savoir l’utiliser au sens du référentiel. Au même titre, l’auteur conclut en soulignant que « certains étudiants partent de compétences tellement faibles que leurs chances de parvenir à se servir des ressources proposées pour réaliser leur travail est moindre ». La question qui suit cette affirmation est la suivante : Qu’est-ce qui caractérise les compétences/intentions domestiques des apprenants acquises hors du cadre scolaire, décrites par l’auteure comme étant des compétences initiales « tellement faibles » de certains étudiants? Quel est cet écart, quelle est sa source et quels processus peuvent le réduire? L’objectif de l’article est l’étude de l’impact d’un dispositif sur l’évolution des intentions numériques des étudiants qui peuvent être travaillées dans plusieurs contextes : au cours d’une formation, ici celle du C2i®1, hors du cadre scolaire/universitaire, c’est-à-dire domestique, et dans le cadre des actions disciplinaires.

La question du milieu didactique d’exercice des compétences de l’étudiant comprend : 1) la filière d’appartenance de l’étudiant et ce qu’elle peut mettre en oeuvre pour travailler les compétences au sein d’un enseignement spécifique ou dans le cadre de pratiques communes à tous les enseignements; 2) le rapport de proximité des travaux de l’étudiant avec la technologie et le contenu des compétences visées; 3) les ressources propres à l’individu, extérieures au contexte d’apprentissage disciplinaire, acquises naturellement au fil des années et exploitées dans le cadre de sa formation.

Notre intérêt réside donc dans l’influence du milieu didactique comme espace possible d’expression de la « décontextualisation » et l’influence des dispositifs de formation mis en place pour la formation au C2i®1, comme espace de contextualisation des savoirs en jeu. Pour établir ces influences, nous avons analysé les données collectées au cours des trois premières années de mise en oeuvre d’un dispositif visant la formation et la certification massives aux compétences numériques transversales (C2i®1) au sein d’une université française (de 2005 à 2008). Il s’agissait de déterminer quelle approche ou quel dispositif de formation, parmi ceux qui ont été mis en place par l’université, produisait les résultats les plus probants en matière de certification, en prenant en considération la nature même de l’offre. Cela revient à s’interroger sur la capacité du dispositif à organiser ou non un milieu didactique propice à la transposition des intentions en dehors de la situation d’apprentissage, donc à étudier les conditions nécessaires à la transversalité.

Ce terrain d’étude est propice à de telles analyses puisque, d’une part, les compétences numériques à acquérir sont opératoires (il y est question de maîtriser quelques fonctions simples d’un tableur ou d’un traitement de texte, de produire des documents longs en respectant les règles de citation…); elles peuvent donc a priori y être facilement exploitables dans d’autres contextes et notamment dans un cursus universitaire. D’autre part, l’université étudiée a spécifiquement mis en place un dispositif progressif sur trois années avec au terme de chaque année un examen commun pour l’ensemble des candidats. Le candidat à la certification est donc placé dans un contexte que l’université espère « favorable » à la compréhension des enjeux, dans la mesure où il offre un dispositif de formation spécifique encadré, des sessions communes d’examen et une communication adaptée.

Du point de vue des dispositifs spécifiques mis en oeuvre par l’établissement, quelle que soit la filière d’appartenance de l’apprenant, l’objectif est que celui-ci bénéficie du même type d’enseignement du point de vue des compétences numériques. Cet enseignement devra se dérouler sans ancrage disciplinaire et c’est donc le caractère générique de la compétence numérique qui sera ici enseigné et évalué. Le choix d’exploiter ou non ces compétences numériques de base avec les étudiants relèvera ensuite des filières. Par conséquent, la possibilité de rejouer un ensemble de compétences apprises hors contexte de la discipline ou de la filière sera à la charge d’enseignements liés à la discipline d’appartenance de l’étudiant.

Au regard de cette situation et de la nature des données, trois questions guident ce travail :

  • Observe-t-on un effet filière dans les mesures de performance des candidats à la certification du C2i®1?

  • Quel impact a le cadre de pratique dans lequel sont placés les étudiants/candidats pour se préparer à la certification, sans ou avec une formation spécifique, au sein d’une filière disciplinaire faisant directement référence ou non à des compétences numériques?

  • L’hypothèse que la pratique en filière peut être un cadre d’expression au processus de « décontextualisation » s’avère-t-elle fondée ou pas, et si oui, sur quels critères?

Méthode

Cette étude porte sur l’analyse des données collectées au cours des trois premières années de mise en oeuvre du C2i®1 au sein d’une université française de Lettres, sciences de l’homme et des sociétés. Celle-ci accueillait au moment du recueil de données environ 27 000 étudiants, inscrits au sein de huit filières : droit et science politique, lettres, psychologie, histoire-géographie, anthropologie-sociologie, économie-gestion, communication et langues.

Les modalités de préparation à la certification ont évolué au sein de cette université durant les trois années étudiées :

  • Session 1. Aucune préparation spécifique : le candidat se présentait avec ses propres compétences domestiques couplées à des compétences didactiques et transversales naturellement mises en oeuvre au sein des filières;

  • Session 2. Une préparation spécifique a été intégrée aux filières : le candidat se présentait avec des compétences identiques à celles de la session 1, couplées à celles acquises lors de la formation spécifique intégrée à sa filière d’appartenance;

  • Session 3. Une préparation spécifique a été dispensée par un département spécialisé : le candidat se présentait avec des compétences identiques à celles de la session 1, couplées aux compétences acquises lors de la formation spécifique dispensée par un département spécialisé, indépendant de sa filière d’appartenance.

Quel que soit le dispositif, l’inscription à la certification a été un acte volontaire de la part des candidats. Le certificat reste un complément au diplôme et ne rentre pas en compte dans l’obtention des ECTS (European Credits Transfer System). Pour le valider, chaque candidat devait réussir deux épreuves indépendantes l’une de l’autre, à savoir un examen de connaissances sous forme de QCM (45 questions en 45 minutes) et un exercice pratique surveillé d’une heure. La réussite à ces épreuves était conditionnée par l’obtention d’un score minimal. Seuls les étudiants primo-accédants ont été retenus pour cette étude, afin d’éliminer l’influence d’éventuels autres cadres de pratique. Cela représentait 3 796 candidats au C2i®1.

Le corpus de données est constitué :

  • De la filière disciplinaire d’appartenance de chaque candidat à la certification;

  • De la session de certification à laquelle chaque candidat s’est présenté;

  • Du résultat à la certification (obtention ou non du C2i®1);

  • Des résultats aux deux épreuves (QCM et exercice pratique) que constitue le certificat pour chaque candidat;

  • Du détail des résultats de l’exercice pratique, à savoir le taux de réussite global à chaque domaine et à chaque compétence du référentiel.

Les domaines et compétences du référentiel du C2i®1 sont présentés au tableau 1.

Tableau 1

Domaines et compétences du référentiel (BO no 15 du 14 avril 2005) retenus dans ces analyses

Domaines et compétences du référentiel (BO no 15 du 14 avril 2005) retenus dans ces analyses

-> See the list of tables

L’analyse des données a consisté en une comparaison des résultats obtenus (obtention du C2i®1, scores au QCM et à l’exercice pratique) entre sessions et entre filières au moyen des tests statistiques appropriés (khi 2 et ANOVA). L’ensemble des analyses ont été réalisées sous le logiciel R (version 3.2.2).

Résultats

Résultats aux épreuves de certification pour les trois sessions

Le tableau 2 présente, pour chaque session, la composition des effectifs des primo-accédants candidats à la certification aux compétences numériques (C2i®1), les résultats obtenus (pourcentage de réussite au C2i®1) et la moyenne des scores obtenus pour chacune des deux épreuves (théorique et pratique).

Tableau 2

Résultats obtenus au C2i®1 aux trois sessions de certification

Résultats obtenus au C2i®1 aux trois sessions de certification

a. Les scores obtenus aux épreuves théorique et pratique s’échelonnent de 0 à 100 points (0 étant le score le plus faible et 100 le score maximal).

*** p < 0,001.

-> See the list of tables

De manière générale, les taux de réussite au C2i®1 demeurent faibles (19 %, 27 % et 32 %), bien qu’ils s’améliorent significativement au cours des trois sessions de certification (khi 2 = 25,2; p < 0,001). Cela témoigne d’une difficulté pour les candidats à remplir simultanément les deux conditions (épreuves théorique et pratique) nécessaires à l’obtention de la certification. Les résultats montrent par ailleurs que ces faibles taux de réussite dépendent de résultats variables aux deux épreuves, ceux-ci évoluant de manière non linéaire entre les trois sessions. En session 1, le score à l’épreuve théorique est relativement faible (< 50 pts) alors que l’épreuve pratique atteint un score moyen élevé (73 pts) témoignant d’une assez bonne maîtrise de la part des étudiants. En session 2, la tendance est inversée. Les candidats obtiennent un score moyen acceptable pour l’épreuve théorique (58 pts), mais l’épreuve pratique devient pénalisable pour l’obtention du certificat (< 50 pts). Enfin, en session 3, la situation semble s’équilibrer, les candidats obtenant en moyenne de meilleurs scores aux deux épreuves.

Analyse de l’influence de la filière d’appartenance des candidats

La première session de certification s’est adressée à des étudiants qui n’avaient pas eu accès à un dispositif spécifique de formation ou de préparation à l’examen. L’obtention du C2i®1 correspondait donc, pour ce public, à la certification de compétences acquises naturellement (CD) et de compétences « naturellement » travaillées en filière (CDTN), du point de vue tant didactique que de la pratique d’enseignement.

Le tableau 3 présente les résultats obtenus à la certification lors de la première session, en fonction de la filière d’appartenance des étudiants.

Tableau 3

Résultats obtenus au C2i®1 à la session 1, par filière

Résultats obtenus au C2i®1 à la session 1, par filière

ns : non significatif (à hauteur de 5 %).

-> See the list of tables

Les résultats obtenus à la certification lors de la session 1 ne diffèrent pas de manière statistiquement significative entre les filières d’appartenance des étudiants (khi 2 = 6,4, non significatif à hauteur de 5 %). Quelle que soit la filière, le score moyen obtenu à l’exercice pratique est supérieur au score moyen obtenu à l’exercice théorique et le taux de réussite global reste faible (et ce, dans les mêmes proportions pour l’ensemble des filières). C’est donc l’exercice théorique qui semble pénalisant pour l’obtention du certificat (score moyen de ≤ 50 pts), et ce, quelle que soit la filière.

Deux filières témoignent d’un score plus faible que les autres à la certification, à savoir psychologie et communication, alors que les moyennes des résultats obtenus à chaque épreuve sont dans la même épure que pour les autres filières. Nous faisons donc l’hypothèse d’une plus grande difficulté pour les étudiants de ces deux filières à couvrir simultanément les deux champs : théorique et pratique.

Analyse de l’influence des dispositifs de formation mis en place par l’université

Le tableau 4 rend donc compte, pour chaque session (2 et 3) et en fonction de chaque filière, de l’effectif d’étudiants/candidats ayant présenté la certification, du taux de réussite au C2i®1 et de la moyenne des scores obtenus à chaque épreuve (théorie et pratique).

De manière générale, le taux de réussite au C2i®1 est supérieur en session 3 en comparaison de la session 2 (F = 5,84; df = 1; p < 0,05). On ne relève pas de différence liée à la filière d’appartenance des étudiants quant aux taux de réussite au C2i®1. En effet, ces taux varient peu, de 16 % à 38 % en session 2 (différence non significative) et de 27 % à 38 % en session 3 (la différence jugée significative à hauteur de 5 % semblant davantage liée aux effectifs conséquents des candidats à cette session). Concernant les résultats à l’exercice théorique, ils sont fortement liés à la filière d’appartenance des étudiants tant en session 2 qu’en session 3 (p < 0,001). Les scores moyens obtenus à cet exercice théorique n’évoluent pas toutefois entre les deux sessions. Enfin, les résultats à l’exercice pratique connaissent non seulement un effet filière (p < 0,001 pour chacune des sessions), mais également une évolution significative entre la session 2 et la session 3 (F = 274,6; df = 1; p < 0,001).

Tableau 4

Résultats obtenus à la certification par filière d’appartenance pour les sessions 2 et 3 : résultat final et score à chaque épreuve

Résultats obtenus à la certification par filière d’appartenance pour les sessions 2 et 3 : résultat final et score à chaque épreuve

S2 : Session 2; S3 : Session 3

ns : Non significatif (à hauteur de 5 %); * : p < 0,05; *** : p < 0,001

-> See the list of tables

Analyse des résultats obtenus aux différents domaines de compétences par filière d’appartenance

Les résultats spécifiques à chaque domaine et à chaque compétence du référentiel du C2i®1 ont été systématiquement évalués au cours des sessions 2 et 3. Seuls les résultats détaillés de l’exercice pratique sont disponibles. Le tableau 5 rend compte des scores moyens obtenus à chacun des six domaines étudiés par filière d’appartenance et par session (2 ou 3).

De manière générale, on relève une amélioration statistiquement significative des scores obtenus pour la majorité des domaines entre les sessions 2 et 3 (p < 0,001). Seul le domaine B4TAB (Manipuler des données et réaliser des documents à l’aide d’un tableur) connaît une baisse de son score moyen entre les deux sessions. Le domaine B1 (S’approprier son environnement de travail) rend compte de scores conséquents (> 90 pts) en session 2 qui s’améliorent encore en session 3, et ce, quelle que soit la filière. Les scores obtenus aux autres domaines connaissent tous un effet filière qui semble toutefois s’amenuiser en session 3 (jusqu’à devenir non significatif pour le domaine B6). Enfin, notons que le domaine B5 (Réaliser la présentation de ses travaux en présentiel et/ou en ligne) témoigne de difficultés majeures en session 2 pour l’ensemble des filières (score moyen de 21 pts), difficultés qui s’amenuisent en session 3 puisque le score moyen devient supérieur au seuil d’admissibilité à la certification, à savoir 50 pts.

Tableau 5

Scores moyens obtenus à chaque domaine pour les sessions 2 et 3 en fonction des filières d’appartenance des candidats

Scores moyens obtenus à chaque domaine pour les sessions 2 et 3 en fonction des filières d’appartenance des candidats

Rappel. B1 : S’approprier son environnement de travail; B3 : Sauvegarder, sécuriser, archiver ses données; B4TEXT : Manipuler des données et réaliser des documents à l’aide d’un traitement de texte; B4TAB : Manipuler des données et réaliser des documents à l’aide d’un tableur; B5 : Réaliser la présentation de ses travaux en présentiel et/ou en ligne; B6 : Échanger et communiquer à distance.

S2 : Session 2 et S3 : Session 3

ns : Non significatif (à hauteur de 5 %); * : p < 0,05; ** : p < 0,01; *** : p < 0,001

-> See the list of tables

Analyse des résultats obtenus aux différentes compétences par filière d’appartenance

Le tableau 6 présente les scores moyens obtenus aux différentes compétences, par filière d’appartenance et par session (2 ou 3).

Les scores obtenus aux différentes compétences s’améliorent pour la grande majorité d’entre eux (10/13) entre les sessions 2 et 3. Seule la compétence B4G, relative au tableur (Utilisation d’une formule conditionnelle : SI), ne connaît pas d’évolution statistiquement significative entre les deux sessions. Et seules les compétences B4F (Utilisation de la formule moyenne) et B4H (Création d’un graphique), toutes deux relatives au tableur également, connaissent une baisse de leurs scores moyens.

Quatre compétences semblent particulièrement difficiles à maîtriser pour les étudiants en session 2 (B4D : Insertion d’une table d’index; B4E : Insertion d’un saut de page; B5A : Application d’un modèle de conception; et B5B : Passage du format.ppt au format.html), lesquelles présentent des scores moyens très faibles de l’ordre de 15 pts, 24 pts, 14 pts et 7 pts respectivement. Ces scores vont toutefois nettement s’améliorer en session 3.

Enfin, là encore, on relève un effet filière pour la majorité des compétences évaluées (hormis pour la session 2, B4D : Insertion d’une table d’index; et B6A : Envoyer un courrier électronique avec un objet). Cet effet filière est toujours présent en session 3, mais il tend à s’amenuiser pour la majorité des compétences (hors B4C : Insertion d’une table des matières; B4E : Insertion d’un saut de page; et B4H : Création d’un graphique).

Tableau 6

Scores moyens obtenus à chaque compétence pour les sessions 2 et 3 en fonction des filières d’appartenance des candidats

Scores moyens obtenus à chaque compétence pour les sessions 2 et 3 en fonction des filières d’appartenance des candidats

Rappel. B3 : Création d’une archive au format.zip; B4A : Création d’un style; B4B : Application d’un style; B4C : Insertion d’une table des matières; B4D : Insertion d’une table d’index; B4E : Insertion d’un saut de page; B4F : Utilisation de la formule moyenne; B4G : Utilisation d’une formule conditionnelle : SI; B4H : Création d’un graphique; B5A : Application d’un modèle de conception; B5B : Passage du format.ppt au format.html; B6A : Envoi d’un courrier électronique avec un objet; B6B : Respect de la nétiquette

S2 : Session 2; S3 : Session 3

ns : Non significatif (à hauteur de 5 %); * : p < 0,05; ** : p < 0,01; *** : p < 0,001

-> See the list of tables

Discussion

Les données montrent à voir que les faibles taux de réussite à la certification témoignent d’une difficulté à réunir simultanément les deux conditions, à savoir réussir la partie théorique et la partie pratique. Les résultats montrent que l’équilibre entre la théorie et la pratique est uniquement atteint à la session 3, quand l’université a mis en place un dispositif de formation centralisé. À la session 1 (sans dispositif de formation), les candidats avaient de fortes habiletés pratiques, mais des connaissances théoriques moyennes et non satisfaisantes face aux critères de certification (tableau 2). En session 2 (préparation spécifique intégrée aux filières), le déséquilibre observé en première session (sans dispositif de formation) s’inverse, avec des écarts moindres entre les scores des deux épreuves (tableau 2).

Au cours de la première session (sans dispositif de formation), il n’y a pas de différence statistiquement significative entre le taux de réussite au C2i®, les scores obtenus aux deux épreuves et les filières d’appartenance des étudiants (tableau 3). Par ailleurs, les résultats témoignent d’une maîtrise de la pratique, mais de lacunes théoriques ne permettant pas de valider le C2i® (tableau 3). Sachant que l’inscription à la certification était une démarche volontaire et que les étudiants n’ont bénéficié d’aucune formation spécifique en session 1, nous pouvons supposer que les candidats à la certification étaient majoritairement des étudiants sensibles aux usages et s’inscrivant sereinement à cette certification sans trop craindre le résultat. Avec un score moyen de 73 pts à l’exercice pratique (tableau 2), ils peuvent être considérés comme « praticiens », c’est-à-dire que lorsqu’il leur est demandé de résoudre un problème dans un temps imparti, ils y arrivent, sans pour autant avoir une forte maîtrise des aspects théoriques sous-jacents à leur pratique numérique, en opposition au « théoricien » qui pourrait avoir une maîtrise de la théorie mais une pratique non aisée. Le faible score obtenu à l’exercice théorique (48 pts en moyenne, tableau 2) conduit par ailleurs à penser que les filières n’ont pas compensé, dans leur enseignement général, ces lacunes par une approche « théorique » des compétences numériques.

En session 2 (préparation spécifique intégrée aux filières), les résultats laissent supposer que les filières ont particulièrement investi la formation « théorique » et, dans une moindre mesure, le versant « pratique ». Entre les sessions 1 et 2, on note effectivement une nette amélioration du score à l’exercice théorique (+ 10 pts; tableau 2) au détriment peut-être de la pratique (- 26 pts; tableau 2). Le taux de réussite au C2i® en session 2, globalement amélioré depuis la session 1, n’est pas différent d’un point de vue statistique entre les filières (tableau 4). Par contre, on observe bien un effet filière relativement aux deux conditions (exercices théorique et pratique), ce qui signifie que certaines filières semblent mieux préparer que d’autres les étudiants à l’une ou l’autre des épreuves, mais qu’il reste toujours difficile pour ceux-ci de réussir conjointement les deux modalités de certification. Pour Papi et Sidir (2009), l’effet filière s’exprime à double titre, soit dans la représentation majoritaire des étudiants face à la certification, à savoir pour les « sciences » où les compétences demandées sont basiques, alors qu’en « lettres […] l’informatique peut être perçue comme un champ éloigné du leur ». Pour nous, comme pour les auteurs, nous parlons bien ici de pratique numérique et non d’informatique au sens premier du terme. Le second sens est issu d’une conception a priori basée sur la proximité entre le contenu disciplinaire et l’aspect technique de la pratique numérique de certaines filières, à savoir que les étudiants d’anglais réussiront moins bien que les étudiants en informatique à une telle certification. Dans l’étude (Papi et Sidir, 2009), ceci s’est révélé faux, 41 % des étudiants de 1re année d’informatique ayant réussi la certification, soit le même pourcentage que les étudiants d’anglais. Notre positionnement sur la notion d’effet filière se centre sur l’impact des conditions de pratique que la filière met en place, et ce, quelle que soit la proximité avec une technicité numérique de la discipline, d’autant plus que nous nous situons en LSHS. Ce point n’a pas été travaillé par Papi et Sidir (2009).

En session 3 (dispositif spécifique hors filière), le taux de réussite au C2i® est amélioré (respectivement 19 %, 27 % et 32 %; tableau 2). Cela est principalement dû à une amélioration de la pratique puisque les scores à l’exercice théorique ne connaissent pas d’évolution statistiquement significative entre les sessions 2 et 3. Ce dispositif de formation aura donc permis aux étudiants d’acquérir des compétences tant théoriques que pratiques car on relève, en session 3 et pour la première fois, des scores moyens supérieurs à la moyenne pour les deux exercices séparément (tableau 4). Il existe toutefois toujours un effet filière qui laisse présager d’usages et de réinvestissements différents au sein des filières disciplinaires.

Quand on s’intéresse plus précisément aux domaines et aux compétences (tableaux 5 et 6), on note de manière générale de meilleurs résultats lorsque le dispositif de formation est centralisé (session 3), excepté pour le domaine B4TAB (tableur) et les compétences associées B4F (Utilisation de la formule moyenne) et B4H (Création d’un graphique). Par ailleurs, l’effet filière, s’il existe toujours, s’amenuise entre les sessions 2 et 3, ce qui montre que le dispositif ne gomme pas totalement l’influence des filières d’appartenance. Si aucune des filières ne conduit à coup sûr à la réussite ou à l’échec, celles-ci semblent toutefois créer des écosystèmes spécifiques et apparemment différenciés permettant aux étudiants de réinvestir leurs intentions transversales numériques acquises dans le cadre du dispositif de formation.

Conclusion

Les établissements d’enseignement supérieur cherchent des solutions pour sortir de la routine des enseignements magistraux classiques. L’apparition des certifications a représenté un potentiel de changement des pratiques. L’université étudiée s’en est saisie sur trois années en faisant évoluer les variables. Mais comment établir si les dispositifs tels qu’ils sont conçus répondent aux attentes? Dans les années 1990, Monique Linard s’était inspirée à la fois des travaux de Leontiev sur la théorie de l’activité et sur les approches de la narrativité de Greimas pour proposer un système de compréhension des dispositifs, HELICE. Le modèle actanciel cherchait à distinguer l’orientation d’un dispositif, à quoi il a l’intention de conduire, la qualification, les conditions dont on se dote pour parvenir aux objectifs, la réalisation, ce que l’on fait réellement et l’évaluation qui déterminera le résultat en regard des attentes. C’est ce qui lui faisait poser la distinction entre les effets attendus et les effets obtenus (Linard, 2002). Comment prendre en considération l’apport individuel de l’individu, ses compétences/intentions domestiques (Chaker, 2011)? Comment évaluer les effets filières? Le travail proposé permet de mettre en évidence le fait que l’effet attendu ne prend pas suffisamment en considération à la fois les pratiques domestiques et la structure de la certification, qui va une année faire la part belle aux effets filières parce qu’il y a proximité avec les compétences travaillées dans la certification, puis l’année suivante repositionner fortement la dimension transversale de la certification en insistant sur le volet théorique. L’effet obtenu, lui, est pourtant sans appel, un pilotage dans un sens puis dans un autre aboutit à annuler les effets positifs de l’un et l’autre. Mais pour s’en rendre compte, il faut avoir un double regard. Celui de l’évaluation du dispositif du point de vue de ce qu’il produit, et celui de la constitution d’une métrique qui permet les comparaisons. Relevant du domaine des technologies à l’université, cette approche n’a finalement que peu d’impact, car la gestion industrielle des flux ne se permet pas d’étudier son efficience. Et puis, les solutions évoluent. Le C2I disparaît. Il est remplacé par le PIX. Celui-ci est à présent national sous forme de MOOC, ce qui constitue encore une autre modalité. Et c’est bien le paradoxe des technologies de ne jamais pouvoir capitaliser l’évaluation des impacts des quatre modalités posées par Monique Linard.