Digital Dashboards for Summative Assessment and Indicators Misinterpretation: A Case Study

Abstract

Over the last decade, teachers in France have been increasingly pressured to use digital learning environments, and to shift from grade-based to skill-based assessment. Educational dashboards, which measure student input electronically, could foster such a transition by providing insights into learners’ performances. However, such dashboards could also foster data misinterpretation during the summative assessment process, should the indicators that they display be used without a proper understanding of what they reflect. This article presents a methodology to detect potential mistakes in the interpretation of the indicators in the context of inquiry-based learning. During the design of a learning environment, we analyzed, through analytics and classroom observations in primary and middle schools, the issues that could arise from the use of a dashboard. Our data suggest that the amount of information practitioners needed to collect to make indicators relevant was burdensome, making the dashboard unfit for assessment purposes at the scale of a classroom.

Keywords:

• dashboard,
• learning analytics,
• skill evaluation,
• case study

Résumé

Au cours de la décennie écoulée, les enseignants de France ont été de plus en plus poussés, d’une part, à adopter l’évaluation par compétences, et d’autre part, à utiliser des applications numériques. Les tableaux de bord qui mesurent les actions des utilisateurs de ces applications peuvent faciliter cette transition en apportant des indications sur les performances des apprenants. Néanmoins, dans une perspective d’évaluation sommative, une question se pose quant à la capacité des enseignants à interpréter correctement les indicateurs mis à leur disposition. Cet article présente une étude de cas à visée méthodologique qui a pour objectif d’identifier de potentiels problèmes d’interprétation d’indicateurs lors de l’évaluation d’une démarche d’investigation. Durant la conception d’une application numérique, le CNEC, nous avons analysé, par le moyen de traces d’interaction et d’une étude de terrain au collège et à l’école primaire, les éléments susceptibles d’affecter l’utilisation d’un tableau de bord. Nous montrons que la quantité de données à collecter pour rendre pertinent l’usage des indicateurs rend leur utilisation compliquée dans un contexte d’évaluation sommative à l’échelle d’une classe entière.

Mots-clés :

• tableau de bord,
• traces d’interaction,
• évaluation par compétences,
• étude de cas