Fiabilité d’un dispositif d’évaluation de l’habileté à déterminer le résultat d’une chaîne d’opérations chez des élèves québécois du secondaire

Résumé

La présente étude examine la possibilité d’évaluer avec un bon niveau de fiabilité l’habileté des élèves à déterminer le résultat d’une chaîne d’opérations en respectant la priorité des opérations. Selon le devis de recherche, deux facteurs liés à l’énoncé du problème ont été manipulés : son degré de réalisme et la complétude de ses données. À la suite d’une préexpérimentation, un ensemble de 12 problèmes ont été présentés à 82 élèves québécois de première secondaire. Afin d’évaluer les qualités édumétriques du dispositif d’évaluation constitué, les données ont été analysées au moyen de la théorie de la généralisabilité. Des coefficients de généralisabilité inférieurs à la limite jugée satisfaisante révèlent que le dispositif d’évaluation n’est pas assez fiable pour assurer la différenciation des élèves en regard de leur habileté à déterminer le résultat d’une chaîne d’opérations. Les résultats démontrent la difficulté d’évaluer avec un bon niveau de fiabilité l’habileté des élèves lorsque sont manipulés deux facteurs liés à l’énoncé du problème : son degré de réalisme et la complétude de ses données.

Mots-clés :

• approche par compétences,
• ressources,
• théorie de la généralisabilité,
• résolution de problèmes mathématiques

Abstract

This study examines the possibility of assessing with a good level of reliability students’ ability to compute a sequence of operations using the correct order of operations. Based on a research design, two factors linked to the problem statement were manipulated: degree of realism and data completeness. Following a pretest, 12 problems were administered to 82 first grade secondary students from the province of Quebec. In order to assess the edumetric qualities of the evaluation design, the data were analyzed using generalizability theory. The generalizability coefficients were lower than the limit considered to be satisfactory, thus indicating that the evaluation design is not reliable enough to allow the differentiation of students’ ability in computing a sequence of operations. The results demonstrate the difficulty to assess with a good level of reliability students’ ability when two factors linked to the problem statement are manipulated: degree of realism and data completeness.

Keywords:

• competency-based approach,
• resources,
• theory of generalizability,
• mathematical problems solving

Resumo

O presente estudo examina a possibilidade de avaliar com um bom nível de habilidade os alunos para determinar o resultado de uma cadeia de operações respeitando a prioridade das operações. Segundo o desenho da investigação, dois fatores ligados ao enunciado do problema foram manipulados: o seu grau de realismo e a completude dos seus dados. Na sequência de um pré-teste, um conjunto de 12 problemas foram apresentados a 82 alunos do Quebeque do primeiro ciclo do ensino secundário. A fim de avaliar as qualidades edumétricas do dispositivo de avaliação constituído, os dados foram analisados através da teoria da generalizabilidade. Os coeficientes de generalizabilidade inferiores ao limite considerado satisfatório revelam que o dispositivo de avaliação não é suficientemente fiável para assegurar a diferenciação dos alunos em função da sua habilidade para determinar o resultado de uma cadeia de operações. Os resultados demonstram a dificuldade de avaliar com um bom nível de fiabilidade a habilidade dos alunos quando são manipulados dois fatores ligados ao enunciado do problema: o seu grau de realismo e a completude dos seus dados.

Palavras chaves:

• abordagem por competências,
• recursos,
• teoria da generalizabilidade,
• resolução de problemas matemáticos