Résumés
Résumé
Dans le contexte de l’utilisation des degrés de certitude avec des QCM (questions à choix multiples), l’évaluateur désire mesurer l’adéquation entre la façon dont les personnes évaluées (souvent les étudiants) utilisent les degrés de certitude et les instructions fournies pour les utiliser. Cette mesure est appelée « réalisme du sujet ». Actuellement, le calcul du réalisme, quoiqu’élémentaire, présente quelques inconvénients de types calculatoire, conceptuel ou probabiliste. Une nouvelle approche de type probabiliste correspondant mieux à la définition des degrés de certitude et à la façon avec laquelle les étudiants doivent les utiliser est décrite ici. Cette approche aboutira à de nouvelles définitions et méthodes de calcul du réalisme basées sur des arguments statistiquement justifiés. Cette nouvelle définition est plus précise que la précédente, et décrit mieux la capacité de s’autoévaluer et d’utiliser correctement les degrés de certitude. Enfin, elle permettra d’améliorer la fiabilité des indices de qualité liés aux questions utilisant le réalisme, par exemple le rpbisSCT de Gilles (2002).
Mots-clés :
- degrés de certitude,
- difficulté,
- docimologie,
- édumétrie,
- QCM,
- réalisme,
- subjectivité,
- probabilité
Abstract
By using confidence marking (CM) along with multiple-choice questions, an examiner needs to measure the consistency and adequacy of CM usage with the instructions given to the student. This measure is called the “realism of the subject”. Although it is easy to compute, the current realism formula entails some conceptual, probabilistic and computational weaknesses. Relying on probability theory and a set of statistically justified arguments, this paper shows a new approach to calculate realism that has a better match to the definition of CM and to the way examiners ask the students to use it. Moreover, the new realism is more precise with respect to the previous and gives a better indication of the student’s self-evaluation skills and his ability to use CM. Finally, this will improve the reliability of items quality indicators which use realism in their calculations such as Gilles’ rpbisSCT (2002).
Keywords:
- confidence marking,
- certainty-based marking,
- difficulty,
- docimology,
- edumetrics,
- multiple-choice questions,
- realism,
- subjectivity,
- probability
Resumo
No contexto de utilização dos graus de certeza das QEM (questões de escolha múltipla), o avaliador deseja medir a adequação entre o modo como os sujeitos (frequentemente os estudantes) utilizam os graus de certeza e as instruções fornecidas para os utilizar. Esta medida é designada como “realismo do sujeito”. Atualmente, o cálculo do realismo, embora elementar, apresenta alguns inconvenientes do tipo calculatório, concetual e probabilístico. Descreve-se aqui uma nova abordagem de tipo probabilístico, a qual corresponde melhor à definição de graus de certeza e ao modo com o qual os estudantes os devem utilizar. Esta abordagem conduzirá a novas definições e métodos de cálculo do realismo baseados em argumentos estatisticamente justificados. Esta nova definição é mais precisa que a precedente, e descreve melhor a capacidade de se autovaliar e de utilizar corretamente os graus de certeza. Por fim, permitirá melhorar a fiabilidade dos índices de qualidade ligados às questões que utilizam o realismo, por exemplo o rpbisSCT de Gilles (2002).
Palavras chaves:
- graus de certeza,
- dificuldade,
- docimologia,
- edumetria,
- QEM,
- realismo,
- subjetividade,
- probabilidade
Parties annexes
Références
- Gilles, J.-L. (2002). Qualité spectrale des tests standardisés universitaires (Thèse de doctorat non publiée), Université de Liège, Belgique.
- Leclercq, D. (1982). Confidence marking: Its use in testing. Evaluation in Education, 6(2), 163-287. doi: 10.1016/0191-765x(82)90011-8
- Leclercq, D., Boxus, E., de Brogniez, P., Wuidar, H., & Lambert, F. (1993). The TASTE approach: General implicit solutions in multiple choice questions (MCQs), open books exams and interactive testing. In A. Leclercq & J. E. Bruno (Eds.), Item banking: Interactive testing and self-assessment (pp. 210-232). Berlin, Germany: Springer-Verlag. doi: 10.1007/978-3-642-58033-8_17
- Leclercq, D., Jans, V., Georges, F., & Gilles, J.-L. (2000, september). Objective assessment of subjectivity: Applying confidence marking to partial knowledge. Paper presented at the EARLI SIG Conference on Assessment, Maastricht, Netherlands.
- Lemaire, P. (1999). Psychologie cognitive. Bruxelles, Belgique : De Boeck Université.
- Moore, D. A., & Healy, P. J. (2008). The trouble with overconfidence. Psychological Review, 115(2), 502-517. doi: 10.1037/0033-295x.115.2.502
- Newcombe, R. G. (1998). Interval estimation for the difference between independent proportions: Comparison of eleven methods. Statistics in Medicine, 17(8), 873-890. doi: 10.1002/(sici)1097-0258
- Prosperi, O. (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés (Thèse de maîtrise non publiée), Université de Lausanne, Suisse.
- Shuford, E. H., & Brown, T. A. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. Santa Monica (CA): Rand Corporation. Retrieved from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063
- Stankov, L., Lee, J., Luo, W., & Hogan, D. J. (2012). Confidence: A better predictor of academic achievement than self-efficacy, self-concept and anxiety? Learning and Individual Differences, 22(6), 747-758. doi: 10.1016/j.lindif.2012.05.013