La généralisabilité des seuils de performance établis par des appréciateurs : étude de trois procédés

Résumé

Cette recherche avait pour but de comparer trois procédés faisant appel à des appréciateurs pour déterminer le seuil de performance à un examen de dix questions : les procédés d’Angoff, d’Ebel et de Nedelsky. D’après les résultats de l’analyse de la variance, les seuils obtenus ne sont pas comparables d’un procédé à l’autre ni d’un appréciateur à l’autre. Toutefois, la concordance entre les appréciateurs est apparue la plus élevée dans le cas du procédé de Nedelsky. De plus, d’après l’étude de généralisabilité, la différenciation entre les questions s’est avérée fiable et ce, quels que soient les appréciateurs et les procédés. Bien que cette recherche ait mis en évidence la subjectivité qui caractérise la détermination d’un seuil de performance par des appréciateurs, les résultats obtenus suggèrent des avenues à explorer, tant du côté de l’analyse des questions d’un examen que du côté de la notion de compétence minimale.

Abstract

This study compared three procedures in which the test evaluators determine the threshold of performance on a ten item exam, namely, the procedures of Angoff, Ebel and Nedelsky. Analysis and variance results showed that the thresholds varied from one evaluator to another and from one procedure to another. However, the concordance among evaluators using the Nedelsky procedure was the highest. Moreover, according to the generalizability study, the differentiation between the questions proved to be reliable for all evaluators and all procedures. Although this research has substantiated the subjectivity characteristic of procedures in which evaluators determine the threshold of performance, the results indicate areas of further research both in item analysis and in the concept of minimal competence.

Resumen

Esta investigación tenía por objeto comparar tres procedimientos mediante la utilizatión de apreciadores que determinen el nivel de desempeño en un exámen de diez preguntas: los procedimientos de Angoff, de Ebel y de Nedelsky. Según los resultados del análisis de la varianza, los niveles obtenidos no son comparables ni de un procedimiento a otro, ni de un apreciador a otro. De todas formas la concordancia entre los apreciadores fué mas elevada en el caso del procedimiento de Nedelsky. Además, según el estudio de generalidad, la diferenciación entre las preguntas se mostraron comparables sean cuales fueren los apreciadores y los procedimientos. Aún cuando esta investigación puso en evidencia la subjetividad que caracteriza la determinación de un nivel de desempeño por los apreciadores, los resultados obtenidos sugieren nuevas vias a explorar, tanto del lado del análisis de las preguntas de un exámen, como del lado de la noción de la competencia minima.

Zusammenfassung

Das Ziel dieser Untersuchung ist ein Vergleich zwischen drei Verfahren, welche Bewerter benützen, um die Leistungsschwelle bei einer aus zehn (10) Fragen bestehenden Prüfung zu bestimmen: die Verfahren von Angoff, Ebel und Nedelsky. Den Ergebnissen der Varianzanalyse nach ist es unmöglich, die gefundenen Schwellen zu vergleichen, weder unter den einzelnen Verfahren, noch unter den einzelnen Bewertern. Dennoch schien im Verfahren von Nedelsky die Ubereinstimmung unter den Bewertern am höchsten zu sein. Gemäss der Studie über die Möglichkeit der Verallgemeinerung erscheint die Differenzierung unter den Fragen zuverlässig, und zwar unabhängig von den Bewertern und Verfahren. Obgleich diese Untersuchung die Subjektivität aufzeigt, die einer Bestimmung von Leistungsschwellen durch Bewerter zueigen ist, eröffnendie Resultate neue Wege, sowohl bei der Analyse der Prüfungsfragen als auch beim Begriff der Mindestkompetenz.