Abstracts
Résumé
La décision psychométrique qui consiste à décréter qu’un candidat, évalué par un test et dont le score est confronté à une norme, « passe » ou « ne passe pas » fait face à deux incertitudes, deux sources d’erreur : l’erreur de mesure, reflétée par le coefficient de fidélité du test et modifiant peu ou prou la valeur vraie du candidat, et la variabilité échantillonnale de la norme, celle-ci étant ordinairement basée sur un échantillon et présentant sa propre distribution d’erreur. À la suite de l’examen de l’incertitude de la norme et de son contrôle (Laurencelle, 2015), nous abordons ici l’erreur de mesure et son interaction avec l’incertitude de la norme, puis nous intégrons les deux dans un système mathématique basé principalement sur la loi normale. La probabilité que soit sélectionné un candidat non méritant ou non qualifié peut être calculée, tout comme celle qu’un candidat qualifié soit rejeté. Nous proposons enfin le concept et la méthodologie de la « norme sûre » (Laurencelle, 2002), laquelle permet de contrôler statistiquement le risque d’une erreur de décision.
Mots-clés :
- décision psychométrique,
- erreur de mesure,
- incertitude de la norme,
- norme sûre
Abstract
Test-based ruling, i.e. deciding whether an examinee whose test score is compared to some norm or threshold « passes » or « passes not », must cope with two uncertainties, two error sources: measurement error, associated with the test’s reliability index and corrupting somewhat the individual’s true score, and the sampling variability of the norm, a value generally based on a sample and slurred by its own error distribution. Following our study of the norm’s statistical properties and their control (Laurencelle, 2015), we now tackle measurement error and its interaction with the norm’s uncertainty, incorporating both in a mathematical system based generally on the normal distribution. The odds that an unqualified candidate be retained may be calculated, as may those of a qualified one be rejected. Finally, we propound the concept and methodology of the «safe norm » (Laurencelle, 2002), a device that makes possible to statistically control the risk of a decision error.
Keywords:
- test-based ruling,
- measurement error,
- norm’s uncertainty,
- safe norm
Resumo
A decisão psicométrica de declarar que um candidato, avaliado por um teste e cujo resultado é confrontado com uma norma, «passa» ou «não passa» enfrenta duas incertezas, duas fontes de erro: o erro medição, reflectido pelo coeficiente de fidelidade do teste e pela alteração mais ou menos do valor verdadeiro do candidato, e a variabilidade de amostragem da norma, geralmente baseada numa amostra e apresentando a sua própria distribuição de erro. Após análise da incerteza da norma e do seu controlo (Laurencelle, 2015), discutimos aqui o erro de medição e a sua interação com a incerteza da norma, integrando os dois num sistema matemático com base principalmente na distribuição normal. A probabilidade de ser selecionado um candidato sem mérito ou não qualificado pode ser calculada, assim como a probabilidade de um candidato qualificado ser rejeitado. Finalmente, propõe-se o conceito e a metodologia da «norma segura» (Laurencelle, 2002), a qual permite controlar estatisticamente o risco de um erro de decisão.
Palavras chaves:
- decisão psicométrica,
- erro de medição,
- incerteza da norma,
- norma segura
Appendices
Bibliographie
- Bertrand, R. & Blais, J.-G. (2004). Modèles de mesure : l’apport de la théorie des réponses aux items. Québec : Presses de l’Université du Québec.
- Brennan, R. L. (2006). Educational measurement (4th ed.). Westport, CT: American Council on Education.
- David, H. A. (1981). Order statistics (2nd ed.). New York: Wiley.
- Girshick, M. A. (1936). Principal components. Journal of the American Statistical Association, 31, 519-528. doi: 10.1080/01621459.1936.10503354
- Guilford, J. P. (1954). Psychometric methods (2nd ed.). New York: McGraw-Hill.
- Gulliksen, H. (1950). Theory of mental tests. New York: Wiley.
- Johnson, N. L., Kotz, S., & Balakrishnan, N. (1995). Continuous univariate distributions, Vol. 2 (2nd ed.). New York: Wiley.
- Laurencelle, L. (1998). Théorie et techniques de la mesure instrumentale. Québec : Presses de l’Université du Québec.
- Laurencelle, L. (2002). L’incertitude des seuils statistiques et l’établissement d’une norme de qualification sûre. Mesure et évaluation en éducation, 25(2-3), 19-33.
- Laurencelle, L. (2008a). L’établissement d’une norme de qualification sûre dans un contexte non paramétrique. Tutorials in Quantitative Methods for Psychology, 4, 1-12. Repéré à http://www.tqmp.org/RegularArticles/vol04-1/p001/p001.pdf
- Laurencelle, L. (2008b). L’étalonnage et la décision psychométrique. Québec : Presses de l’Université du Québec.
- Laurencelle, L. (2015). Une théorie des seuils psychométriques à double contrôle d’erreur – Partie I : l’imprécision échantillonnale des centiles. Mesure et évaluation en éducation, 38(2), 87-109.
- Laurencelle, L. (2016). L’étalonnage et la décision psychométrique (2e éd.). Québec : Presses de l’Université du Québec.
- Lomax, R. G. (1986). The effect of measurement error in structural equation modeling. Journal of Experimental Education, 54, 157-162. doi: 10.1080/00220973.1986.10806415
- Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
- Nunnally, J. C., & Bersntein, I. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill.
- Pettersen, N. (2000). Évaluation du potentiel humain dans les organisations : élaboration et validation d’instruments de mesure. Québec : Presses de l’Université du Québec.
- Ree, M. J., & Carretta, T. R. (2006). The role of measurement error in familiar statistics. Organizational Research Methods, 9, 99-112. doi: 10.1177/1094428105283192
- Traub, R. E. (1994). Reliability for the social sciences: Theory and applications (vol. 3). Thousand Oaks, CA: SAGE.