Investigating the Alignment Between the CELPIP-General Reading Test and the Canadian Language Benchmarks: A Content Validation Study

Abstract

Seeking evidence to support content validity is essential to test validation. This is especially the case in contexts where test scores are interpreted in relation to external proficiency standards and where new test content is constantly being produced to meet test administration and security demands. In this paper, we describe a modified scale- anchoring approach to assessing the alignment between the Canadian English Language Proficiency Index Program (CELPIP) test and the Canadian Language Benchmarks (CLB), the proficiency framework to which the test scores are linked. We discuss how proficiency frameworks such as the CLB can be used to support the content validation of large-scale standardized tests through an evaluation of the alignment between the test content and the performance standards. By sharing both the positive implications and challenges of working with the CLB in high-stakes language test validation, we hope to help raise the profile of this national language framework among scholars and practitioners.

Résumé

La recherche sur la validité du contenu est essentielle à la validation des tests. Cette recherche est encore plus importante dans les contextes où les résultats des tests sont interprétés par rapport à des normes de compétence externes et dont le contenu du test est constamment révisé pour répondre aux exigences de l'administration et de la sécurité du test. Dans cet article, nous décrivons une approche d'ancrage d'échelle modifiée pour évaluer l’alignement entre le test du Canadian English Language Proficiency Index Program (CELPIP) et les Canadian Lagunage Benchmarks (CLB), le cadre de compétence linguistique auquel les résultats du test sont liés. Nous discutons comment les cadres de compétence tels que le CLB peuvent être utilisés pour soutenir la validation du contenu des tests standardisés à grandes échelles grâce à l’évaluation de l'alignement entre le contenu du test et les normes de performance. Nous évaluons les forces et les défis de l’utilisation du CLB comme outil de validation des tests linguistiques à enjeux élevés et ce faisant nous espérons contribuer à relever le profil de ce cadre linguistique national auprès des universitaires et des praticiens.