Mesure et évaluation en éducation
Volume 45, Number 3, 2022
Table of contents (5 articles)
-
Introduction au calcul de la taille d’effet globale d’une intervention dans les méta-analyses en sciences de l’éducation
Nathalie Roques
pp. 1–32
AbstractFR:
Quand plusieurs études par comparaison de groupes (intervention et témoin) portent sur une même intervention en milieu scolaire, la synthèse de leurs résultats permet d’évaluer l’effet de cette intervention et de répondre aux attentes des praticiens, mais aussi d’orienter les recherches futures. C’est dans ce but que sont réalisées des synthèses quantitatives ou encore des méta-analyses. Pour chacune des études sélectionnées, une taille d’effet est calculée, qui est le g de Hedges (différence standardisée des moyennes des deux groupes) quand la variable à expliquer est un score post-test. La taille d’effet globale est alors estimée en suivant dans la plupart des cas le modèle des effets aléatoires. Enfin, pour conclure quant à l’intérêt de l’intervention, les tailles d’effet sont traduites en nombre de mois de progrès. Un exemple numérique est proposé pour faciliter la compréhension des modèles analytiques mis en oeuvre dans une méta-analyse pour les cas les plus simples.
EN:
When several comparison group studies relate to the same intervention in the school environment, the synthesis of their results makes it possible to evaluate the effect of this intervention and to meet the expectations of practitioners, but also to guide the future research. It is for this purpose that quantitative summaries or meta-analyses are carried out. For each of the selected studies, an effect size is calculated; when the variable to be explained is a posttest score, we use Hedges’ g (standardized difference of the means of the two groups). The overall effect size is then estimated by following in most cases the random effects model. Finally, to determine the interest of the intervention, the results of the meta-analysis are interpreted according to several grids. A worked example is provided to help the understanding of the analytical models implemented in a meta-analysis in simple cases.
PT:
Quando vários estudos por comparação de grupos (intervenção e controlo) se referem à mesma intervenção em ambiente escolar, a síntese dos seus resultados permite avaliar o efeito desta intervenção e ir ao encontro das expectativas dos práticos, mas também orientar futuras investigações. É para esse fim que são realizados resumos quantitativos ou meta-análises. Para cada um dos estudos selecionados é calculado um tamanho de efeito, que é o g de Hedges (diferença padronizada entre as médias dos dois grupos) quando a variável a ser explicada é uma pontuação pós-teste. O tamanho do efeito global é então estimado seguindo, na maioria dos casos, o modelo de efeitos aleatórios. Finalmente, para concluir sobre o interesse da intervenção, os tamanhos dos efeitos são traduzidos no número de meses de progresso. Um exemplo numérico é proposto para facilitar a compreensão dos modelos analíticos implementados numa meta-análise para os casos mais simples.
-
La planification flexible des démarches d’évaluation, un levier vers une évaluation pour apprendre ?
Gonzague Yerly and Nicole Monney
pp. 33–60
AbstractFR:
L’article discute l’apport de la planification des démarches d’évaluation comme levier pour soutenir les enseignants dans la mise en oeuvre d’une évaluation pour apprendre (assessment for learning) en classe. Il propose une réflexion théorique sur les apports d’une planification flexible, caractérisée dans l’article comme une planification approfondie et structurée (hiérarchisée) des démarches d’évaluation mais qui laisse aussi une place importante aux ajustements dans l’interaction (dynamique) et qui implique les apprenants (interactive). La contribution de l’article est de faire le lien entre les travaux scientifiques portant sur la planification de l’enseignement-apprentissage et ceux sur l’évaluation des apprentissages. Les objectifs de l’article consistent à 1) expliciter ce qui caractérise une planification flexible des démarches d’évaluation, et 2) discuter des apports d’une telle planification dans la mise en oeuvre d’une évaluation-soutien d’apprentissage dans les classes.
EN:
The article discusses the contribution of planning assessment as a lever to support teachers implement assessment for learning in the classroom. It proposes a theoretical reflection on the contribution of “flexible” planning, i.e. planning that is thorough and structured (hierarchical) but that also leaves space for adjustments in the interaction (dynamic) and that involves the learners (interactive). The contribution is to make the link between the research on the planning of teaching/learning and on the assessment. The objectives of this paper are to 1) specify what “flexible” planning of assessment is, 2) to discuss the contributions of such planning in the implementation assessment for learning in the classroom.
PT:
O artigo discute o contributo da planificação dos procedimentos de avaliação como alavanca para apoiar os professores na implementação da avaliação para aprendizagem na sala de aula (assessment for learning). Propõe uma reflexão teórica sobre os contributos da planificação flexível, caracterizada no artigo como uma planificação aprofundada e estruturada (hierárquica) dos procedimentos de avaliação, mas que também deixa um lugar importante para ajustes na interação (dinâmica) e que envolve os alunos (interativa). O contributo do artigo é fazer a ligação entre os trabalhos científicos sobre a planificação do ensino-aprendizagem e aqueles sobre avaliação das aprendizagens. Os objetivos do artigo consistem em 1) esclarecer o que caracteriza uma planificação flexível de procedimentos de avaliação, e 2) discutir os contributos desta planificação na implementação de uma avaliação-apoio à aprendizagem nas aulas.
-
Échelle de santé psychologique adaptée et validée au contexte doctoral
Cynthia Vincent, Isabelle Plante, Émilie Tremblay-Wragg and Carla Barroso da Costa
pp. 61–94
AbstractFR:
Malgré le nombre grandissant d’études sur la santé psychologique des doctorants, l’intérêt semble surtout axé sur leur détresse psychologique. Ceci peut s’expliquer par le manque d’outils contextualisés au travail doctoral pour mesurer à la fois la détresse et le bien-être psychologiques, deux aspects indissociables de la santé psychologique. Or, un tel outil apparaît essentiel pour les futures recherches empiriques qui tenteront, par exemple, d’éclairer les prédicteurs et les conséquences de ce construit. La présente étude visait donc à adapter une échelle existante de santé psychologique au travail (Gilbert et al., 2011) en version courte et contextualisée au doctorat et à examiner ses qualités psychométriques. Quatre indicateurs de la validité de construit (exploratoire, confirmatoire, convergente et prédictive) et deux indicateurs de fidélité (cohérence interne et stabilité temporelle) ont été examinés sur deux échantillons de 380 et 377 doctorants. Une courte échelle unidimensionnelle à huit items (quatre items mesurant le pôle de la détresse et quatre items mesurant le pôle du bien-être) présentant de bonnes qualités psychométriques a été obtenue, justifiant son utilisation dans des études ultérieures.
EN:
Despite the growing number of studies on the psychological health of doctoral students, interest seems to be focused on their psychological distress. This may be due to the lack of available tools contextualized to doctoral work to measure both psychological distress and well-being, which represent two indissociable aspects of psychological health. Since such a tool appears essential for future empirical research that will attempt, for example, to clarify the predictors and consequences of this construct, the present study aimed to adapt an existing work-related psychological health scale (Gilbert et al., 2011) into a short, doctoral-contextualized version, and to examine its psychometric qualities. Four indicators of construct validity (exploratory, confirmatory, convergent, and predictive) and two indicators of reliability (internal consistency and temporal stability) were examined among two samples including 380 and 377 doctoral students, respectively. A short unidimensional scale comprising eight items (four items measuring the distress pole and four items measuring the well-being pole) with good psychometric qualities was obtained, supporting its use in future studies.
PT:
Apesar do crescente número de estudos sobre a saúde psicológica de doutorandos, o interesse parece estar centrado principalmente no seu sofrimento psicológico. Isto é devido provavelmente à falta de ferramentas disponíveis adaptadas ao trabalho doutoral para medir simultaneamente o sofrimento e o bem-estar psicológicos, que representam dois aspectos indissociáveis da saúde psicológica. No entanto, tal ferramenta parece essencial para futuros estudos empíricos que poderão, por exemplo, esclarecer os preditores e as consequências deste constructo. O presente estudo teve, portanto, como objetivo adaptar uma escala de saúde psicológica no trabalho (Gilbert et al., 2011) em versão curta e adequada ao doutoramento e examinar suas qualidades psicométricas. Quatro indicadores de validade do construto (exploratório, confirmatório, convergente e preditivo) e dois indicadores de confiabilidade (coerência interna e estabilidade temporal) foram examinados em duas amostras, incluindo 380 e 377 alunos de doutoramento, respectivamente. Obteve-se uma pequena escala unidimensional oito itens (quatro itens que medem o polo de sofrimento e quatro itens que medem o polo de bem-estar) com boas qualidades psicométricas, justificando a sua utilização em estudos posteriores.
-
Description du processus d’élaboration d’une grille d’évaluation spécifique à une situation d’apprentissage et d’évaluation en contexte de modification des contenus d’apprentissage auprès d’élèves du secondaire présentant un trouble du spectre de l’autisme
Marie-Aimée Lamarche and Micheline-Joanne Durand
pp. 95–133
AbstractFR:
L’élaboration d’une grille d’évaluation est une tâche complexe qui exige une bonne connaissance de l’objet d’évaluation et du niveau d’apprentissage des apprenants pour lesquels elle est destinée. Parmi les différents types de grilles d’évaluation qui sont utilisées en milieu scolaire, la grille descriptive critériée ainsi que la grille descriptive analytique s’avèrent des choix particulièrement appropriés pour guider le jugement des évaluateurs. En suivant la méthodologie de la recherche-développement, les concepteurs se sont engagés dans un processus réflexif qui, après de nombreux aller-retour dans la formulation des critères, des échelons et des descripteurs, a mené à l’élaboration, à la validation et à la mise à l’essai de trois versions d’une grille descriptive analytique. Les résultats permettent d’identifier les éléments à considérer dans la construction de cet outil pour des élèves du premier cycle du secondaire présentant un trouble du spectre de l’autisme (TSA) et une grande diversité de profils cognitifs.
EN:
The development of rubrics is a complex task that requires a good knowledge of the object of evaluation and the learning level of the students for whom it is intended. From the several types of rubrics used in school environments, the analytic rubrics and developmental rubrics prove to be especially appropriate choices to guide the judgment of the evaluators. By following the research and development methodology, the designers engaged in a reflective process which, after many round trips in the formulation of criteria, scale and descriptors, led to the development, validation and implementation testing of three prototypes of analytic rubrics. The results make it possible to identify the elements to be considered in the construction of this tool for pupils with autism spectrum disorder (ASD) in the first cycle of secondary school who present a great diversity of cognitive profiles.
PT:
Elaborar uma rubrica é uma tarefa complexa que exige uma bom conhecimento do objeto de avaliação e do nível de aprendizagem dos alunos aos quais se destina. Entre os diferentes tipos rubricas que são utilizadas nas escolas, a rubrica descritiva referenciada a critérios, bem como a rubrica analítica, revelam-se escolhas particularmente apropriadas para orientar o juízo dos avaliadores. Seguindo a metodologia da investigação-desenvolvimento, os autores envolveram-se num processo reflexivo que, após inúmeras idas e vindas na formulação de critérios, níveis e descritores, levou à elaboração, à validação e à testagem de três versões de uma rubrica analítica. Os resultados permitem identificar os elementos a considerar na construção desta ferramenta para alunos do ensino secundário com transtorno do espectro do autismo (TEA) e uma ampla diversidade de perfis cognitivos.
-
Les besoins et les défis de l’évaluation des compétences linguistiques des enseignants et des enseignantes d’immersion française et de français langue seconde en Alberta
Samira ElAtia, Komla Essiomle, Pierre Rousseau, Elissa Corsi and Kaoutar Mechkouri
pp. 135–161
AbstractFR:
Les enseignants et les enseignantes d’immersion française (IF) et de français langue seconde (FLS) doivent être des modèles langagiers pour les élèves. Les directions d’école et les cadres des conseils scolaires ont l’obligation de s’assurer, à travers un processus d’évaluation, que le personnel enseignant embauché dispose de compétences linguistiques suffisantes pour fournir un cadre d’apprentissage bilingue aux élèves et qu’il s’engage à les améliorer constamment. À travers une enquête administrée auprès de 48 professionnels et professionnelles d’IF et de FLS, suivie de quatre entrevues semi-dirigées menées auprès des membres des équipes de direction d’école, nous avons analysé les perspectives d’éducateurs et d’éducatrices de l’Alberta sur les besoins et les défis liés à l’évaluation du français. Les résultats indiquent qu’il n’existe pas de processus d’évaluation linguistique uniforme durant l’embauche du personnel enseignant et que la planification des activités de perfectionnement linguistique dépend souvent de la taille du conseil scolaire, de l’emplacement de l’école, des ressources disponibles et de l’insécurité linguistique du personnel enseignant.
EN:
French Immersion (FI) and French as a Second Language (FSL) teachers must be language models for students. Principals and school board administrators ensure through an evaluation process that teachers they hire have sufficient language skills to provide a bilingual learning environment for students and are committed to their ongoing improvement. Through a survey administered to 48 Alberta FI and FSL professionals followed by semi-structured interviews conducted with 4 school leaders, educators’ perspectives on the needs and challenges of French assessment were analyzed. Results indicated that a standardized language assessment process does not exist during teachers’ recruitment process and the planning of language improvement activities is often affected by the size of the school board, the location of the school, the resources available, and teachers’ language insecurities.
PT:
Os professores e professoras de imersão em francês (IF) e de francês segunda língua (FSL) devem ser modelos de linguagem para os alunos. Os diretores das escolas e os quadros dos conselhos escolares têm a obrigação de garantir, através de um processo de avaliação, que o corpo docente contratado possua competências linguísticas suficientes para proporcionar um ambiente de aprendizagem bilíngue aos alunos e que está empenhada em melhorá-los constantemente. Através de um questionário aplicado a 48 profissionais de IF e FSL, seguido de quatro semi-entrevistas realizadas a membros das equipas de gestão escolar, analisamos as perspectivas dos educadores e educadoras de Alberta sobre as necessidades e desafios relacionados com a avaliação do francês. Os resultados indicam que não há processo de avaliação linguística uniforme durante a contratação do corpo docente e que a planificação das atividades de desenvolvimento da linguagem muitas vezes depende do tamanho do conselho escolar, da localização da escola, dos recursos disponíveis e da insegurança linguística do corpo docente.