Abstracts
Abstract
This research focuses on evaluating the effectiveness of a training course in a hospital setting, using indicators of effect size and heterogeneity index. The evaluation focused on a training course in intermediate care for nurses. The course lasted 23 days and included clinical teaching at the patient’s bedside. The competencies were measured at the beginning and end of the training course, using an observation grid based on five domains: Clinical Expert, Communicator, Collaborator, Leader and Learner-Trainer. Cohen’s and Glass’s estimators demonstrated significant effects of training on the five domains while the heterogeneity index showed a reduction in behavioural disparities within the nursing group at the end of the training course. The discussion addresses issues relating to the boundaries used to interpret effect sizes.
Keywords:
- Nursing education and training,
- intermediate care,
- competency assessment,
- effect size,
- heterogeneity index
Résumé
Cette recherche porte sur l’évaluation de l’efficacité d’une formation en milieu hospitalier à partir d’indicateurs de tailles d’effet et d’indice d’hétérogénéité. L’évaluation portait sur une formation en soins intermédiaires destinée aux infirmiers-ères, d’une durée de 23 jours et qui intégrait notamment trois jours d’enseignement clinique au chevet du patient. Les compétences ont été mesurées en début et en fin de formation, à partir d’une grille d’observation standardisée basée sur les domaines de compétences d’expert clinique, de communicateur, de collaborateur, de manager et d’apprenant-formateur. Les estimateurs de Cohen et de Glass ont démontré des effets significatifs de la formation sur les cinq domaines alors que l’indice d’hétérogénéité a mis en évidence une réduction des disparités de comportements au sein du groupe d’infirmiers-ères au terme de la formation. La discussion aborde la question des balises utilisées pour interpréter les tailles d’effet.
Mots-clés :
- formation en soins infirmiers,
- soins intermédiaires,
- évaluation des compétences,
- taille d’effet,
- indice d’hétérogénéité
Resumo
Esta investigação trata da avaliação da eficácia da formação em ambiente hospitalar por meio de indicadores de tamanho do efeito e de índice de heterogeneidade. A avaliação abrangeu um curso de formação em cuidados intermediários destinado às enfermeiras e aos enfermeiros com uma duração de 23 dias e que incluiu três dias de ensino clínico realizado à cabeceira do paciente. As competências foram medidas no início e no final da formação, a partir de uma grelha de observação padronizada com base nas funções de especialista clínico, de comunicador, de colaborador, de gestor e de aprendiz-formador. Os estimadores de Cohen e Glass demonstraram efeitos significativos da formação em todos os cinco domínios, enquanto o Índice de heterogeneidade evidenciou uma redução das disparidades comportamentais dentro do grupo após a conclusão da formação. A discussão aborda a questão das marcas utilizadas para interpretar os tamanhos do efeito.
Palavras chaves:
- formação em enfermagem,
- cuidados intermediários,
- avaliação de competências,
- tamanho do efeito,
- índice de heterogeneidade
Download the article in PDF to read it.
Download
Appendices
Références
- Alhassan, M. (2019). Effect of a 2-day communication skills training on nursing and midwifery students’ empathy: A randomised controlled trial. BMJ Open, 9, 18. https://doi.org/10.1136/bmjopen-2018-023666
- Amiri, M., Khademian, Z., & Nikandish, R. (2018). The effect of nurse empowerment educational program on patient safety culture: A randomized controlled trial. BMC Medical Education, 18(1), 158. https://doi.org/10.1186/s12909-018-1255-6
- Baartman, L. K. J., & de Bruijn, E. (2011). Integrating knowledge, skills and attitudes: Conceptualising learning processes towards vocational competence. Educational Research Review, 6(2), 125134. https://doi.org/10.1016/j.edurev.2011.03.001
- Barry, A. E., Szucs, L. E., Reyes, J. V., Ji, Q., Wilson, K. L., & Thompson, B. (2016). Failure to Report Effect Sizes : The Handling of Quantitative Results in Published Health Education and Behavior Research. Health Education & Behavior, 43(5), 518527. https://doi.org/10.1177/1090198116669521
- Blume, B., Ford, J., Baldwin, T., & Huang, J. (2010). Transfer of Training: A Meta-Analytic Review. Journal of Management, 36, 10651105. https://doi.org/10.1177/0149206309352880
- Burke, L. A., & Hutchins, H. M. (2007). Training Transfer: An Integrative Literature Review. Human Resource Development Review, 6(3), 263296.
- Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155.
- Coulet, J.-C. (2016). Les notions de compétence et de compétences clés : L’éclairage d’un modèle théorique fondé sur l’analyse de l’activité. Activités, 13(131). https://doi.org/10.4000/activites.2745
- Ford, J. K., Baldwin, T. T., & Prasad, J. (2018). Transfer of Training: The Known and the Unknown. Annual Review of Organizational Psychology and Organizational Behavior, 5(1), 201225. https://doi.org/10.1146/annurev-orgpsych-032117-104443
- Foucher, R. (2010). Clarifier les concepts de compétence et de talent. In Gérer les talents et les compétences : Principes, pratiques, instruments (p. 1968). Éditions Nouvelles.
- Frank, J. R., & Danoff, D. (2007). The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Medical teacher, 29(7), 642-647.
- Fröhlich, M., Emrich, E., Pieter, A., & Stark, R. (2009). Outcome Effects and Effects Sizes in Sport Sciences. International Journal of Sports Science and Engineering, 3(3), 175179.
- Gérard, F.-M. (2003). L’évaluation de l’efficacité d’une formation. Gestion 2000, 20(3), 1333.
- Gérard, F.-M. (2007). La complexité d’une évaluation des compétences à travers des situations complexes : nécessités théoriques et exigences du terrain, Actes du Colloque international “Logique de compétences et développement curriculaire : débats, perspectives et alternative pour les systèmes éducatifs”, Montréal : ORÉ, April 26 and 27, 2007.
- Gentizon, J., Kottelat, Y., Hamel-Lauzon, G., Szostak, V., & Gallant, S. (2019). Le savoir au service des patients: évaluation du transfert des connaissances auprès d’infirmiers-ères, après une formation e-Learning sur la gestion de la douleur. Science of Nursing and Health Practices-Science infirmière et pratiques en santé, 2(1), 4.
- Glass, G. V., McGaw, B., & Lee Smith, M. (1981). Meta-analysis in social research. Sage Publications, Incorporated.
- Hattie, J. (2017). L’apprentissage visible pour les enseignants. Presses de l’Université du Québec.
- Hedges, L. V. (1981). Distribution Theory for Glass’s Estimator of Effect Size and Related Estimators. Journal of Educational Statistics, 6(2), 107128. https://doi.org/10.2307/1164588
- Institut für Medizin und Kommunikation (IMC). (2013). Directives suisses pour la reconnaissance des Unités de Soins Intermédiaires. Consulté à l’adresse https://swiss-imc.ch/files/daten/richtlinien/NEUES%20Logo_IMC_Richtlinien_2014_Fr_09_190522.pdf
- Kahn, S., & Rey, B. (2016). La notion de compétence : Une approche épistémologique. Éducation et francophonie, 44(2), 4. https://doi.org/10.7202/1039019ar
- Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick’s Four Levels of Training Evaluation. Association for Talent Development.
- Lamont, S., & Brunero, S. (2018). The effect of a workplace violence training program for generalist nurses in the acute hospital setting : A quasi-experimental study. Nurse Education Today, 68, 4552. https://doi.org/10.1016/j.nedt.2018.05.008
- Lauzier, M., & Denis, D. (2016). Accroître le transfert des apprentissages : Vers de nouvelles connaissances, pratiques et expériences. PUQ.
- Le Boterf, G. (2018). Développer et mettre en oeuvre la compétence - Comment investir dans le professionnalisme et les compétences. Librairie Eyrolles.
- Ledergerber, C., Mondoux, J., & Sottas, B. (2009). Compétences spécifiques finales pour les filières d’études HES du domaine de la santé. In KFH Conférence des Recteurs des Hautes.
- Lavina, L., Wehrli, M., & Fumeaux, T. (2017). Entre unité de soins intensifs et unité de lits “standard”. Bulletin des médecins suisses, 98(25), 802-803.
- Maher, J. M., Markey, J. C., & Ebert-May, D. (2013). The other half of the story: Effect size analysis in quantitative research. CBE Life Sciences Education, 12(3), 345351. https://doi.org/10.1187/cbe.13-04-0082
- Mayen, P., & Métral, J.-F. (2008). Compétences et validation des acquis de l’expérience. Formation emploi. Revue française de sciences sociales, (101), 183197.
- Mayen, P., Métral, J.-F., & Tourmen, C. (2010). Les situations de travail. Recherche & formation, 64(2), 3146.
- Morrow, C. C., Jarrett, M. Q., & Rupinski, M. T. (1997). An investigation of the effect and economic utility of corporate-wide training. Personnel Psychology, 50(1), 91119. https://doi.org/10.1111/j.1744-6570.1997.tb00902.x
- Paquay, L., Van Nieuwenhoven, C. & Wouters, P. (2010). L’évaluation, levier du développement professionnel ? De Boeck Supérieur.
- Parent, F. (2008). Chapitre 8. Formation, compétences et constructivisme : le référentiel d’évaluation, outil de cohérence dans les programmes de formation en santé. Dans : Gilles Baillat éd., Évaluer pour former : Outils, dispositifs et acteurs (pp. 111-139). Louvain-la-Neuve, Belgique: De Boeck Supérieur. .
- Pentland, D., Forsyth, K., Maciver, D., Walsh, M., Murray, R., Irvine, L., & Sikora, S. (2011). Key characteristics of knowledge transfer and exchange in healthcare : Integrative literature review. Journal of Advanced Nursing, 67(7), 14081425. https://doi.org/10.1111/j.1365-2648.2011.05631.x
- Rivard, P., & Lauzier, M. (2013). La gestion de la formation et du développement des ressources humaine : Pour préserver et accroître le capital compétence de l’organisation (2e édition). Presses de l’Université du Québec.
- Runciman, W. B., Hunt, T. D., Hannaford, N. A., Hibbert, P. D., Westbrook, J. I., Coiera, E. W., ... & Braithwaite, J. (2012). CareTrack: assessing the appropriateness of health care delivery in Australia. Medical Journal of Australia, 197(2), 100-105.
- Saks, A. M., & Burke-Smalley, L. A. (2014). Is transfer of training related to firm performance? International Journal of Training and Development, 18(2), 104115. https://doi.org/10.1111/ijtd.12029
- Sedlmeier, P. (1996). Jenseits des Signifikanztest-Rituals : Ergänzungen und Alternativen. Methods of Psychological Research Online, 1(4), 4163.
- Siron, S., Dagenais, C., & Ridde, V. (2015). What research tells us about knowledge transfer strategies to improve public health in low-income countries: A scoping review. International Journal of Public Health, 60(7), 849863. https://doi.org/10.1007/s00038-015-0716-5
- Spurlock, D. (2017). The purpose and power of reporting effect sizes in nursing education research. Journal of Nursing Education, 56(11), 645-647.
- Stander, J., Grimmer, K., & Brink, Y. (2018). Training programmes to improve evidence uptake and utilisation by physiotherapists: A systematic scoping review. BMC Medical Education, 18(1), 14. https://doi.org/10.1186/s12909-018-1121-6
- StataCorp. (2013). Stata Statistical Software: Release 13. College Station. Texas: StataCorp LP.
- Streiner, D. L., Norman, G. R., & Cairney, J. (2015). Health Measurement Scales: A Practical Guide to Their Development and Use. Oxford University Press.
- Tanner-Smith, E. E., & Tipton, E. (2014). Robust variance estimation with dependent effect sizes : Practical considerations including a software tutorial in Stata and SPSS. Research Synthesis Methods, 5(1), 1330. https://doi.org/10.1002/jrsm.1091
- Thompson, B. (2007). Effect sizes, confidence intervals, and confidence intervals for effect sizes. Psychology in the Schools, 44(5), 423-432.
- Tomczak, M., & Tomczak, E. (2014). The need to report effect size estimates revisited. An overview of some recommended measures of effect size. TRENDS in Sport Sciences, 1(21), 1925.
- Tourmen, C. (2015). L’évaluation des compétences professionnelles : Apports croisés de la littérature en évaluation, en éducation et en psychologie du travail. Mesure et évaluation en éducation, 38(2), 111144. https://doi.org/10.7202/1036765ar
- Yoshinaga, N., Nakamura, Y., Tanoue, H., MacLiam, F., Aoishi, K., & Shiraishi, Y. (2017). Is modified brief assertiveness training for nurses effective? A single-group study with long-term follow-up. Journal of Nursing Management, 26, 5965. https://doi.org/