Abstracts
Résumé
La crédibilité accordée aux résultats d’une évaluation par les parties prenantes demeure une préoccupation importante chez les personnes évaluatrices. Comment les parties prenantes, porteuses d’intérêts, perçoivent-elles la démarche évaluative et les résultats qu’elle génère comme crédibles ? L’article présente les résultats d’une recherche ayant permis de documenter la perspective des parties prenantes à cet égard. Discutés sous l’angle comparatif avec la perspective de la personne évaluatrice, les résultats indiquent que les discours convergent sur plusieurs plans, mais qu’une divergence potentielle peut être observée quant aux finalités poursuivies dans le cadre de l’évaluation. Les constats mettent en relief plusieurs questionnements réflexifs quant aux implications de cette divergence pour la pratique de l’évaluation, lesquels mènent à conclure avec une piste de solution innovante exigeant un certain repositionnement dans la façon d’approcher une évaluation et dans les relations avec les parties prenantes.
Mots-clés :
- évaluation de programme,
- jugement crédible,
- parties prenantes,
- utilisation de l’évaluation
Abstract
The credibility given to evaluation results by stakeholders remains a significant concern for evaluators. How do stakeholders, who are interested parties, perceive the evaluation process and the credibility of the generated results? This article presents the documented perceptions of stakeholders as to the credibility of the obtained results and the overarching process. These perceptions are then compared to evaluators’ points of view. The discourses converge on several levels ; however, a potential divergence is underlined in the way stakeholders and evaluators come to understand the aim of the evaluation process. The analysis thus focuses on this divergence and its implications of the evaluation process in such a way that an innovative solution is submitted, which requires, nevertheless, a repositioning of the evaluators’ relationship to the approach and to stakeholders.
Keywords:
- credible judgment,
- program evaluation,
- stakeholders,
- use of evaluation
Resumo
A credibilidade atribuída aos resultados de uma avaliação pelas partes interessadas continua a ser uma preocupação importante para os avaliadores. Como é que as partes interessadas, que têm os seus próprios interesses, percebem o processo avaliativo e os resultados que dele decorrem como credíveis? O artigo apresenta os resultados de uma investigação que documentou a perspetiva das partes interessadas a este respeito. Discutidos numa perspetiva comparativa com a perspetiva do avaliador, os resultados indicam que os discursos convergem em vários aspetos, mas que pode ser observada uma potencial divergência quanto às finalidades pretendidas no âmbito da avaliação. As conclusões salientam várias questões reflexivas quanto às implicações desta divergência para a prática de avaliação, levando à proposta de uma solução inovadora que exige um reposicionamento na forma de abordar a avaliação e nas relações com as partes interessadas.
Palavras chaves:
- avaliação de programas,
- juízo credível,
- partes interessadas,
- utilização da avaliação
Appendices
Liste de références
- Bourgeois, I. & Hurteau, M. (2018). L’implication des parties prenantes dans la démarche évaluative : facteurs de succès et leçons à retenir. La revue canadienne en évaluation de programme, 33(2), 236-246. https://doi.org/10.3138/cjpe.42205
- Bourgeois, I. & Valiquette L’Heureux, A. (2018). Le renforcement des capacités organisationnelles en évaluation : une démarche axée sur les parties prenantes. Dans M. Hurteau, I. Bourgeois & S. Houle (dir.), L’évaluation de programme axée sur la rencontre des acteurs (p. 133-150). Presses de l’Université du Québec.
- Brandon, P. R. & Fukunaga, L. L. (2014). The state of empirical research literature on stakeholder involvement in program evaluation. American Journal of Evaluation, 31(1), 26-44. https://doi.org/10.1177/1098214013503699
- Buetti, D. (2021). Comprendre afin de renforcer les capacités en évaluation des organismes d’action communautaire. [Thèse de doctorat, Université d’Ottawa]. Recherche uO. http://hdl.handle.net/10393/41874
- Chadillon-Faranacci, V., Saint-Pierre, F. & Pelland, M.-A. (2022). Étude de cas d’une évaluation participative : compromis ou atteinte à la validité scientifique ? Reflets, 28(2), 44-68. https://doi.org/10.7202/1106956ar
- Champagne, F., Contandriopoulos, A.-P., Brousselle, A., Hartz, Z. & Denis, J.-L. (2011). L’évaluation dans le domaine de la santé : concepts et méthodes. Dans A. Brousselle, F. Champagne, A.-P. Contandriopoulos & Z. Hartz (dir.), L’évaluation : concepts et méthodes (2e éd.) (p. 49-70). Presses de l’Université de Montréal.
- Charmaz, K. (2006). Constructing grounded theory: a practical guide through qualitative analysis. SAGE Publications.
- Chelimsky, E. (2006). The purpose of evaluation in a democratic society. Dans I. F. Shaw, J. C. Grenne & M. M. Mark (dir.), The SAGE handbook of evaluation (p. 33-55). SAGE Publications.
- Chen, H. T. (2004). The roots of theory-driven evaluation. Dans M. C. Alkin (dir.), Evaluation roots: tracing theorists’ views and influences (p. 132-152). SAGE Publications.
- Chouinard, J. A. & Milley, P. (2016). Mapping the spatial dimensions of participatory practice: a discussion of context in evaluation. Evaluation and Program Planning, 54, 1-10. https://doi.org/10.1016/j.evalprogplan.2015.09.003
- Cousins, J. B. & Chouinard, J. A. (dir.). (2012). Participatory evaluation up close, an integration of research-based knowledge. Information Age Publishing Inc.
- Cousins, J. B., Whitmore, E. & Shulha, L. (2013). Arguments for a common set of principles for collaborative inquiry in evaluation. American Journal of Evaluation, 34(1), 7-22. https://doi.org/10.1177/1098214012464037
- Dagenais, C., Lysenko, L., Abrami, P. C., Bernard, R. M., Ramde, J. & Janosz, M. (2012). Use of research-based information by school practioners and determinants of use: a review of empirical research. Evidence and Policy, 8(3), 285-309. https://doi.org/10.1332/174426412X654031
- Daigneault, P.-M. & Jacob, S. (2012). Conceptualiser et mesurer la participation à l’évaluation. Dans V. Ridde & C. Dagenais (dir.), Approches et pratiques en évaluation de programmes (p. 234-254). Presses de l’Université de Montréal.
- Donaldson, S. I., Christie, C. A. & Mark, M. M. (2009). What counts as credible evidence in applied research and evaluation practice? SAGE Publications.
- Dubeau, D., Bérubé, A., Lafantaisie, V., Coutu, S. & Turcotte, G. (2018). Les conditions gagnantes et les défis pour une participation active des parties prenantes dans un contexte d’évaluation de programmes d’intervention. La revue canadienne en évaluation de programme, 33(2), 202-222. http://dx.doi.org/10.3138/cjpe.42203
- Dubois, N. & Marceau, R. (2005). Un état des lieux théoriques de l’évaluation : une discipline à la remorque d’une révolution scientifique qui n’en finit pas. La revue canadienne en évaluation de programme, 20(1), 1-36. http://dx.doi.org/10.3138/cjpe.020.001
- Fetterman, D. M., Rodríguez-Campos, L., Zukoski, A. P. & collaborateurs. (2017). Collaborative, participatory, and empowerment evaluation: Stakeholder involvement approaches (1re éd.). The Guilford Press.
- Fleischer, D. N. & Christie, C. A. (2009). Evaluation use: result from a survey of U.S. American Evaluation Association members. American Journal of Evaluation, 30(2), 158-175. https://doi.org/10.1177/1098214008331009
- Flemming, M. A. (2011). Applying social psychology to increase evaluation use. Dans M. M. Mark, S. I. Donaldson & B. Campbell (dir.), Social psychology and evaluation (p. 212-243). The Guilford Press.
- Greene, J. C. (2006). Evaluation, democracy, and social change. Dans I. F. Shaw, J. C. Greene & M. M. Mark (dir.), The SAGE handbook of evaluation (p. 118-160). SAGE Publications.
- Greene, J. C. (2012). La contribution des données probantes au processus de crédibilisation d’une évaluation. Dans M. Hurteau, S. Houle & F. Guillemette (dir.), L’évaluation de programme axée sur le jugement crédible (p. 57-75). Presses de l’Université du Québec.
- Guba, E. & Lincoln, Y. (1989). Fourth generation evaluation. SAGE publication.
- Hansen, M. B., Alkin, M. C. & Wallace, T. L. (2013). Depicting the logic of three evaluation theories. Evaluation and Program Planning, 38, 34-43. https://doi.org/10.1016/j.evalprogplan.2012.03.012
- Harnar, M. A. (2014). Developing criteria to identify transformative participatory evaluators. Journal of Multi Disciplinary Evaluation, 10(22), 14-31. https://doi.org/10.56645/jmde.v10i22.383
- Houle, S., Hurteau, M. & Marchand, M.-P. (2018). L’évaluateur et la sagesse pratique : vecteurs essentiels pour assurer la crédibilité de l’évaluation. La revue canadienne en évaluation de programme, 33(1). https://doi.org/10.3138/cjpe.42204
- House, E. R. (1980). Evaluating with validity. SAGE Publications.
- House, E. R. (2018). L’apport de la sagesse pratique. Dans M. Hurteau, I. Bourgeois & S. Houle (dir.), L’évaluation de programme axée sur la rencontre des acteurs (p. 25-34). Presses de l’Université du Québec. https://doi.org/10.2307/j.ctvggx3h4.8
- Hurteau, M. & Archibald, T. (2023). Practical wisdom for an ethical evaluation practice. Information Age Publishing.
- Hurteau, M., Bourgeois, I. & Houle, S, (dir.) (2018). L’évaluation de programme axée sur la rencontre des acteurs. Presses de l’Université du Québec. https://doi.org/10.2307/j.ctvggx3h4
- Hurteau, M. & Gagnon, C. (2022). Contribution of practical wisdom to resolving ethical issues. Evaluation, The International Journal of Theory, Research and Practice, 28(2), 182-191. https://doi.org/10.1177/13563890221086306
- Hurteau, M., Houle, S. & Guillemette, F. (dir.) (2012a). L’évaluation de programme axée sur le jugement crédible. Presses de l’Université du Québec.
- Hurteau, M., Houle, S. & Marchand, M.-P. (2016). Évaluer un programme, un projet, un dispositif à partir d’un jugement crédible. Éducation permanente, 206(3), 41-52.
- Hurteau, M., Houle, S., Marchand, M.-P., Ndinga, P., Guillemette, F. & Schleifer, M. (2012b). Les processus de production et de crédibilisation du jugement en évaluation. Dans M. Hurteau, S. Houle & F. Guillemette (dir.), L’évaluation de programme axée sur le jugement crédible (p. 77-100). Presses de l’Université du Québec.
- Hurteau, M., Rahmanian, J., Houle, S. & Marchand, M.-P. (2020). The role of intuition in evaluative judgment and decision. American Journal of Program Evaluation, 4(3), 326-338. https://doi.org/10.1177/1098214020908211
- Hurteau, M. & Williams, D. D. (2014). Credible judgment: combining truth, beauty, and justice. Dans J. C. Griffith & B. Montrosse-Moorhead (dir.), Revisiting truth, beauty, and justice: evaluating with validity in the 21st century. New Directions for Evaluation, 142, 45-56. https://doi.org/10.1002/ev.20084
- Jakubik, M. (2020). How can practical wisdom manifest itself in five fundamental management and leadership practices? Vilakshan – XIMB Journal of Management, 18(1), 3-25. https://doi.org/10.1108/XJM-08-2020-0078
- Leclerc, B.-S. & Lessard, S. (2015). Évaluation de la qualité d’un partenariat dans le cadre de la mise en place d’une intervention intersectorielle de type école, famille et communauté. La revue canadienne en évaluation de programme, 30(2), 216-227. https://doi.org/10.3138/cjpe.192
- Lincoln, Y. S. & Guba, E. G. (1985). Naturalistic inquiry. SAGE Publications.
- Luskin, R. J. C. & Ho, T. (2013). Comparing the intended consequences of three theories of evaluation. Evaluation and Program Planning, 38, 61-66. https://doi.org/10.1016/j.evalprogplan.2012.03.015
- Mabry, L. (2009). Case study methods in educational evaluation. Dans K. E. Ryan & J. B. Cousins (dir.), The SAGE international handbook of educational evaluation (p. 341-356). SAGE Publications.
- Marchand, M.-P. (2020). Vers une meilleure contextualisation de l’évaluation crédible : identification des facteurs d’influence de la crédibilité à partir d’expériences évaluatives de parties prenantes. [Thèse de doctorat, Université du Québec à Montréal]. Archipel. https://archipel.uqam.ca/14084/
- Mathison, S. M. (2005). Encyclopedia of evaluation. SAGE Publications.
- Mertens, D. M. & Hesse-Biber, S. (2013). Mixed methods and credibility of evidence in evaluation. New Directions for Evaluation, 138, 5-13. https://doi.org/10.1002/ev.20053
- Nelson, R. K. (2009). An exploration of the factors that influence participant selection in participatory evaluation (publication no 1604462). [Thèse de doctorat, University of Minnesota]. ProQuest Dissertations Publishing.
- Orr, S. K. (2010). Exploring stakeholders values and interests in evaluation. American Journal of Evaluation, 31(4), 557-569. https://doi.org/10.1177/1098214010372668
- Paillé, P. & Mucchielli, A. (2016). L’analyse qualitative en sciences humaines et sociales (4e éd.). Armand Colin.
- Patton, M. Q. (2015). Qualitative research and evaluation methods (4e éd.). SAGE Publications.
- Picciotto, R. (2020). Towards a ‘New Project Management’ movement ? An international development perspective. International Journal of Project Management, 38(8), 474-485. https://doi.org/10.1016/j.ijproman.2019.08.002
- Rodríguez-Campos, L. & Rincones-Gómez, R. (2012). Collaborative Evaluations: Step-by-Step (2e éd.). Stanford Business Books.
- Savoie-Zajc, L. (2018). La recherche qualitative/interprétative en éducation. Dans T. Karsenti & L. Savoie-Zajc (dir.), La recherche en éducation : étapes et approches (4e éd.) (p. 191-218). Les Presses de l’Université de Montréal.
- Schwandt, T. A. (2009). Toward a practical theory of evidence for evaluation. Dans S. I. Donaldson, C. A. Christie & M. M. Mark (dir.), What counts as credible evidence in applied research and evaluation practice? (p. 197-212). SAGE Publications.
- Smith, N. L. (2011, novembre). Emergent investigative evaluation: theory, development and use in evaluation practice. Conférence au congrès annuel de l’American Evaluation Association, Anaheim.
- Société canadienne d’évaluation (2019, janvier). Référentiel des compétences professionnelles requises à l’exercice d’évaluation de programmes au Canada. https://evaluationcanada.ca/files/pdf/2_competences_cdn_pratique_evaluation.pdf
- Taut, S. & Alkin, M. C. (2003). Program staff perceptions of barriers to evaluation implementation. American Journal of Evaluation, 24(2), 213-226. https://doi.org/10.1177/109821400302400205
- Tello-Rozas, S., Léonard, M., Lussier-Lejeune, F., Obad-Fathallah, H., Goulet, V., Métivier, C., Gervais, L. & Chicoine, G. (2022). Pratiques plurielles d’évaluation propres aux organismes communautaires au Québec : état des lieux, Reflets, 28(2), 14–43. https://doi.org/10.7202/1106955ar
- Thiebaut, G.-C., Brousselle, A., Contandriopoulos, A.-P., Champagne, F. & Hartz, Z. (2011). Introduction. Positionner l’évaluateur face aux enjeux de l’évaluation. Dans A. Brousselle, F. Champagne, A.-P. Contandriopoulos & Z. Hartz (dir.), L’évaluation : concepts et méthodes (p. 11-23). Les Presses de l’Université de Montréal.
- Thomas, D. R. (2006). A general inductive approach for analyzing qualitative evaluation data. American Journal of Evaluation, 27(2), 237-246. https://doi.org/10.1177/1098214005283748
- Toulemonde, J. (2005, mai). Appropriation des résultats de l’évaluation : leçons de la pratique en Région Limousin. Communication présentée au Colloque de la Société Française de l’Évaluation, Paris.
- Torres-Cuello, M. A., Pinzón-Salcedo, L. & Midgley, G. (2018). Developing a systemic program evaluation methodology: A critical systems perspective. Systems Research and Behavioral Science, 35(5), 538‑547. https://doi.org/10.1002/sres.2561
- Weiss, C. H. (1983). Toward the future of stakeholder approaches in evaluation. Dans A. S. Bryk (dir.), Stakeholder-based education (p. 83-96). Jossey-Bass.
- Whitmore, E., Al Hubid, J., Cousins, B., Gilbert, N. & Shulha, L. M. (2017). Reflections on the meaning of success in collaborative approaches to evaluation: results of an empirical study. La revue canadienne en évaluation de programme, 31(3), 328-349. https://doi.org/10.3138/cjpe.335
- Whitmore, E. (1998). Understanding and practicing participatory evaluation. New Directions for Evaluation, 80, 95-99.