L’évaluation par les pairs (peer review), de façon générale, désigne un processus fondamental dans la recherche scientifique, à savoir celui qui consiste à apporter une revue critique sur le travail d’autres chercheur-euse-s en vue de sa publication. Appliquée à l’enseignement, ce type d’évaluation constitue une méthode intéressante pour impliquer les étudiant-e-s dans un processus d’amélioration continue de leurs travaux écrits ou oraux. Le principe est de soumettre une première version du travail des étudiant-e-s à d’autres étudiant-e-s, de fournir à ceux/celles-ci une liste de critères d’évaluation afin qu’ils/elles rédigent un feedback, et de demander aux étudiant-e-s évalué-e-s de tenir compte du feedback pour améliorer leur travail. L’objectif est en général triple:
- Il s’agit d’impliquer activement les étudiant-e-s pour qu’ils/elles comprennent les critères de qualité des travaux, en leur demandant d’utiliser eux-mêmes ces critères en tant qu’évaluateur-trice, ce qui peut contribuer à développer une attitude réflexive vis-à-vis de leurs propres travaux.
- Il s’agit de proposer à chaque étudiant-e un ou plusieurs feedbacks différents de celui de l’enseignant-e, ce qui augmente le nombre de commentaires et permet, on le suppose, d’améliorer davantage le travail après la réception du feedback.
- Si les étudiant-e-s sont nombreux-ses, cela permet de décharger l’enseignant-e qui peut alors plutôt superviser leur travail et aider à respecter les consignes d’évaluation et à comprendre les critères.
Deux chercheuses et un chercheur (Li, Liu & Steckelberg, 2009) se sont penchés récemment sur la question de ce que les étudiant-e-s apprennent suite à un exercice d’évaluation par les pairs. Pas mal d’études existent sur le sujet mais ce que les étudiant-e-s retirent d’une expérience d’évaluation par les pairs n’est pas très clair. Est-ce plus ou moins formatif de recevoir un feedback d’un-e autre étudiant-e ou d’en donner soi-même? Certaines études montrent par exemple que les étudiant-e-s ont parfois tendance à se méfier du feedback qu’ils reçoivent de leurs collègues et s’interrogent sur la légitimité et la pertinence de leurs remarques et commentaires. On peut donc se demander si cela les aide vraiment à améliorer leur travail. D’autres études soulignent l’importance de fournir aux étudiant-e-s des consignes et des critères d’évaluation clairs afin que leur feedback à leurs pairs soient le plus constructif et précis possible. De tels critères ne sont pas toujours fournis, ce qui rend beaucoup de commentaires d’étudiant-e-s peu utiles ou pertinents pour leurs collègues.
Li, Liu et Steckelberg (2009) avaient deux hypothèses de départ liées d’une part à la qualité du travail des étudiant-e-s en fonction du feedback donné aux autres et d’autre part de la qualité de leur travail en fonction du feedback reçu des autres.
Sans entrer dans les détails de l’expérimentation, les chercheur-euse-s ont mis en place un système d’évaluation anonyme de travaux écrits par les pairs via une plate-forme en ligne. La tâche pour les étudiant-e-s (en sciences de l’éducation) était de concevoir une WebQuest pour des élèves. Pour l’évaluation des travaux de leurs pairs (2 au hasard), il leur était demandé d’utiliser une grille d’évaluation de WebQuest souvent utilisée pour ce type de travaux. L’originalité de l’étude est que les chercheur-euse-s ont évalué avec la même grille d’analyse les feedbacks des étudiant-e-s à propos des travaux de leurs pairs. Ceci a permis d’évaluer aussi la qualité des feedbacks produits.
Les résultats de l’étude permettent de mieux comprendre le processus d’évaluation par les pairs… Tout d’abord, les chercheur-euse-s n’ont pas trouvé de lien significatif entre la qualité du travail final des étudiant-e-s et la qualité du feedback qu’ils/elles avaient reçu. Donc même s’ils/elles reçoivent des feedbacks de qualité de la part de leurs collègues, ils/elles ne les utilisent pas vraiment pour améliorer leur travail. Ceci confirme que beaucoup d’étudiant-e-s se méfient du feedback de leurs pairs en croyant, à tort ou à raison, qu’ils/elles ne sont pas à même de juger de façon pertinente leur travail.
Les chercheur-euse-s ont ensuite trouvé un lien significatif entre la qualité du feedback donné et le travail des étudiant-e-s. En d’autres mots, quand un-e étudiant-e évalue le travail de ses pairs, plus cette évaluation est de qualité, plus il y a de chances que son propre travail soit de qualité. Ceci signifie que dans l’évaluation par les pairs, ce ne serait pas le fait de recevoir du feedback qui est le plus formateur mais plutôt le fait d’en donner. Ceci s’explique par le fait que les étudiant-e-s (dans cette expérience), devaient bien s’approprier les critères d’évaluation pour commenter le travail de leurs collègues et que cette appropriation leur a surtout servi à eux-mêmes pour augmenter la qualité de leur propre travail.
Ce qu’on peut retenir de ces résultats tient en plusieurs points:
- Il est vraiment utile de fournir aux étudiant-e-s des critères clairs d’évaluation et des outils précis comme une grille d’évaluation pour s’auto-évaluer ou évaluer les travaux de leurs collègues.
- Il est important d’aider les étudiant-e-s à fournir un feedback de qualité à leurs pairs, non pas pour que leurs pairs puissent en profiter (enfin si, quand même 🙂 ) mais surtout pour qu’eux-mêmes s’approprient bien les critères d’évaluation qu’ils devront remplir pour leur propre travail.
- Par extension, entraîner les étudiant-e-s à s’auto-évaluer est une activité qui aura une influence sur leurs apprentissages.
Li, L., Liu, X., & Steckelberg, A. L. (2009). Assessor or assessee: How student learning improves by giving and receiving peer feedback. British Journal of Educational Technology, Early view.
Dans cette étude, n’y a-t-il pas un biais en raison de la clientèle étudiée, à savoir les étudiants en éducation. En effet, ceux-ci auront entre autres la tâche, une fois devenus enseignants, de réaliser des évaluations. De même, comme l’évaluation est, si l’on peut s’exprimer ainsi, un de leur champs d’expertise, peut-être sont-ils plus critiques quant au feedback reçu ? En serait-il de même pour les futurs ingénieurs ?
Caroline: je ne dirais pas que c’est un biais. Je dirais simplement que ça fait partie du contexte de l’étude. Ça veut dire qu’il faut être effectivement prudent si on essaie de généraliser les résultats. Je ne sais pas si ce serait la même chose avec des étudiant-e-s ingénieur-e-s et je ne sais pas si les mêmes résultats seraient observables dans d’autres contextes. Par contre, ces résultats avec des étudiant-e-s en éducation peuvent avertir les enseignant-e-s qui travaillent dans d’autres sections et ces enseignant-e-s peuvent effectuer des choix pédagogiques pour maximiser l’aspect formatif de l’exercice, par exemple en fournissant une grille d’évaluation aux étudiant-e-s ou en anonymisant les feedbacks.
Par ailleurs, pour avoir été observer récemment des cours-séminaires (en linguistique et en science des religions) où les étudiant-e-s devaient se critiquer l’un-e-l’autre, j’ai fait la même observation: sans grille d’évaluation, les feedbacks partent dans tous les sens et les étudiant-e-s qui reçoivent un feedback sont parfois frustré-e-s d’être critiqué-e-s et se demandent à quoi sert le feedback qu’ils/elles ont reçu.
Concernant le lien que les chercheurs ont trouvé entre la qualité du feedback donné et le travail des étudiant-e-s, l’interprétation proposée est – je cite – « Ceci signifie que dans l’évaluation par les pairs, ce ne serait pas le fait de recevoir du feedback qui est le plus formateur mais plutôt le fait d’en donner. »
Je propose l’interprétation inverse (et si le lien trouvé est une simple corrélation, rien ne m’en empêche) : c’est parce que des étudiants sont capables de faire un bon travail qu’ils font aussi de bonnes évaluations.
Si cette interprétation est correcte, alors le fait de donner un feedback n’est pas nécessairement formateur, et donc l’intérêt pédagogique de l’évaluation par les pairs est à chercher ailleurs…
Jacques: J’ai donc été relire les résultats quantitatifs de l’étude 🙂 Les corrélations observées, bien que faibles, ne montrent pas de lien entre qualité de la première version du travail des étudiant-e-s et qualité du feedback donné. Par contre, un lien est observé entre qualité du feedback donné et qualité du travail final (alors qu’il n’y a pas de lien entre qualité du feedback reçu et qualité du travail final).
Vu que les corrélations sont faibles, les chercheur-euse-s ont aussi fait une analyse en régression multiple afin justement de hiérarchiser les variables causales. Cette analyse confirme les corrélations observées. Le modèle explicatif qui résiste le mieux à l’analyse est celui qui prédit qu’un travail final sera meilleur si la qualité du feedback donné est meilleure. Les autres modèles explicatifs qui lient qualité de la version initiale du travail et qualité de la version finale ou qui lient qualité du feedback reçu et qualité de la version finale du travail résistent moins bien à l’analyse.
Bon, tu me répondras que ce ne sont que des chiffres 🙂 Rien ne dit que le même modèle explicatif se dégagera d’une étude avec d’autres types d’étudiant-e-s… ou même de la même étude avec les mêmes étudiant-e-s. Mais comme je l’ai écrit à Caroline, ces résultats peuvent quand même attirer l’attention des enseignant-e-s sur l’utilité des grilles d’évaluation et l’attention à porter à l’organisation d’un tel exercice.
[…] L'évaluation par les pairs (peer review), de façon générale, désigne un processus fondamental dans la recherche scientifique, à savoir celui qui consiste à apporter une revue critique sur le travai… […]
[…] d’entrer dans ces écrits et de les évaluer correctement. Un article à ce sujet : Évaluer ou être évalué, telle est la question (2009) Amaury […]
A reblogué ceci sur Eva Guerda.