Feeds:
Articles
Commentaires

Posts Tagged ‘évaluation par les pairs’

J’ai présenté il y a quelques temps un document intitulé « Le feedback pour favoriser l’apprentissage » préparé avec trois collègues de l’UNIL et du Centre de didactique universitaire de l’Université de Fribourg. Très récemment, nous avons eu l’occasion de présenter ce document à Lausanne lors d’un atelier d’une heure trente. Onze personnes ont participé, des enseignant-e-s et des assistant-e-s qui avaient des questions très variées à propos du feedback: accompagnement de mémoires, animation de séminaires, auto-évaluation, évaluation par les pairs, etc. mais aussi feedback aux enseignant-e-s dans le cadre de l’évaluation des enseignements. Nous avions préparé une session très interactive avec un temps de réflexion personnelle, des discussions par paires, une discussion en groupe et une synthèse générale.

Pour susciter la réflexion personnelle, nous avons préparé un questionnaire individuel (PDF – 140Ko) dont le but est de soutenir la réflexion sur ses pratiques actuelles de feedback et de se questionner sur d’autres pratiques possibles. Nous avons présenté cet outil de la manière suivante:

Le but des questions posées dans ce document est simplement de proposer une réflexion sur les pratiques de feedback aux étudiant-e-s à l’université et d’ouvrir des perspectives pour les développer. Il s’agit d’une boîte à idées issues d’enseignant-e-s universitaires plutôt que d’une liste de pratiques à mettre en œuvre. Chaque idée peut ensuite être adaptée à des situations variées.

Ensuite les questions sont réparties en sept thématiques qui correspondent à celles décrites dans le document de synthèse:

  1. Définir des critères pour clarifier les exigences attendues;
  2. Utiliser des stratégies pour améliorer la prise en compte du feedback par les étudiant-e-s;
  3. Délivrer une information de qualité;
  4. Soutenir la motivation des étudiant-e-s par le feedback;
  5. Comprendre le feedback comme un dialogue;
  6. Donner l’occasion à l’étudiant-e de s’auto-évaluer;
  7. Réguler son enseignement à l’aide du feedback.

La petite expérience vécue d’utilisation de ce questionnaire avec un groupe d’enseignant-e-s et d’assistant-e-s a été assez positive. Les discussions qui ont eu lieu ont été intéressantes notamment à propos de l’évaluation par les pairs (parce que les enseignant-e-s n’ont pas nécessairement à faire tout le travail de feedback seul-e-s) et de l’organisation de séminaires basés sur la présentation de travaux d’étudiant-e-s et de discussions (en particulier pour faire participer tou-te-s les étudiant-e-s aux discussions).

Read Full Post »

Le 8 septembre dernier, l’AIPU Suisse organisait sa première journée d’étude intitulée « Innover dans l’évaluation des apprentissages. Pourquoi et comment ? ». J’avais annoncé l’arrivée d’un compte-rendu. Le voici donc. Je présente ici mes quelques notes et réflexions.

La conférence introductive était présentée par Marc Romainville. J’ai trouvé intéressant le fait qu’il fonde son intervention sur les représentations que beaucoup d’enseignant-e-s du supérieur se font de l’évaluation. J’ai retenu plusieurs choses, qui pourront paraître un peu triviales à certain-e-s mais qui, de mon point de vue de conseiller pédagogique, me semblent intéressantes à expliciter aux yeux des enseignant-e-s.

Il y a souvent dans l’enseignement supérieur une différence entre les exigences annoncées aux étudiant-e-s et les exigences effectives (celles qui interviennent au moment de l’examen). Il y a ainsi beaucoup d’exigences et de critères d’évaluation implicites. Par exemple, un-e enseignant-e peut annoncer avant un examen qu’il ne tiendra pas compte de l’orthographe lors de la correction des copies mais se laisser tout de même influencer par la maîtrise de la langue écrite par les étudiant-e-s lors de l’examen. Un autre exemple, pour une même question d’examen comme « Définissez le principe d’Archimède », deux enseignant-e-s corrigeront tout à fait différemment selon qu’ils/elles attendent une définition mot à mot issue du livre de référence ou une définition expliquée par l’étudiant-e avec ses propres mots. Dans un cas, on vise la rétention d’information, dans l’autre la compréhension d’une notion.

Il y a donc des problèmes de validité (par exemple, on prétend mesurer la réflexion des étudiant-e-s alors qu’on ne fait que mesurer leur mémoire) et de fidélité (par exemple, deux enseignant-e-s corrigent différemment une même copie ou un-e même enseignant-e corrige différemment une même copie à des moments différents). Le problème est que beaucoup d’enseignant-e-s (selon les études citées par Marc Romainville) pensent que leur évaluation est suffisamment objective ou encore qu’il faut de la subjectivité dans l’évaluation. Or, l’évaluation est en réalité une inférence, une construction de sens à propos d’une performance d’un-e étudiant-e réalisée à un moment donné et qui est censée représenter un apprentissage. L’évaluation est une procédure par laquelle un-e étudiant-e va apporter une preuve qu’il a atteint un objectif d’apprentissage spécifique.

Sans prétendre arriver à être totalement objectif, on peut tout de même mettre en place certaines balises procédurales pour réduire la subjectivité. Pour ce faire, Marc Romainville propose de travailler en cinq étapes:

  1. Définir les compétences et les connaissances à mesurer en rédigeant des objectifs d’apprentissage mesurables et en vérifiant que ceux-ci ont effectivement fait l’objet d’un enseignement. On a tendance parfois à considérer certaines compétences comme des prérequis sans le formuler explicitement.
  2. Élaborer un dispositif d’évaluation approprié. Faire un examen oral dans un cours portant sur la maîtrise de la rédaction écrite ne serait pas le plus approprié par exemple…
  3. Clarifier le contrat didactique en informant les étudiant-e-s des modalités et des critères d’évaluation, en suggérant des démarches d’apprentissage (pour prendre des notes ou étudier par exemple), en rappelant régulièrement ces modalités et ces démarches et en créant des situations d’apprentissage actif (simuler un examen, proposer en lecture des copies d’examen d’années précédentes, exercer à l’utilisation de la grille d’évaluation, etc.).
  4. Établir la note en traitant les copies de façon anonyme, question par question et dans un ordre différent pour chaque question. La note devrait aussi être établie selon une méthode prédéfinie et identique pour chaque étudiant-e, même lors d’examens oraux.
  5. Retourner de l’information, donc un feedback, de façon bienveillante et en encourageant le développement.

Une stratégie intéressante pour rendre explicite la démarche d’évaluation est celle des grilles d’évaluation critériées dont j’ai déjà parlé plusieurs fois sur ce blog. Quelques exemples sont accessibles sur le site du livre « Enseigner à l’Université dans une approche-programme » de Huguette Bernard, Anastassis Kozanitis et Richard Prégent (2009). Par ailleurs, le site « Authentic assesment Toolbox » propose plusieurs techniques et de nombreux exemples pour mettre en place des stratégies diversifiées d’évaluation des apprentissages (portfolio, grilles d’évaluation, etc.).

L’après-midi était consacré à un travail en ateliers centrés sur des thématiques choisies par les participant-e-s. J’étais dans le groupe qui a réfléchi à l’auto-évaluation des étudiant-e-s. La discussion a tourné autour de plusieurs questions centrales:

  • quels outils peut-on fournir aux étudiant-e-s pour les soutenir dans leurs auto-évaluations?
  • dans quelle mesure l’auto-évaluation peut-elle soutenir l’auto-formation ou l’apprentissage individuel?
  • quels peuvent être les objectifs d’un exercice d’auto-évaluation?
  • quelle peut être la relation entre auto-évaluation et évaluation?
  • quelle est la validité de l’auto-évaluation?
  • sous quelles modalités peut-on organiser l’auto-évaluation avec ses étudiant-e-s?

Quelques points que je retiens de la discussion:

  • Il est assez important de bien cadrer ce type d’exercice: objectifs, temporalité, consignes, etc.
  • Des objectifs intéressants à poursuivre pour les étudiant-e-s peuvent être la prise de conscience de ses propres processus d’apprentissage, la confrontation avec une grille de critères prédéfinis ou la valorisation de son expérience.
  • L’auto-évaluation de l’enseignant-e permet aussi de développer la qualité de la formation.

J’ai trouvé un résumé intéressant de ce que peut être l’auto-évaluation dans l’enseignement supérieur sur le site de la Queen’s University de Belfast. Plusieurs autres ressources y sont aussi proposées.

Enfin, sur les questions d’évaluation des apprentissages dans l’enseignement supérieur, voici deux références de base:

Brown, G., Bull, J., & Pendlebury, M. (1997). Assessing student learning in higher education. London: Routledge.

Dunn, L., Morgan, C., O’Reilly, M., & Parry, S. (2004). The student assessment handbook. London: Routledge.

Read Full Post »

L’évaluation par les pairs (peer review), de façon générale, désigne un processus fondamental dans la recherche scientifique, à savoir celui qui consiste à apporter une revue critique sur le travail d’autres chercheur-euse-s en vue de sa publication. Appliquée à l’enseignement, ce type d’évaluation constitue une méthode intéressante pour impliquer les étudiant-e-s dans un processus d’amélioration continue de leurs travaux écrits ou oraux. Le principe est de soumettre une première version du travail des étudiant-e-s à d’autres étudiant-e-s, de fournir à ceux/celles-ci une liste de critères d’évaluation afin qu’ils/elles rédigent un feedback, et de demander aux étudiant-e-s évalué-e-s de tenir compte du feedback pour améliorer leur travail. L’objectif est en général triple:

  1. Il s’agit d’impliquer activement les étudiant-e-s pour qu’ils/elles comprennent les critères de qualité des travaux, en leur demandant d’utiliser eux-mêmes ces critères en tant qu’évaluateur-trice, ce qui peut contribuer à développer une attitude réflexive vis-à-vis de leurs propres travaux.
  2. Il s’agit de proposer à chaque étudiant-e un ou plusieurs feedbacks différents de celui de l’enseignant-e, ce qui augmente le nombre de commentaires et permet, on le suppose, d’améliorer davantage le travail après la réception du feedback.
  3. Si les étudiant-e-s sont nombreux-ses, cela permet de décharger l’enseignant-e qui peut alors plutôt superviser leur travail et aider à respecter les consignes d’évaluation et à comprendre les critères.

Deux chercheuses et un chercheur (Li, Liu & Steckelberg, 2009) se sont penchés récemment sur la question de ce que les étudiant-e-s apprennent suite à un exercice d’évaluation par les pairs. Pas mal d’études existent sur le sujet mais ce que les étudiant-e-s retirent d’une expérience d’évaluation par les pairs n’est pas très clair. Est-ce plus ou moins formatif de recevoir un feedback d’un-e autre étudiant-e ou d’en donner soi-même? Certaines études montrent par exemple que les étudiant-e-s ont parfois tendance à se méfier du feedback qu’ils reçoivent de leurs collègues et s’interrogent sur la légitimité et la pertinence de leurs remarques et commentaires. On peut donc se demander si cela les aide vraiment à améliorer leur travail. D’autres études soulignent l’importance de fournir aux étudiant-e-s des consignes et des critères d’évaluation clairs afin que leur feedback à leurs pairs soient le plus constructif et précis possible. De tels critères ne sont pas toujours fournis, ce qui rend beaucoup de commentaires d’étudiant-e-s peu utiles ou pertinents pour leurs collègues.

Li, Liu et Steckelberg (2009) avaient deux hypothèses de départ liées d’une part à la qualité du travail des étudiant-e-s en fonction du feedback donné aux autres et d’autre part de la qualité de leur travail en fonction du feedback reçu des autres.

Sans entrer dans les détails de l’expérimentation, les chercheur-euse-s ont mis en place un système d’évaluation anonyme de travaux écrits par les pairs via une plate-forme en ligne. La tâche pour les étudiant-e-s (en sciences de l’éducation) était de concevoir une WebQuest pour des élèves. Pour l’évaluation des travaux de leurs pairs (2 au hasard), il leur était demandé d’utiliser une grille d’évaluation de WebQuest souvent utilisée pour ce type de travaux. L’originalité de l’étude est que les chercheur-euse-s ont évalué avec la même grille d’analyse les feedbacks des étudiant-e-s  à propos des travaux de leurs pairs. Ceci a permis d’évaluer aussi la qualité des feedbacks produits.

Les résultats de l’étude permettent de mieux comprendre le processus d’évaluation par les pairs… Tout d’abord, les chercheur-euse-s n’ont pas trouvé de lien significatif entre la qualité du travail final des étudiant-e-s et la qualité du feedback qu’ils/elles avaient reçu. Donc même s’ils/elles reçoivent des feedbacks de qualité de la part de leurs collègues, ils/elles ne les utilisent pas vraiment pour améliorer leur travail. Ceci confirme que beaucoup d’étudiant-e-s se méfient du feedback de leurs pairs en croyant, à tort ou à raison, qu’ils/elles ne sont pas à même de juger de façon pertinente leur travail.

Les chercheur-euse-s ont ensuite trouvé un lien significatif entre la qualité du feedback donné et le travail des étudiant-e-s. En d’autres mots, quand un-e étudiant-e évalue le travail de ses pairs, plus cette évaluation est de qualité, plus il y a de chances que son propre travail soit de qualité. Ceci signifie que dans l’évaluation par les pairs, ce ne serait pas le fait de recevoir du feedback qui est le plus formateur mais plutôt le fait d’en donner. Ceci s’explique par le fait que les étudiant-e-s (dans cette expérience), devaient bien s’approprier les critères d’évaluation pour commenter le travail de leurs collègues et que cette appropriation leur a surtout servi à eux-mêmes pour augmenter la qualité de leur propre travail.

Ce qu’on peut retenir de ces résultats tient en plusieurs points:

  • Il est vraiment utile de fournir aux étudiant-e-s des critères clairs d’évaluation et des outils précis comme une grille d’évaluation pour s’auto-évaluer ou évaluer les travaux de leurs collègues.
  • Il est important d’aider les étudiant-e-s à fournir un feedback de qualité à leurs pairs, non pas pour que leurs pairs puissent en profiter (enfin si, quand même 🙂 ) mais surtout pour qu’eux-mêmes s’approprient bien les critères d’évaluation qu’ils devront remplir pour leur propre travail.
  • Par extension, entraîner les étudiant-e-s à s’auto-évaluer est une activité qui aura une influence sur leurs apprentissages.

Li, L., Liu, X., & Steckelberg, A. L. (2009). Assessor or assessee: How student learning improves by giving and receiving peer feedback. British Journal of Educational Technology, Early view.

Read Full Post »

« Newer Posts