Evaluer ou être évalué, telle est la question

L’évaluation par les pairs (peer review), de façon générale, désigne un processus fondamental dans la recherche scientifique, à savoir celui qui consiste à apporter une revue critique sur le travail d’autres chercheur-euse-s en vue de sa publication. Appliquée à l’enseignement, ce type d’évaluation constitue une méthode intéressante pour impliquer les étudiant-e-s dans un processus d’amélioration continue de leurs travaux écrits ou oraux. Le principe est de soumettre une première version du travail des étudiant-e-s à d’autres étudiant-e-s, de fournir à ceux/celles-ci une liste de critères d’évaluation afin qu’ils/elles rédigent un feedback, et de demander aux étudiant-e-s évalué-e-s de tenir compte du feedback pour améliorer leur travail. L’objectif est en général triple:

1. Il s’agit d’impliquer activement les étudiant-e-s pour qu’ils/elles comprennent les critères de qualité des travaux, en leur demandant d’utiliser eux-mêmes ces critères en tant qu’évaluateur-trice, ce qui peut contribuer à développer une attitude réflexive vis-à-vis de leurs propres travaux.
2. Il s’agit de proposer à chaque étudiant-e un ou plusieurs feedbacks différents de celui de l’enseignant-e, ce qui augmente le nombre de commentaires et permet, on le suppose, d’améliorer davantage le travail après la réception du feedback.
3. Si les étudiant-e-s sont nombreux-ses, cela permet de décharger l’enseignant-e qui peut alors plutôt superviser leur travail et aider à respecter les consignes d’évaluation et à comprendre les critères.

Deux chercheuses et un chercheur (Li, Liu & Steckelberg, 2009) se sont penchés récemment sur la question de ce que les étudiant-e-s apprennent suite à un exercice d’évaluation par les pairs. Pas mal d’études existent sur le sujet mais ce que les étudiant-e-s retirent d’une expérience d’évaluation par les pairs n’est pas très clair. Est-ce plus ou moins formatif de recevoir un feedback d’un-e autre étudiant-e ou d’en donner soi-même? Certaines études montrent par exemple que les étudiant-e-s ont parfois tendance à se méfier du feedback qu’ils reçoivent de leurs collègues et s’interrogent sur la légitimité et la pertinence de leurs remarques et commentaires. On peut donc se demander si cela les aide vraiment à améliorer leur travail. D’autres études soulignent l’importance de fournir aux étudiant-e-s des consignes et des critères d’évaluation clairs afin que leur feedback à leurs pairs soient le plus constructif et précis possible. De tels critères ne sont pas toujours fournis, ce qui rend beaucoup de commentaires d’étudiant-e-s peu utiles ou pertinents pour leurs collègues.

Li, Liu et Steckelberg (2009) avaient deux hypothèses de départ liées d’une part à la qualité du travail des étudiant-e-s en fonction du feedback donné aux autres et d’autre part de la qualité de leur travail en fonction du feedback reçu des autres.

Sans entrer dans les détails de l’expérimentation, les chercheur-euse-s ont mis en place un système d’évaluation anonyme de travaux écrits par les pairs via une plate-forme en ligne. La tâche pour les étudiant-e-s (en sciences de l’éducation) était de concevoir une WebQuest pour des élèves. Pour l’évaluation des travaux de leurs pairs (2 au hasard), il leur était demandé d’utiliser une grille d’évaluation de WebQuest souvent utilisée pour ce type de travaux. L’originalité de l’étude est que les chercheur-euse-s ont évalué avec la même grille d’analyse les feedbacks des étudiant-e-s  à propos des travaux de leurs pairs. Ceci a permis d’évaluer aussi la qualité des feedbacks produits.

Les résultats de l’étude permettent de mieux comprendre le processus d’évaluation par les pairs… Tout d’abord, les chercheur-euse-s n’ont pas trouvé de lien significatif entre la qualité du travail final des étudiant-e-s et la qualité du feedback qu’ils/elles avaient reçu. Donc même s’ils/elles reçoivent des feedbacks de qualité de la part de leurs collègues, ils/elles ne les utilisent pas vraiment pour améliorer leur travail. Ceci confirme que beaucoup d’étudiant-e-s se méfient du feedback de leurs pairs en croyant, à tort ou à raison, qu’ils/elles ne sont pas à même de juger de façon pertinente leur travail.

Les chercheur-euse-s ont ensuite trouvé un lien significatif entre la qualité du feedback donné et le travail des étudiant-e-s. En d’autres mots, quand un-e étudiant-e évalue le travail de ses pairs, plus cette évaluation est de qualité, plus il y a de chances que son propre travail soit de qualité. Ceci signifie que dans l’évaluation par les pairs, ce ne serait pas le fait de recevoir du feedback qui est le plus formateur mais plutôt le fait d’en donner. Ceci s’explique par le fait que les étudiant-e-s (dans cette expérience), devaient bien s’approprier les critères d’évaluation pour commenter le travail de leurs collègues et que cette appropriation leur a surtout servi à eux-mêmes pour augmenter la qualité de leur propre travail.

Ce qu’on peut retenir de ces résultats tient en plusieurs points:

• Il est vraiment utile de fournir aux étudiant-e-s des critères clairs d’évaluation et des outils précis comme une grille d’évaluation pour s’auto-évaluer ou évaluer les travaux de leurs collègues.
• Il est important d’aider les étudiant-e-s à fournir un feedback de qualité à leurs pairs, non pas pour que leurs pairs puissent en profiter (enfin si, quand même ) mais surtout pour qu’eux-mêmes s’approprient bien les critères d’évaluation qu’ils devront remplir pour leur propre travail.
• Par extension, entraîner les étudiant-e-s à s’auto-évaluer est une activité qui aura une influence sur leurs apprentissages.

Li, L., Liu, X., & Steckelberg, A. L. (2009). Assessor or assessee: How student learning improves by giving and receiving peer feedback. British Journal of Educational Technology, Early view.

Read Full Post »

Innover dans l’évaluation des apprentissages

L’association Internationale de Pédagogie Universitaire, section Suisse, organise le 8 septembre prochain une journée de réflexion et d’échanges à propos de l’évaluation des apprentissages dans l’enseignement supérieur. Les objectifs de cette journée sont de:

• mettre en valeur les pratiques enseignantes innovantes en matière d’évaluation des apprentissages (évaluation de compétences professionnelles, évaluation-diagnostic, évaluation par simulation, cartes conceptuelles, grilles d’évaluation, etc.) ;
• offrir une occasion d’échange à ce sujet aux enseignant-e-s des Universités et EPF, des HEP et des HES ;
• faciliter le transfert de pratiques innovantes en clarifiant les acquis de celles-ci.

Le programme est accessible en ligne, de même que le formulaire pour s’inscrire. La journée se déroulera de 9h15 à 16h30 à la Haute École de Pédagogie du canton de Vaud à Lausanne.

Plusieurs présentations où des enseignant-e-s présenteront leurs pratiques en matière d’évaluation des connaissances et des compétences de leurs étudiant-e-s m’intéressent assez bien. J’en ferai très certainement un compte-rendu ici-même dans le courant du mois de septembre.

Read Full Post »

Le feedback pour favoriser l’apprentissage

J’avais annoncé en mai dernier que je travaillais avec deux collègues de Fribourg sur un document de quelques pages à propos du feedback aux étudiant-e-s. Ce document est à présent terminé et est en ligne sur le site du Centre de Soutien à l’Enseignement (PDF, 118Ko).

Voici ses objectifs:

Le feedback en enseignement désigne habituellement l’information qui est donnée par un-e enseignant-e à un-e étudiant-e suite à l’évaluation d’un travail écrit ou oral. Il s’inscrit ainsi dans le cadre de la relation pédagogique qui se construit entre enseignant-e et étudiant-e. Il peut se produire à différents moments de l’apprentissage et dans des situations très variées : la préparation d’un exposé oral ou écrit par l’étudiant-e, l’encadrement d’un travail de mémoire ou de thèse, une présentation orale, un examen blanc, l’apprentissage de manipulations en laboratoire, etc. [...]

Ce document s’adresse aux enseignant-e-s de l’enseignement supérieur, qu’ils/elles soient en charge de cours, TP, séminaires, etc. Son objectif est double : proposer une réflexion sur la pratique du feedback aux étudiant-e-s dans diverses situations d’interactions pédagogiques et suggérer des pistes d’action pour développer des pratiques de feedback centrées sur l’apprentissage. Par « feedback centré sur l’apprentissage », nous entendons un feedback :

• qui vise à donner l’occasion à l’étudiant-e de prendre du recul par rapport à un travail qu’il/elle a réalisé dans le but de l’améliorer.
• qui aide à préparer une évaluation finale (ou sommative).
• qui donne des clés à l’étudiant-e pour progresser par la suite de façon plus autonome.

Nous avons produit aussi une version longue de ce document. Cette version contient une section spéciale à propos de l’utilisation de grilles d’évaluation critériées pour fournir des feedbacks aux étudiant-e-s.

Cette collaboration avec le Centre de didactique universitaire de l’Université de Fribourg en amènera très certainement d’autres, sur d’autres sujets. A suivre donc…

Read Full Post »

Rédiger des objectifs en termes de "résultats d’apprentissage"

Depuis un peu plus de 50 ans (depuis la publication de la première taxonomie de Bloom en 1956), la rédaction d’objectifs pédagogiques est présentée comme la toute première activité qu’un-e enseignant-e réalise lorsqu’il/elle prépare un cours ou une activité pédagogique. Les objectifs constituent les tenants et aboutissants d’un cours. Ils permettent de réfléchir aux activités pédagogiques et de déterminer les contenus qui seront abordés dans le cours et leur importance relative. Ils permettent aussi de planifier la façon dont les étudiant-e-s seront évalués et de définir les critères de cette évaluation.

Plus récemment, le processus de Bologne a mis en lumière l’importance de définir quelques règles communes de base pour la rédaction d’objectifs (ou résultats) d’apprentissage (ou learning outcomes en langage Bologne). En effet, à partir du moment où ce système encourage les apprenant-e-s de toute l’Europe à poursuivre des études dans différents pays, les objectifs des cours constituent un élément de comparaison indispensable pour valider les parcours de formation suivis. C’est le principe des cadres nationaux de qualification dont j’ai déjà parlé précédemment. Les quelques règles de base déterminées par Bloom et ses collègues dans les années 50 ont donc été remises au goût du jour depuis une dizaine d’années en Europe (un peu plus en Europe anglo-saxonne) et un certain nombre de ressources pratiques fleurissent sur le Web.

Voici trois ressources que je trouve intéressantes et auxquelles je me suis référé pour mettre à jour le module de formation que nous donnons à Lausanne sur les objectifs pédagogiques:

• Writing and Using Learning Outcomes: Guidance Note. Cette page de l’Université de Cardiff définit le concept de learning outcomes et propose quelques exemples. Elle souligne notamment la différence à faire entre "but" (aim) et "résultat d’apprentissage" (learning outcome). Le but est l’intention générale d’un cours exprimé du point de vue de l’enseignant-e, par exemple "ce cours a pour but de décrire les théories permettant de comprendre les processus d’apprentissage chez l’enfant". Le résultat d’apprentissage décrit quant à lui ce que l’étudiant-e devrait avoir acquis comme compétence à l’issue du cours, par exemple "l’étudiant-e sera capable de décrire brièvement les axiomes de base des théories pédagogiques présentées au cours". On comprend donc qu’un résultat d’apprentissage permet, davantage qu’un but, de déterminer quelles seront les modalités d’examen qui permettront d’obtenir de la part des étudiant-e-s une preuve de l’atteinte de la compétence visée.
• Writing Learning Outcomes (PDF). Ce document provient du Learning and Teaching Centre de l’Institute of Technology de Colombie-Britannique (qui propose aussi beaucoup d’autres ressources). Ceci est un document vraiment très pratique qui propose des exemples d’objectifs d’apprentissage non seulement pour le domaine cognitif mais aussi pour les domaines affectif et psychomoteur. A la fin, les auteurs proposent une check-list de 12 conseils dont celui de vérifier si les objectifs que l’on définit pour son cours sont compatibles avec les objectifs du programme…
• Writing and Using Learning Outcomes: a Practical Guide (PDF). Ce document est beaucoup plus complet que les précédents et est directement lié aux principes de Bologne. Il propose de nombreux conseils et exemples pour les trois domaines d’objectifs, cognitif, affectif et psychomoteur. A la fin, les auteurs ne cachent pas au moins trois problèmes potentiels qu’une trop grande focalisation sur les objectifs (ou résultats) d’apprentissage peut générer:
  • le mouvement des "learning outcomes" pourrait laisser penser que les cours universitaires n’ont que des objectifs en lien avec des compétences qui peuvent être valorisées sur un marché du travail. Les cours universitaires ont en effet des objectifs de compréhension du monde, d’ouverture de l’esprit, de réflexion, de recherche, etc. qui vont au-delà des compétences dont on parle habituellement dans un CV. C’est pourquoi les objectifs d’apprentissage devraient être rédigés en termes d’apprentissages de haut niveau plutôt qu’uniquement en termes d’application d’habiletés pratiques à des contextes de travail.
  • si les objectifs sont trop ciblés, il y a un danger que l’enseignement donné ne soit focalisé que sur des détails ou sur la façon de réussir l’examen, ce qui vide de sa substance le travail de rédaction des objectifs qui est justement de définir plusieurs types de compétences visées et d’aider à développer une façon d’enseigner qui soit variée.
  • dans une certaine mesure, les objectifs devraient pouvoir être discutés avec les étudiant-e-s pour qu’ils puissent éventuellement être ajustés en fonction des intérêts ou des besoins et pour s’assurer que les étudiant-e-s y adhèrent.

Un dernier point qui me semble important est que rédiger des objectifs d’apprentissage permet aussi d’expliquer aux étudiant-e-s pourquoi on leur demande de faire certaines activités et de mettre en perspective leurs apprentissages par rapport à leur futur métier, ce qui peut contribuer à augmenter leur motivation et leur intérêt vis-à-vis du cours ou du programme qu’ils/elles suivent.

Read Full Post »