Travailler les feedbacks délivrés aux étudiant·e·s

Il y a quelques jours, j’ai eu le plaisir d’animer avec ma collègue Catherine El-Bez un atelier d’1h30 intitulé « Comment fournir des feedbacks formatifs aux étudiant·e·s? ». Même si l’expression « feedback formatif » sonne un peu comme un pléonasme, il est utile d’insister sur l’importance de fournir des informations aux étudiant·e·s à propos de leurs apprentissages en cours.

L’atelier était organisé autour d’une présentation de quelques pistes pratiques pour développer ses feedbacks aux étudiant·e·s basées sur l’article de Nicol et McFarlane-Dick (2006). J’avais déjà parlé de cet article il y a quelques temps. Les dias sont disponibles ci-dessous:

Ensuite, nous avons proposé un exercice de réflexion et des discussions en petits groupes aux participant·e·s. Cette réflexion s’appuyait sur l’outil « Quelques questions de réflexion à propos du feedback aux étudiant·e·s » (PDF – 333Ko). Cette activité se déroulait en 3 temps:

1. Réflexion individuelle avec l’outil (10-15 minutes)
2. Discussions par groupes de trois ou quatre pour comparer les pratiques (10-15 minutes)
3. Discussion en grand groupe pour identifier les questions en suspens

Nous avons aussi distribué un texte de synthèse qui est disponible en ligne « Donner du feedback aux étudiant·e·s« .

Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning : A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199‑218.

Read Full Post »

Préparer et mener un examen oral

A l’approche des examens, il peut être utile de s’interroger sur les formes d’évaluation que l’on met en oeuvre. Par exemple, l’examen oral est assez répandu dans certaines disciplines, notamment en Lettres ou en Droit, mais n’a pas toujours une bonne réputation auprès des étudiant-e-s qui le considèrent comme davantage stressant et subjectif que d’autres formes d’évaluation. Il y a quelques temps, j’avais publié ici une note de synthèse à ce sujet.

J’ai repris cette note pour l’augmenter et pour en faire une nouvelle version publiable sous la forme d’une fiche pédagogique. Le document peut être téléchargé ici (PDF – 449Ko). En voici l’introduction:

Selon Joughin (1998, 2010), un examen oral peut être défini simplement comme un mode d’évaluation des apprentissages au cours duquel les réponses de l’étudiant à la tâche prescrite sont données oralement. Cette tâche peut par exemple consister en une présentation publique orale de l’étudiant à propos d’un travail qu’il a réalisé, une discussion d’un travail avec l’enseignant ou la réponse orale à des questions d’examen, avec ou sans temps de préparation. Les situations d’examen oral sont relativement répandues dans certaines disciplines, notamment la médecine, le droit ou l’architecture. Cette forme d’évaluation est privilégiée lorsque les étudiants sont amenés à rendre compte de compétences telles que l’expression orale, l’argumentation dans un débat ou la défense d’un travail personnel. Par ailleurs, il est assez habituel de recourir à l’examen oral dans les universités européennes francophones, et ce, dans toutes les disciplines, alors que dans les universités anglo-saxonnes, cela est moins courant et réservé davantage à certaines disciplines ou aux étudiants qui en font la demande, par exemple pour des raisons de santé ou de maîtrise de la langue écrite.

Les objectifs de ce document sont d’une part, de mettre en évidence les avantages et les inconvénients de l’examen oral comme forme d’évaluation des apprentissages des étudiants, et d’autre part, de fournir aux enseignants du supérieur un cadre pour préparer et organiser un examen oral.

Bonne période d’examens à tout-te-s!

Read Full Post »

Choisir ses stratégies d’évaluation

Pour documenter nos formations pédagogiques, nous avons conçu, mon collègue Denis Berthiaume et moi, un document de synthèse (PDF – 292Ko) à propos des stratégies d’évaluation dans l’enseignement supérieur. Voici son introduction:

L’objectif de ce document est de présenter différents aspects à considérer lorsque l’on conçoit un dispositif d’évaluation des apprentissages des étudiant-e-s à l’université. Plusieurs questions sont abordées ici:

• Quels sont les apprentissages des étudiant-e-s à évaluer?
• Comment obtenir une « trace » ou un « témoignage » de leurs apprentissages? Quelles stratégies d’évaluation peuvent être mises en place pour y parvenir (comme un examen oral, un questionnaire, la réalisation d’un travail écrit, etc.)?
• Comment interpréter ces traces des apprentissages des étudiant-e-s et leur accorder une note?

Derrière ces questions apparaissent en filigrane des éléments importants liés à l’évaluation auxquels les enseignant-e-s universitaires sont souvent confronté-e-s: la subjectivité de leur évaluation, la validité et la fiabilité des stratégies d’évaluation choisies, ou encore les outils à mettre en œuvre pour mener ce processus à bien.

Pour tout-e enseignant-e, l’évaluation constitue probablement l’activité la plus « technique ». Plusieurs procédures et stratégies sont à mettre en œuvre pour assurer validité (mesure-t-on bien ce qu’on a l’intention de mesurer?) et fiabilité (évalue-t-on toujours de la même façon?) à l’évaluation. Le document ne prétend pas être exhaustif mais propose simplement plusieurs questions et conseils à garder en tête au moment de procéder à l’évaluation des apprentissages de ses étudiant-e-s. J’ai rassemblé par ailleurs plusieurs liens utiles à propos d’évaluation en général dans l’enseignement supérieur.

Read Full Post »

L’examen oral

En novembre dernier, j’ai été amené à animer une formation d’une demi journée sur le thème de l’examen oral. Sur base d’une précédente formation préparée par mon collègue Denis Berthiaume, j’ai articulé mon intervention autour d’un article de Gordon Joughin (1998). Ce conseiller pédagogique australien propose un texte assez complet sur un sujet relativement peu étudié en pédagogie universitaire.

Il faut d’abord savoir que l’examen oral en tant que forme d’évaluation particulière des apprentissages des étudiant-e-s n’est pas considéré de la même manière selon les cultures universitaires. Dans nos pays francophones européens, l’examen oral a un prestige tout particulier. Dans certaines facultés et sections, on n’imagine pas d’autres façons d’évaluer les étudiant-e-s. En France, il existe même ce qu’on appelle le « Grand Oral », surtout dans les sections de sciences politiques et de droit, où les candidat-e-s doivent préparer un sujet tiré au sort et le présenter oralement devant un jury, par exemple pour obtenir leur diplôme, ou pour avoir le droit d’effectuer des stages. Les modalités particulières de cet examen intégré (c’est-à-dire portant sur plusieurs cours ou l’ensemble d’une année d’étude) varient fortement d’une université à l’autre. Il existe aussi parfois le « Petit Oral », pour les étudiant-e-s qui n’ont pas obtenu les notes suffisantes pour passer directement le Grand Oral ou comme examen d’entrée pour être admis-e dans une formation… A l’opposé, la pratique de l’examen oral existe relativement peu dans le monde anglo-saxon. Sur le ton de la boutade, un collègue québécois m’a un jour dit: « l’examen oral, c’est pour les étudiant-e-s qui se sont cassé les deux bras au ski »… C’est presque vrai.

Pour décrire l’examen oral, Joughin (1998) propose six dimensions qui sont abordées dans la littérature sur le sujet:

1. Contenu. Quels savoirs ou quelles compétences sont visés par l’examen oral? On peut bien sûr évaluer des connaissances factuelles grâce à un examen oral mais il serait utile alors de savoir d’abord si les mêmes connaissances ne pourraient pas être évaluées plus efficacement au moyen d’un examen écrit… L’examen oral constitue un moyen efficace pour évaluer la compréhension d’un sujet par les étudiant-e-s et la façon dont ils/elles résolvent un cas ou solutionnent un problème. Mais c’est surtout un moyen bien adapté pour évaluer la capacité à interagir (par exemple, un-e étudiant-e en médecine avec des patient-e-s), les compétences liées à la conduite d’une interview ou des compétences socio-affectives comme la confiance en soi ou la résistance au stress.
2. Interaction. De quelle nature est l’interaction entre l’étudiant-e et l’évaluateur/trice? Dans certains cas, c’est l’étudiant-e qui va faire une présentation orale qui sera jugée par l’évaluateur/trice. Dans d’autres cas, il s’agira davantage d’une discussion où l’étudiant-e sera amené-e à répondre à des questions et à entrer dans un dialogue. Mais l’influence réciproque qui se joue alors entre l’étudiant-e et l’évaluateur/trice constitue un des biais possibles de cette forme d’évaluation… Dans d’autres cas encore, présentation orale et discussion peuvent avoir lieu ensemble, comme dans un jury de thèse par exemple.
3. Authenticité. La situation d’évaluation est-elle proche d’une situation professionnelle réelle? Plusieurs situations peuvent être envisagées. Une situation décontextualisée serait un examen oral dans le bureau de l’enseignant-e ou la défense d’une thèse. A l’opposé, une situation contextualisée pourrait être l’observation d’un-e étudiant-e en train de réaliser une expérience de laboratoire ou en interaction avec un-e professionnel-le sur un lieu de stage. On peut penser aussi à une réflexion orale d’un étudiant-e à propos d’un vécu de stage par exemple. On préférera en général évaluer les étudiant-e-s dans une situation authentique si les compétences à évaluer sont complexes ou liées à des savoir-faire professionnels.
4. Structure. Les questions posées sont-elles préparées à l’avance ainsi que l’ordre dans lequel elles sont posées? Avec une structure fermée, les questions et leur ordre ne sont pas influencés par les réponses de l’étudiant-e. Ceci permet en général une meilleure fiabilité de l’évaluation. Mais la structure peut être aussi ouverte s’il s’agit par exemple d’interroger les étudiant-e-s à propos de leurs arguments sur un sujet ou à la suite d’un stage pratique.
5. Évaluateur/trice-s. Qui évalue et la situation d’évaluation est-elle publique ou non? La ou les personnes qui évaluent peuvent être l’étudiant-e lui/elle-même, les pairs, l’enseignant-e ou un groupe d’expert-e-s. Dans chaque cas, on peut aussi réfléchir au caractère public de l’évaluation. Beaucoup de défenses de thèse comportent un aspect public ou sont même parfois entièrement publiques. L’auto-évaluation et l’évaluation par les pairs sont utilisées en général dans le cadre d’évaluations formatives pour préparer les étudiant-e-s à un examen final ou à la rédaction d’un texte final.
6. Oralité. L’évaluation est-elle exclusivement orale ou complémentaire à d’autres formes de communication? L’oral peut par exemple se dérouler à propos de la réalisation d’un travail écrit ou après une performance pratique (c’est le cas pour les futur-e-s enseignant-e-s qui sont observé-e-s en salle de classe avant de rencontrer leur enseignant-e). L’oral peut aussi accompagner une autre action comme la manipulation d’une machine ou d’outils.

Selon Joughin, l’examen oral a pour avantage d’amener les étudiant-e-s à expliciter davantage que dans un écrit leur compréhension d’une matière. Mais cette forme d’examen est parfois mal préparée et conduite, ce qui fait qu’elle a la réputation parmi les étudiant-e-s d’être fort subjective. Pour éviter ces biais, Morisette (1996) propose quelques conseils:

• Il est important de réfléchir à l’utilité de l’examen oral et d’y avoir recours si les apprentissages visés par l’évaluation ne peuvent pas être évalués par écrit.
• Si plusieurs examinateur/trice-s sont impliqué-e-s, il est important de les former à l’observation et à la conduite de l’entretien et de discuter avec eux/elles des critères d’évaluation. Dans beaucoup d’universités suisses, un-e « expert-e » (en fait un-e autre enseignant-e ou un-e assistant-e) est présent-e lors des examens oraux mais son rôle est souvent peu défini et se cantonne parfois à une simple tâche d’observation ou de contrôle de la procédure.
• Si c’est possible, prévoir deux séances d’évaluation avec des examinateur/trice-s différent-e-s aide à améliorer la fidélité de l’épreuve.
• Il est vraiment utile de préparer les étudiant-e-s à l’examen oral afin de réduire leur stress et qu’ils/elles fournissent ainsi une performance aussi représentative que possible de leurs véritables compétences. Ceci aide à améliorer la validité de l’épreuve. Pour ce faire, organiser des discussions en classe au moment des cours constitue une méthode efficace de préparation.
• On prend rarement le temps de le faire mais cela peut s’avérer vraiment utile: tester les questions et procédures d’évaluation avant de les utiliser permet d’éviter les hésitations et de rendre la conduite de l’examen plus équivalente d’un-e étudiant-e à l’autre.
• Pendant l’examen, il est toujours conseillé de prendre des notes, voire même d’utiliser une liste de critères d’évaluation à cocher ou une grille. Ceci permet d’évaluer tou-te-s les étudiant-e-s selon les mêmes critères et de garder une trace de l’examen dans le cas où des étudiant-e-s voudraient des précisions complémentaires à propos de leur note.

Pour finir, je partage ici deux petits outils. Le premier peut aider à réfléchir aux 6 dimensions de l’examen oral en proposant une série de questions à se poser (PDF – 20Ko). Le second propose aussi une série de questions à se poser pour préparer un examen oral, assurer sa conduite et réaliser son suivi (attribution d’une note et feed-back à l’étudiant-e) (PDF – 36Ko). Ces deux documents ont été préparés par Denis Berthiaume. Merci à lui!

Joughin, G. (1998). Dimensions of Oral Assessment. Assessment & Evaluation in Higher Education, 23(4), 367-378.

Morissette, D. (1996). Évaluation sommative. Montréal, QC: Éditions du Renouveau Pédagogique.

Read Full Post »

Noter les travaux des étudiant-e-s avec une grille d’évaluation

Depuis le début de l’année, deux notes ont été publiées spécifiquement sur les grilles d’évaluation critériées. Une question qui nous est souvent posée en formation est celle de la notation chiffrée des travaux des étudiant-e-s sur base d’une telle grille. En d’autres mots, comment attribue-t-on une note chiffrée ou alphanumérique (A, B, C, etc.) à un travail au moyen d’une grille ou comment traduire en note les critères d’évaluation formulés dans une grille? Ceci n’est pas toujours évident, surtout si les différents critères sont d’importance différente ou si l’on se réserve le droit d’attribuer une partie de la note à l’ensemble de la prestation écrite ou orale de l’étudiant-e.

Pour répondre à cette question, nous avons produit un court document (PDF – 88Ko) qui explique avec deux exemples comment il est possible d’attribuer une note à un-e étudiant-e au moyen d’une grille. Les exemples sont adaptés au contexte suisse (note sur 6) mais il est tout à fait possible de l’adapter à des notes sur 10 ou 20 (comme en Belgique ou en France) ou des notes en lettres (comme au Québec). L’idée principale derrière ces exemples est surtout que la grille devrait être une aide pour évaluer tous les travaux des étudiant-e-s de la même façon et selon les mêmes critères.

En passant, je signale l’intéressant article de Wikipedia (en anglais) sur les différents systèmes de grade en Europe et dans le monde.

Read Full Post »

Différents usages des grilles d’évaluation critériées

Si dans la littérature pédagogique francophone on parle relativement peu des grilles d’évaluation critériées, il n’en va pas de même dans le monde anglo-saxon. En anglais, il existe une large littérature de recherche et on peut trouver sur le web de nombreux sites avec des exemples de grilles d’évaluation et des conseils pour en construire. J’avais déjà rassemblé plusieurs ressources dans une note précédente.

Dans la présente note, j’aimerais résumer l’article récent de Reddy et Andrade (2010) A review of rubric use in Higher Education. Ces deux chercheuses ont réalisé une revue de littérature sur le sujet en se posant quatre questions: quels types de recherche sont menés à propos de l’usage des grilles d’évaluation dans l’enseignement supérieur, ces grilles peuvent-elles être utilisées autant pour l’évaluation formative que pour l’évaluation sommative, comment évaluer la qualité des grilles produites par les enseignant-e-s et quelles pistes de recherche devrait-on suivre dans l’avenir?

Comme on peut s’en douter, l’usage le plus répandu des grilles d’évaluation est… l’évaluation des apprentissages des étudiant-e-s! Cependant, d’autres usages mériteraient d’être davantage mis en évidence notamment l’enseignement lui-même (pour soutenir le feedback aux étudiant-e-s par exemple ou pour cadrer les discussions en classe) et l’évaluation de programmes de formation.

De façon générale, les étudiant-e-s apprécient les grilles. Pour eux/elles, ces outils les aident à comprendre avec précision ce qui est attendu d’eux/elles aux examens et à situer leur compréhension de la matière tout au long de l’année. Cependant, pour que ces grilles s’avèrent efficaces pour l’apprentissage, les études sur le sujet mettent en évidence qu’il est utile de distribuer la grille aux étudiant-e-s avant leur évaluation (examen ou remise d’un travail).

Dans les études consultées, la vision qu’ont les enseignant-e-s de l’usage des grilles est assez différente de celle des étudiant-e-s. Ils/elles voient moins dans cet outil un soutien à l’apprentissage qu’un moyen pratique et rapide pour corriger et noter des travaux ou des copies d’examen. Ceci n’est pas étonnant mais cette vision amène certain-e-s à penser qu’il ne faut pas distribuer la grille aux étudiant-e-s avant un examen. Or les études encouragent plutôt à faire le contraire si l’on veut améliorer la réussite des étudiant-e-s. Elles encouragent même à discuter du contenu des grilles avec les étudiant-e-s, voire à les construire avec eux/elles pour qu’ils/elles s’approprient convenablement les exigences et les objectifs du cours.

En ce qui concerne l’évaluation de programme, la revue de Reddy et Andrade met en évidence plusieurs avantages: le dialogue au sein d’une commission de programme pour fixer plusieurs objectifs (et critères) communs, la possibilité de comparer les cours entre eux sur des critères bien définis et acceptés par tou-te-s ou la discussion sur l’orientation générale à donner à l’ensemble du programme.

La dernière question examinée par Reddy et Andrade est celle de la fidélité et de la validité des grilles produites par les enseignant-e-s à l’université. Là, c’est la grande interrogation. Très peu d’études ont été menées sur le sujet. En ce qui concerne la fidélité (donc le consensus intra- ou inter-correcteur-trice-s), trois études ont été recensées qui montrent l’utilité des grilles d’évaluation, notamment en calculant une corrélation élevée entre les notes données par les enseignant-e-s, par les étudiant-e-s évalué-e-s et par les pairs. Mais une étude insiste sur le fait qu’il est très important, pour obtenir un score de fidélité élevé, de prendre le temps d’une formation avec les personnes qui vont utiliser la grille pour évaluer. Souvent, ce n’est pas l’enseignant-e seul-e qui s’en occupe. En ce qui concerne la validité (c’est-à-dire le fait que la grille permet d’évaluer les compétences qu’elle prétend évaluer), les recherches consultées insistent sur le fait qu’il faudrait soigneusement choisir le vocabulaire utilisé dans les grilles et de vérifier que la formulation des critères est bien adaptée aux étudiant-e-s à qui la grille s’adresse.

En conclusion, les conseils d’usage des grilles d’évaluation qu’on peut retirer de cette revue de littérature pourraient être résumés comme suit:

• Il est important de rendre les critères d’évaluation transparents dès le début du cours et d’en discuter avec les étudiant-e-s.
• Il est utile d’utiliser des grilles pour évaluer les étudiant-e-s mais aussi pour soutenir l’enseignement. En d’autres termes, on pense souvent aux grilles pour l’évaluation sommative mais peu pour l’évaluation formative et le feed-back.
• Il faudrait mener davantage de recherches sur les usages des grilles: leur fidélité et leur validité, leur caractère « local » (il n’est pas toujours facile d’utiliser une même grille dans différents cours ou contextes) et leur usage dans différents buts (évaluation de programme, en soutien à l’enseignement, etc.).

Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.

Read Full Post »

Les grilles d’évaluation critériées

J’ai déjà parlé sur ce blog de grilles d’évaluation critériées (ou rubrics) et d’autres sujets liés à l’évaluation des apprentissages. J’ai rassemblé aussi quelques ressources sur le sujet sur cette page avec des exemples de grilles.

Lors du module de formation que nous donnons à Lausanne sur les stratégies d’évaluation, plusieurs questions sont souvent posées par les participant-e-s:

• est-il possible d’être vraiment objectif-ve quand on évalue les apprentissages des étudiant-e-s? Ne vaut-il pas même mieux être un peu subjectif-ve quand même?
• l’idéal, ce serait de pouvoir évaluer toujours de la même façon, sans être influencé-e par exemple par le soin de l’écriture d’un-e étudiant-e ou par sa tenue vestimentaire. Mais comment y arriver?
• comment « mesurer » (avec une note chiffrée) la qualité des performances d’un-e étudiant-e ou dans quelle mesure il/elle a atteint les objectifs d’apprentissage d’un cours?

Ces questions touchent à la pratique quotidienne de l’évaluation et ne sont pas du tout anodines. Sans entrer dans de longues explications ou un vaste débat à leur sujet, on peut dire qu’effectivement, la question de la subjectivité en évaluation est importante et qu’elle est liée à celles de la validité et de la fiabilité. D’une part, une évaluation valide est une évaluation qui mesure effectivement ce qu’elle prétend mesurer. Une évaluation peu valide serait par exemple de corriger uniquement l’orthographe des étudiant-e-s pour une dissertation par laquelle on voudrait vérifier leurs capacités à articuler des idées par écrit et à argumenter leur opinion. D’autre part, une stratégie d’évaluation fiable est une stratégie qui permet d’évaluer toujours la même chose de la même façon: que l’on corrige des travaux à 7h ou à 19h ou que l’étudiant-e soit évalué-e par l’enseignant-e A ou l’enseignant-e B.

Une façon de diminuer la subjectivité de l’évaluation (sans nécessairement l’écarter totalement) est d’utiliser des grilles d’évaluation critériées. On trouvera une excellente introduction à cette stratégie de correction sur le site de Jon Mueller, professeur de Psychologie au North Central College et spécialiste des questions d’évaluation scolaire. On trouvera aussi un document plus conséquent du même auteur à cette adresse (PDF – 512Ko). Le principe d’une grille d’évaluation est d’établir une correspondance entre d’une part le résultat d’une tâche que l’on demande à un-e étudiant-e (un texte, une explication orale, une action précise dans un contexte professionnel, etc.) et d’autre part des critères de qualité de ce résultat fourni par l’étudiant-e accompagnés ou non d’une échelle à plusieurs degrés de performance. Un exemple typique:

Évaluation d’une recherche bibliographique en histoire

Critères	Insuffisant (niveau 1)	Bon (niveau 2)	Excellent (niveau 3)	% des points
Nombre de sources citées	1-4	5-10	+ de 10	20%
Précision des faits historiques	Beaucoup d’imprécisions	Peu d’imprécision	Pas d’imprécision apparente	40%
Organisation de la recherche	Difficulté pour déterminer de quelle source proviennent les faits exposés	Peu de difficulté pour déterminer de quelle source proviennent les faits exposés	Pas de difficulté pour déterminer la correspondance entre les sources et les faits exposés	20%
Bibliographie	Ne respecte pas les normes	Quelques erreurs dans le respect des normes	Pas ou peu d’erreurs dans le respect des normes	20%

Chaque ligne du tableau correspond à un critère d’évaluation qui permettra d’apprécier le texte fourni par les étudiant-e-s. Ces critères permettent de répondre à la question: sur quoi va porter mon regard lorsque je vais évaluer le texte des étudiant-e-s? Ce sont ces critères qui seront évalués et pas l’orthographe, la clarté de l’écriture ou tout autre critère plus subjectif. Chaque colonne correspond à un niveau de performance dans l’atteinte de chaque critère d’évaluation. Ces niveaux permettent de répondre à la question: à quoi ressemble un travail insuffisant et quelle est la différence avec un bon ou un excellent travail? Typiquement, un-e étudiant-e « qui est capable d’effectuer une recherche bibliographique en histoire » devrait atteindre le niveau 2 pour tous les critères.

La dernière colonne permet de pondérer les critères en fonction de leur importance par rapport à l’atteinte de l’objectif général (ici, la capacité à effectuer une recherche bibliographique en histoire) et de donner une note.

D’autres exemples sont accessibles dans les liens présentés plus haut, que ce soit pour des travaux écrits dans différents domaines d’étude, pour des présentations orales ou même pour évaluer la participation des étudiant-e-s en classe.

Pour revenir aux quelques questions que je posais plus haut, ce type d’outil d’évaluation permet dans une certaine mesure de diminuer la subjectivité de l’évaluation en ceci que l’enseignant-e évalue toujours les mêmes critères pour tous les étudiant-e-s (fiabilité) et que les critères sont normalement directement en lien avec l’objectif d’apprentissage à évaluer (validité). Cependant, la subjectivité ne disparaît pas totalement non plus. Dans l’exemple ci-dessus, il n’est certainement pas toujours facile de déterminer en toute objectivité que dans un travail donné « il y a beaucoup, peu ou pas de difficulté pour déterminer la correspondance entre les sources et les faits historiques exposés »… Il s’agira toujours pour l’enseignant-e d’interpréter de quoi les étudiant-e-s sont capables au travers du texte qu’ils/elles ont produit. Mais au moins, l’enseignant-e pourra dire pourquoi et argumenter auprès d’un-e étudiant-e qui ne comprendrait pas sa note finale par exemple.

Ceci dit, je n’ai parlé ici de l’usage des grilles d’évaluation que dans le cadre d’une évaluation sommative (en fin d’apprentissage) mais d’autres usages sont tout à fait possibles bien sûr, comme pour une auto-évaluation, une évaluation par les pairs ou comme fiche de feedback à remettre aux étudiant-e-s après une présentation orale par exemple. Je parlerai de ces autres types d’usages dans quelques prochains articles, et notamment de mes expériences d’accompagnement d’enseignant-e-s qui développent des grilles d’évaluation pour leurs cours.

Pour finir, voici les références d’un livre introductif mais très complet sur le sujet (de larges extraits sont consultables en ligne):

Stevens, D. D., & Levi, A. (2005). Introduction to rubrics. Sterling, VA: Stylus Publishing.

Read Full Post »

Stratégies d’évaluation dans l’enseignement supérieur

Le 8 septembre dernier, l’AIPU Suisse organisait sa première journée d’étude intitulée « Innover dans l’évaluation des apprentissages. Pourquoi et comment ? ». J’avais annoncé l’arrivée d’un compte-rendu. Le voici donc. Je présente ici mes quelques notes et réflexions.

La conférence introductive était présentée par Marc Romainville. J’ai trouvé intéressant le fait qu’il fonde son intervention sur les représentations que beaucoup d’enseignant-e-s du supérieur se font de l’évaluation. J’ai retenu plusieurs choses, qui pourront paraître un peu triviales à certain-e-s mais qui, de mon point de vue de conseiller pédagogique, me semblent intéressantes à expliciter aux yeux des enseignant-e-s.

Il y a souvent dans l’enseignement supérieur une différence entre les exigences annoncées aux étudiant-e-s et les exigences effectives (celles qui interviennent au moment de l’examen). Il y a ainsi beaucoup d’exigences et de critères d’évaluation implicites. Par exemple, un-e enseignant-e peut annoncer avant un examen qu’il ne tiendra pas compte de l’orthographe lors de la correction des copies mais se laisser tout de même influencer par la maîtrise de la langue écrite par les étudiant-e-s lors de l’examen. Un autre exemple, pour une même question d’examen comme « Définissez le principe d’Archimède », deux enseignant-e-s corrigeront tout à fait différemment selon qu’ils/elles attendent une définition mot à mot issue du livre de référence ou une définition expliquée par l’étudiant-e avec ses propres mots. Dans un cas, on vise la rétention d’information, dans l’autre la compréhension d’une notion.

Il y a donc des problèmes de validité (par exemple, on prétend mesurer la réflexion des étudiant-e-s alors qu’on ne fait que mesurer leur mémoire) et de fidélité (par exemple, deux enseignant-e-s corrigent différemment une même copie ou un-e même enseignant-e corrige différemment une même copie à des moments différents). Le problème est que beaucoup d’enseignant-e-s (selon les études citées par Marc Romainville) pensent que leur évaluation est suffisamment objective ou encore qu’il faut de la subjectivité dans l’évaluation. Or, l’évaluation est en réalité une inférence, une construction de sens à propos d’une performance d’un-e étudiant-e réalisée à un moment donné et qui est censée représenter un apprentissage. L’évaluation est une procédure par laquelle un-e étudiant-e va apporter une preuve qu’il a atteint un objectif d’apprentissage spécifique.

Sans prétendre arriver à être totalement objectif, on peut tout de même mettre en place certaines balises procédurales pour réduire la subjectivité. Pour ce faire, Marc Romainville propose de travailler en cinq étapes:

1. Définir les compétences et les connaissances à mesurer en rédigeant des objectifs d’apprentissage mesurables et en vérifiant que ceux-ci ont effectivement fait l’objet d’un enseignement. On a tendance parfois à considérer certaines compétences comme des prérequis sans le formuler explicitement.
2. Élaborer un dispositif d’évaluation approprié. Faire un examen oral dans un cours portant sur la maîtrise de la rédaction écrite ne serait pas le plus approprié par exemple…
3. Clarifier le contrat didactique en informant les étudiant-e-s des modalités et des critères d’évaluation, en suggérant des démarches d’apprentissage (pour prendre des notes ou étudier par exemple), en rappelant régulièrement ces modalités et ces démarches et en créant des situations d’apprentissage actif (simuler un examen, proposer en lecture des copies d’examen d’années précédentes, exercer à l’utilisation de la grille d’évaluation, etc.).
4. Établir la note en traitant les copies de façon anonyme, question par question et dans un ordre différent pour chaque question. La note devrait aussi être établie selon une méthode prédéfinie et identique pour chaque étudiant-e, même lors d’examens oraux.
5. Retourner de l’information, donc un feedback, de façon bienveillante et en encourageant le développement.

Une stratégie intéressante pour rendre explicite la démarche d’évaluation est celle des grilles d’évaluation critériées dont j’ai déjà parlé plusieurs fois sur ce blog. Quelques exemples sont accessibles sur le site du livre « Enseigner à l’Université dans une approche-programme » de Huguette Bernard, Anastassis Kozanitis et Richard Prégent (2009). Par ailleurs, le site « Authentic assesment Toolbox » propose plusieurs techniques et de nombreux exemples pour mettre en place des stratégies diversifiées d’évaluation des apprentissages (portfolio, grilles d’évaluation, etc.).

L’après-midi était consacré à un travail en ateliers centrés sur des thématiques choisies par les participant-e-s. J’étais dans le groupe qui a réfléchi à l’auto-évaluation des étudiant-e-s. La discussion a tourné autour de plusieurs questions centrales:

• quels outils peut-on fournir aux étudiant-e-s pour les soutenir dans leurs auto-évaluations?
• dans quelle mesure l’auto-évaluation peut-elle soutenir l’auto-formation ou l’apprentissage individuel?
• quels peuvent être les objectifs d’un exercice d’auto-évaluation?
• quelle peut être la relation entre auto-évaluation et évaluation?
• quelle est la validité de l’auto-évaluation?
• sous quelles modalités peut-on organiser l’auto-évaluation avec ses étudiant-e-s?

Quelques points que je retiens de la discussion:

• Il est assez important de bien cadrer ce type d’exercice: objectifs, temporalité, consignes, etc.
• Des objectifs intéressants à poursuivre pour les étudiant-e-s peuvent être la prise de conscience de ses propres processus d’apprentissage, la confrontation avec une grille de critères prédéfinis ou la valorisation de son expérience.
• L’auto-évaluation de l’enseignant-e permet aussi de développer la qualité de la formation.

J’ai trouvé un résumé intéressant de ce que peut être l’auto-évaluation dans l’enseignement supérieur sur le site de la Queen’s University de Belfast. Plusieurs autres ressources y sont aussi proposées.

Enfin, sur les questions d’évaluation des apprentissages dans l’enseignement supérieur, voici deux références de base:

Brown, G., Bull, J., & Pendlebury, M. (1997). Assessing student learning in higher education. London: Routledge.

Dunn, L., Morgan, C., O’Reilly, M., & Parry, S. (2004). The student assessment handbook. London: Routledge.

Read Full Post »

Evaluer ou être évalué, telle est la question

L’évaluation par les pairs (peer review), de façon générale, désigne un processus fondamental dans la recherche scientifique, à savoir celui qui consiste à apporter une revue critique sur le travail d’autres chercheur-euse-s en vue de sa publication. Appliquée à l’enseignement, ce type d’évaluation constitue une méthode intéressante pour impliquer les étudiant-e-s dans un processus d’amélioration continue de leurs travaux écrits ou oraux. Le principe est de soumettre une première version du travail des étudiant-e-s à d’autres étudiant-e-s, de fournir à ceux/celles-ci une liste de critères d’évaluation afin qu’ils/elles rédigent un feedback, et de demander aux étudiant-e-s évalué-e-s de tenir compte du feedback pour améliorer leur travail. L’objectif est en général triple:

1. Il s’agit d’impliquer activement les étudiant-e-s pour qu’ils/elles comprennent les critères de qualité des travaux, en leur demandant d’utiliser eux-mêmes ces critères en tant qu’évaluateur-trice, ce qui peut contribuer à développer une attitude réflexive vis-à-vis de leurs propres travaux.
2. Il s’agit de proposer à chaque étudiant-e un ou plusieurs feedbacks différents de celui de l’enseignant-e, ce qui augmente le nombre de commentaires et permet, on le suppose, d’améliorer davantage le travail après la réception du feedback.
3. Si les étudiant-e-s sont nombreux-ses, cela permet de décharger l’enseignant-e qui peut alors plutôt superviser leur travail et aider à respecter les consignes d’évaluation et à comprendre les critères.

Deux chercheuses et un chercheur (Li, Liu & Steckelberg, 2009) se sont penchés récemment sur la question de ce que les étudiant-e-s apprennent suite à un exercice d’évaluation par les pairs. Pas mal d’études existent sur le sujet mais ce que les étudiant-e-s retirent d’une expérience d’évaluation par les pairs n’est pas très clair. Est-ce plus ou moins formatif de recevoir un feedback d’un-e autre étudiant-e ou d’en donner soi-même? Certaines études montrent par exemple que les étudiant-e-s ont parfois tendance à se méfier du feedback qu’ils reçoivent de leurs collègues et s’interrogent sur la légitimité et la pertinence de leurs remarques et commentaires. On peut donc se demander si cela les aide vraiment à améliorer leur travail. D’autres études soulignent l’importance de fournir aux étudiant-e-s des consignes et des critères d’évaluation clairs afin que leur feedback à leurs pairs soient le plus constructif et précis possible. De tels critères ne sont pas toujours fournis, ce qui rend beaucoup de commentaires d’étudiant-e-s peu utiles ou pertinents pour leurs collègues.

Li, Liu et Steckelberg (2009) avaient deux hypothèses de départ liées d’une part à la qualité du travail des étudiant-e-s en fonction du feedback donné aux autres et d’autre part de la qualité de leur travail en fonction du feedback reçu des autres.

Sans entrer dans les détails de l’expérimentation, les chercheur-euse-s ont mis en place un système d’évaluation anonyme de travaux écrits par les pairs via une plate-forme en ligne. La tâche pour les étudiant-e-s (en sciences de l’éducation) était de concevoir une WebQuest pour des élèves. Pour l’évaluation des travaux de leurs pairs (2 au hasard), il leur était demandé d’utiliser une grille d’évaluation de WebQuest souvent utilisée pour ce type de travaux. L’originalité de l’étude est que les chercheur-euse-s ont évalué avec la même grille d’analyse les feedbacks des étudiant-e-s  à propos des travaux de leurs pairs. Ceci a permis d’évaluer aussi la qualité des feedbacks produits.

Les résultats de l’étude permettent de mieux comprendre le processus d’évaluation par les pairs… Tout d’abord, les chercheur-euse-s n’ont pas trouvé de lien significatif entre la qualité du travail final des étudiant-e-s et la qualité du feedback qu’ils/elles avaient reçu. Donc même s’ils/elles reçoivent des feedbacks de qualité de la part de leurs collègues, ils/elles ne les utilisent pas vraiment pour améliorer leur travail. Ceci confirme que beaucoup d’étudiant-e-s se méfient du feedback de leurs pairs en croyant, à tort ou à raison, qu’ils/elles ne sont pas à même de juger de façon pertinente leur travail.

Les chercheur-euse-s ont ensuite trouvé un lien significatif entre la qualité du feedback donné et le travail des étudiant-e-s. En d’autres mots, quand un-e étudiant-e évalue le travail de ses pairs, plus cette évaluation est de qualité, plus il y a de chances que son propre travail soit de qualité. Ceci signifie que dans l’évaluation par les pairs, ce ne serait pas le fait de recevoir du feedback qui est le plus formateur mais plutôt le fait d’en donner. Ceci s’explique par le fait que les étudiant-e-s (dans cette expérience), devaient bien s’approprier les critères d’évaluation pour commenter le travail de leurs collègues et que cette appropriation leur a surtout servi à eux-mêmes pour augmenter la qualité de leur propre travail.

Ce qu’on peut retenir de ces résultats tient en plusieurs points:

• Il est vraiment utile de fournir aux étudiant-e-s des critères clairs d’évaluation et des outils précis comme une grille d’évaluation pour s’auto-évaluer ou évaluer les travaux de leurs collègues.
• Il est important d’aider les étudiant-e-s à fournir un feedback de qualité à leurs pairs, non pas pour que leurs pairs puissent en profiter (enfin si, quand même 🙂 ) mais surtout pour qu’eux-mêmes s’approprient bien les critères d’évaluation qu’ils devront remplir pour leur propre travail.
• Par extension, entraîner les étudiant-e-s à s’auto-évaluer est une activité qui aura une influence sur leurs apprentissages.

Li, L., Liu, X., & Steckelberg, A. L. (2009). Assessor or assessee: How student learning improves by giving and receiving peer feedback. British Journal of Educational Technology, Early view.

Read Full Post »