Feeds:
Articles
Commentaires

Posts Tagged ‘stratégies d’évaluation’

Le 8 novembre 2017, le cours « Se former pour enseigner dans le supérieur » débutera sur la plate-forme FUN-MOOC. Il m’a été demandé dans ce cadre d’enregistrer une vidéo, sous la forme d’une interview avec Saïda Mraihi (« Une journée avec… la responsable du service pédagogie numérique d’Arts et Métiers » sur EducPros.fr), à propos des « Techniques de Rétroaction en Classe ». Le présent article reprend par écrit les grandes lignes de cette interview.

Vous avez publié plusieurs articles sur le thème de rendre actif les étudiant·e·s et en particulier les techniques de rétroactions en classe. Pour commencer, est-ce que vous pouvez nous expliquer qu’est-ce que sont les TRC?

Les TRC, ou CATs en anglais (Classroom Assessment Techniques), sont de courtes activités à mener en classe avec les étudiant·e·s (voir quelques ressources et exemples ici). Elles durent entre 5 et 20 minutes pour la plupart. On peut les situer à peu près entre les méthodes d’évaluation formative des apprentissages et les méthodes actives d’enseignement. L’idée principale est qu’en cours d’apprentissage, les étudiant·e·s aient l’opportunité d’obtenir des informations pour savoir dans quelle mesure ils/elles sont en train d’atteindre les objectifs d’apprentissage visés dans un cours et qu’en même temps les enseignant·e·s aient une idée de là où en sont les étudiant·e·s afin, le cas échéant, d’apporter des explications complémentaires.

On peut résumer la philosophie de Thomas Angelo et Patricia Cross, les auteurs du livre qui a popularisé le concept en 1988 (2ème édition en 1993), par la formule « Teaching without learning is just talking« . Pour s’assurer qu’il y ait bien apprentissage chez les étudiant·e·s dans un cours, il faut une certaine interaction avec eux/elles. Car on sait bien que ça ne suffit pas de voir « qu’ils/elles ont l’air d’écouter » ou de leur demander « est-ce que vous avez compris? ».

Les TRC se définissent par sept grandes caractéristiques communes :

  • Centrées sur l’apprenant·e : le but premier est de conduire les apprenant·e·s vers une amélioration de leur apprentissage et de leurs stratégies d’apprentissage;
  • Conduites par l’enseignant·e : c’est l’enseignant·e, en toute autonomie, qui organise la mise en œuvre de TRC dans sa classe;
  • Soutenant un bénéfice mutuel : utile autant pour l’étudiant·e pour améliorer ses stratégies d’apprentissage que pour l’enseignant·e pour améliorer ses stratégies d’enseignement;
  • Formatives : il n’y a pas de note associée à ces activités. La plupart du temps, les TRC sont anonymes, le but étant éventuellement de préparer au mieux les étudiant·e·s à une épreuve notée;
  • Spécifiques au contexte : le choix d’une TRC dépend de l’enseignant·e, des besoins des étudiant·e·s, des objectifs de l’enseignement, du matériel ou de l’espace à disposition, etc.;
  • Basées sur un processus permanent d’aller et retour entre l’enseignant·e et les étudiant·e·s pour développer l’apprentissage et l’enseignement;
  • Ancrées dans une pratique enseignante cohérente et planifiée sur un certain nombre de séances de cours.

Ceci dit, il y a une grande variété de TRC (50 dans le livre d’Angelo & Cross) et une multitude de variantes possibles que chaque enseignant·e peut adapter à son contexte et à ses étudiant·e·s. Elles peuvent être des activités écrites ou orales, individuelles ou collectives, avec un grand ou un petit groupe, basées sur une auto-évaluation ou une évaluation entre pairs, et certaines peuvent combiner ces différentes options.

Quels peuvent être les intérêts à les utiliser pour les enseignant·e·s et pour les étudiant·e·s ?

Le plus souvent, ce qui est mis en avant, c’est un bénéfice mutuel. Avec les TRC, les enseignant·e·s d’une part, connaissent mieux les besoins des étudiant·e·s et développent leurs enseignements et les étudiant·e·s d’autre part, peuvent voir où ils/elles en sont par rapport à l’atteinte des objectifs et apprennent à mieux se connaître en tant qu’apprenant·e.

Plus largement, les TRC sont en fait basées sur sept présupposés issus de la recherche dans le domaine de la pédagogie:

  1. La qualité de l’apprentissage des étudiant·e·s dépend en grande partie de la qualité de l’enseignement;
  2. Pour accroître leur efficacité, les enseignant·e·s devraient définir des objectifs pédagogiques puis fournir du feedback aux étudiant·e·s à propos de la façon dont ils/elles sont en train de les atteindre;
  3. Pour améliorer leur apprentissage, les étudiant·e·s ont besoin de recevoir un feedback approprié, rapide et régulier mais ils/elles doivent aussi apprendre à évaluer eux/elles-mêmes leur propre apprentissage;
  4. Le type d’évaluation des enseignements qui permet le plus d’améliorer l’enseignement est celui qui correspond aux problèmes et aux questions que l’enseignant·e se posent à lui/elle-même, ce qui veut simplement dire que le mieux est que l’enseignant·e puisse interagir directement avec les étudiant·e·s à ce sujet;
  5. Le défi intellectuel et systématique constitue un moteur important de motivation, de développement et d’innovation chez les étudiant·e·s, et l’évaluation formative en classe peut y contribuer;
  6. Les TRC ne demandent pas une formation particulière et elles peuvent être mises en place en classe par des enseignant·e·s de toutes les disciplines;
  7. En collaborant avec des collègues et en impliquant activement les étudiant·e·s dans les TRC, les enseignant·e·s peuvent développer leurs compétences et leur satisfaction à enseigner.

Ce qui est un peu paradoxal, c’est que, si les TRC ont été au départ imaginées et développées sur base de recherches en pédagogie, elles n’ont fait que relativement peu l’objet d’études une fois le livre publié en 1988… Ceci dit, comme je le mentionnais juste avant, les TRC relèvent à la fois des méthodes actives et de l’évaluation formative en classe. Sur ces deux thèmes, il existe par contre beaucoup de recherches. Par exemple, Coe et al. (2014) ont mis en évidence six éléments importants d’une bonne évaluation formative:

  1. L’objectif est clairement et explicitement centré sur l’apprentissage des étudiant·e·s (pas sur les notes);
  2. Le feedback est lié à des objectifs des étudiant·e·s qui sont clairs, spécifiques et qui représentent un défi particulier ; le rôle explicite de l’enseignant·e est de les amener à atteindre ces objectifs;
  3. L’attention est portée sur l’apprentissage et pas sur la personne de l’étudiant·e ou sur la comparaison entre eux/elles;
  4. Les enseignant·e·s sont encouragé·e·s à être aussi en continu des apprenant·e·s ;
  5. Le feedback est délivré par un·e « mentor » (enseignant·e, pair ou expert·e) dans un environnement positif basé sur la confiance ; ceci renvoie à la notion d’ »amitié critique »;
  6. Un environnement de support à l’apprentissage est promu par la direction (du programme ou de l’institution).

Quand l’enseignant·e peut-il/elle utiliser les TRC et pour quoi faire?

La première question à se poser est vraiment de savoir pourquoi on veut mettre en œuvre des TRC dans sa classe. Dans son étude, Steadman (1998) en liste cinq principales:

  • Obtenir un feedback à propos de la satisfaction des étudiant·e·s et de leur perception de l’efficacité des activités pédagogiques organisées en classe;
  • Améliorer son enseignement;
  • Monitorer l’apprentissage des étudiant·e·s;
  • Améliorer les résultats d’apprentissage des étudiant·e·s (mémorisation par exemple, ou stratégies d’apprentissage);
  • Améliorer la communication et la collaboration entre étudiant·e·s

Un conseil souvent donné est de clarifier son ou ses objectifs personnels et de les expliciter aux étudiant·e·s dès la première séance de cours (et de le rappeler régulièrement).

Du point de vue des enseignant·e·s, les avantages des TRC mentionnées par Steadman sont:

  1. Donner le sentiment aux étudiant·e·s de pouvoir s’exprimer en classe à propos de leur compréhension et de leur satisfaction, ce qui rend l’ambiance de classe plus agréable;
  2. S’engager dans un processus continu de réflexion à propos de leur enseignement;
  3. Voir à quel point les étudiant·e·s peuvent s’impliquer dans leur apprentissage;
  4. Rejoindre une communauté d’enseignant·e·s impliqué·e·s dans leur enseignement.

Il y a aussi des désavantages potentiels : le manque de temps et la gestion des feedback négatifs sur l’enseignement.

Une fois ces objectifs définis, les TRC peuvent être utilisées quand on veut au cours d’un enseignement. Par exemple :

  • Au début d’un cours avec une activité de collecte des connaissances ou des conceptions préalables des étudiant·e·s;
  • Pendant le cours avec une activité de compréhension ou d’application comme un tableau logique ou l’exercice de résumer en une seule phrase un élément du cours;
  • A la fin d’un cours avec le Minute paper (« Écrivez en 3-5 lignes les éléments les plus importants que vous avez retenus du cours.« ) ou l’invention par les étudiant·e·s de questions qui pourraient constituer des questions d’examen.

Quelles sont les clés de participation des étudiant·e·s en classe ?

Les étudiant·e·s de l’enseignement supérieur sont de jeunes adultes. Ils/elles ne croient pas tout sur parole. Ils/elles ont besoin de pouvoir se projeter dans les enseignements qu’on leur propose, donc d’y retrouver un écho à leurs objectifs personnels. Ils/elles ont besoin de savoir ce qu’on attend d’eux/elles et de savoir où ils/elles en sont par rapport à ce que l’enseignant·e attend d’eux/elles. Ils/elles ont besoin de développer leur autonomie mais en même temps de conseils pour la développer et pour développer leurs stratégies d’apprentissage en autonomie. Ils/elles sont aussi friands de développer des compétences variées autres que liées directement aux contenus enseignés: expression orale, écriture, collaboration, réflexion personnelle, analyse critique, argumentation, etc. Ils/elles ont aussi plus globalement besoin de développer leur sentiment d’affiliation au programme dans lequel ils/elles sont inscrits et à l’institution.

Steadman (1998) cite plusieurs avantages des TRC du point de vue des étudiant·e·s:

  • Sentiment d’avoir un certain contrôle sur ce qui se passe en classe et sur la prise de parole en classe, le sentiment de ne pas subir le rythme du cours et la transmission de connaissances. Ce sentiment de contrôle est directement lié à la motivation.
  • Sentiment d’être davantage impliqué·e·s dans leur propre processus d’apprentissage.
  • Sentiment de mieux profiter d’un cours amélioré et innovant, sentiment que le cours est plus efficace pour leur apprentissage.
  • Meilleure métacognition et meilleure conduite de leur propre apprentissage.

Il y a aussi des désavantages : l’impression que, s’il y a trop d’exercices, la classe est « lente » et que les TRC prennent trop de temps. Certain·e·s trouvent cela inutile car il n’y a pas de note à la clé. Certain·e·s préféreraient aussi rester passif/ve·s au fond de la classe: leur conception de l’apprentissage est plutôt passive et réceptive. Mais ces conceptions de l’apprentissage peuvent évoluer tout au long d’un enseignement…

Si un·e enseignant·e veut se lancer dans l’intégration des TRC dans son cours, qu’est-ce que vous lui conseilleriez?

Ces conseils sont autant issus de ma pratique que des lectures que j’ai pu faire sur le sujet et dont les références sont mentionnées ci-dessous.

  • Expliquer pourquoi on fait ça en classe et que les bénéfices sont mutuels. Pour les étudiant·e·s, cela concerne autant l’apprentissage que les stratégies d’apprentissage;
  • Commencer avec des TRC simples (minute paper, muddiest point…);
  • Ne pas utiliser trop de TRC différentes, c’est important qu’il y ait une certaine forme d’activité régulière avec les étudiant·e·s qui balise les cours;
  • Ne pas utiliser des TRC qui ne correspondent pas à son style ou ses conceptions personnelles de l’enseignement;
  • Préparer soigneusement le timing (prévoir trop de temps, surtout les premières fois…) et répéter. Noter les consignes éventuelles sur une dia, préparer le matériel ou s’assurer que les étudiant·e·s ont le matériel nécessaire (papier, stylo, ordi…). S’assurer que la salle est adaptée.
  • Aller jusqu’au bout : expliquer aux étudiant·e·s ce qu’on a appris soi-même suite à un exercice, ou comment on va faire évoluer son enseignement;
  • Donner la parole aux étudiant·e·s à propos des TRC en classe.

Références

Quelques ressources en ligne (mes bookmarks sur Diigo)

Angelo, T. A., & Cross, K. P. (1993). Classroom assessment techniques: a handbook for college teachers (2nd ed). San Francisco: Jossey-Bass Publishers.

Coe, R., Aloisi, C., Higgins, S., & Major, L. E. (2014). What makes great teaching? Review of the underpinning research. Durham University: Centre for Evaluation & Monitoring. Consulté à l’adresse https://www.suttontrust.com/research-paper/great-teaching/

Steadman, M. (1998). Using Classroom Assessment to Change Both Teaching and Learning. New Directions for Teaching and Learning, 1998(75), 23‑35. https://doi.org/10.1002/tl.7503

Read Full Post »

Il y a quelques années, j’avais écrit un article à propos de la différenciation de l’enseignement à l’université. J’avais proposé quelques pistes pédagogiques pratiques. Depuis 2014, cette réflexion a débouché sur l’organisation d’un atelier d’1h30 dont je partage le matériel ici. L’AIPU Suisse avait aussi organisé une université d’été sur le sujet en 2014.

Pourquoi différencier dans l’enseignement supérieur? L’idée est d’amener le plus d’étudiant·e·s possible vers l’atteinte des apprentissages visés (et au-delà) en leur proposant des situations qui tiennent compte de leurs intérêts, motivations ou conditions préférées pour apprendre. Comment faire quand une partie seulement des étudiant·e·s maîtrise les prérequis du cours? Comment faire quand, dans un même groupe, il y a des étudiant·e·s qui viennent de filières différentes, ou pour qui le cours correspond à un nombre différent de crédits? Est-ce possible lorsqu’il y a plus de 100 étudiant·e·s? Comment faire lorsque certain·e·s étudiant·e·s annoncent qu’ils/elles travaillent pendant leurs études et qu’ils/elles ne peuvent pas venir à toutes les séances? Ces cas de figure ne sont pas si rares et organiser son enseignement pour tenir compte au mieux de ces différences n’est pas toujours simple.

L’atelier commence par une invitation à une réflexion individuelle des participant·e·s à propos des conditions dans lesquelles ils/elles apprennent le mieux. En comparant ces conditions individuelles avec celles des autres, on se rend vite compte que ce qui est important pour quelqu’un ne l’est pas nécessairement pour d’autres. Ceci signifie que par définition, tout groupe d’étudiant·e·s est forcément divers dans ses préférences et orientations d’apprentissage. Comment essayer d’en tenir compte dans son enseignement?

Ensuite, je présente quelques définitions et quelques pistes pratiques pour mettre en oeuvre une certaine forme de différenciation en classe, même avec un grand groupe. Les références sur lesquelles je me suis appuyé pour faire cette synthèse se trouvent sur la dernière dia de la présentation.

Enfin, une activité d’étude de cas est proposée aux participant·e·s. Par petits groupes, ils/elles analysent quatre situations d’enseignement (PDF – 239Ko) qui pourraient nécessiter une différenciation de l’enseignement. Une discussion sur les aspects pratiques et sur cette « nécessité » justement a lieu finalement.

Dans les discussions avec les participant·e·s, je me rends compte souvent que tout le monde n’est pas nécessairement « prêt » à adapter et différencier ses enseignements. Les conceptions de l’enseignement tournent parfois autour du nombre d’étudiant·e·s qui rendrait impossible la différenciation ou l’impression d’une scolarisation de l’enseignement supérieur. Mon habitude est en général de ne pas essayer de convaincre à tout prix mais plutôt de poser des questions à propos de l’utilité de la différenciation et de proposer des pistes pratiques réalistes. J’invite aussi à essayer au moins une petite activité de différenciation et à évaluer sa mise en oeuvre et son efficacité.

Read Full Post »

Il y a quelques jours, j’ai eu le plaisir d’animer avec ma collègue Catherine El-Bez un atelier d’1h30 intitulé « Comment fournir des feedbacks formatifs aux étudiant·e·s? ». Même si l’expression « feedback formatif » sonne un peu comme un pléonasme, il est utile d’insister sur l’importance de fournir des informations aux étudiant·e·s à propos de leurs apprentissages en cours.

L’atelier était organisé autour d’une présentation de quelques pistes pratiques pour développer ses feedbacks aux étudiant·e·s basées sur l’article de Nicol et McFarlane-Dick (2006). J’avais déjà parlé de cet article il y a quelques temps. Les dias sont disponibles ci-dessous:

Ensuite, nous avons proposé un exercice de réflexion et des discussions en petits groupes aux participant·e·s. Cette réflexion s’appuyait sur l’outil « Quelques questions de réflexion à propos du feedback aux étudiant·e·s » (PDF – 333Ko). Cette activité se déroulait en 3 temps:

  1. Réflexion individuelle avec l’outil (10-15 minutes)
  2. Discussions par groupes de trois ou quatre pour comparer les pratiques (10-15 minutes)
  3. Discussion en grand groupe pour identifier les questions en suspens

Nous avons aussi distribué un texte de synthèse qui est disponible en ligne « Donner du feedback aux étudiant·e·s« .

Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning : A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199‑218.

Read Full Post »

A l’approche des examens, il peut être utile de s’interroger sur les formes d’évaluation que l’on met en oeuvre. Par exemple, l’examen oral est assez répandu dans certaines disciplines, notamment en Lettres ou en Droit, mais n’a pas toujours une bonne réputation auprès des étudiant-e-s qui le considèrent comme davantage stressant et subjectif que d’autres formes d’évaluation. Il y a quelques temps, j’avais publié ici une note de synthèse à ce sujet.

J’ai repris cette note pour l’augmenter et pour en faire une nouvelle version publiable sous la forme d’une fiche pédagogique. Le document peut être téléchargé ici (PDF – 449Ko). En voici l’introduction:

Selon Joughin (1998, 2010), un examen oral peut être défini simplement comme un mode d’évaluation des apprentissages au cours duquel les réponses de l’étudiant à la tâche prescrite sont données oralement. Cette tâche peut par exemple consister en une présentation publique orale de l’étudiant à propos d’un travail qu’il a réalisé, une discussion d’un travail avec l’enseignant ou la réponse orale à des questions d’examen, avec ou sans temps de préparation. Les situations d’examen oral sont relativement répandues dans certaines disciplines, notamment la médecine, le droit ou l’architecture. Cette forme d’évaluation est privilégiée lorsque les étudiants sont amenés à rendre compte de compétences telles que l’expression orale, l’argumentation dans un débat ou la défense d’un travail personnel. Par ailleurs, il est assez habituel de recourir à l’examen oral dans les universités européennes francophones, et ce, dans toutes les disciplines, alors que dans les universités anglo-saxonnes, cela est moins courant et réservé davantage à certaines disciplines ou aux étudiants qui en font la demande, par exemple pour des raisons de santé ou de maîtrise de la langue écrite.

Les objectifs de ce document sont d’une part, de mettre en évidence les avantages et les inconvénients de l’examen oral comme forme d’évaluation des apprentissages des étudiants, et d’autre part, de fournir aux enseignants du supérieur un cadre pour préparer et organiser un examen oral.

Bonne période d’examens à tout-te-s!

Read Full Post »

Pour documenter nos formations pédagogiques, nous avons conçu, mon collègue Denis Berthiaume et moi, un document de synthèse (PDF – 292Ko) à propos des stratégies d’évaluation dans l’enseignement supérieur. Voici son introduction:

L’objectif de ce document est de présenter différents aspects à considérer lorsque l’on conçoit un dispositif d’évaluation des apprentissages des étudiant-e-s à l’université. Plusieurs questions sont abordées ici:

  • Quels sont les apprentissages des étudiant-e-s à évaluer?
  • Comment obtenir une « trace » ou un « témoignage » de leurs apprentissages? Quelles stratégies d’évaluation peuvent être mises en place pour y parvenir (comme un examen oral, un questionnaire, la réalisation d’un travail écrit, etc.)?
  • Comment interpréter ces traces des apprentissages des étudiant-e-s et leur accorder une note?

Derrière ces questions apparaissent en filigrane des éléments importants liés à l’évaluation auxquels les enseignant-e-s universitaires sont souvent confronté-e-s: la subjectivité de leur évaluation, la validité et la fiabilité des stratégies d’évaluation choisies, ou encore les outils à mettre en œuvre pour mener ce processus à bien.

Pour tout-e enseignant-e, l’évaluation constitue probablement l’activité la plus « technique ». Plusieurs procédures et stratégies sont à mettre en œuvre pour assurer validité (mesure-t-on bien ce qu’on a l’intention de mesurer?) et fiabilité (évalue-t-on toujours de la même façon?) à l’évaluation. Le document ne prétend pas être exhaustif mais propose simplement plusieurs questions et conseils à garder en tête au moment de procéder à l’évaluation des apprentissages de ses étudiant-e-s. J’ai rassemblé par ailleurs plusieurs liens utiles à propos d’évaluation en général dans l’enseignement supérieur.

Read Full Post »

En novembre dernier, j’ai été amené à animer une formation d’une demi journée sur le thème de l’examen oral. Sur base d’une précédente formation préparée par mon collègue Denis Berthiaume, j’ai articulé mon intervention autour d’un article de Gordon Joughin (1998). Ce conseiller pédagogique australien propose un texte assez complet sur un sujet relativement peu étudié en pédagogie universitaire.

Il faut d’abord savoir que l’examen oral en tant que forme d’évaluation particulière des apprentissages des étudiant-e-s n’est pas considéré de la même manière selon les cultures universitaires. Dans nos pays francophones européens, l’examen oral a un prestige tout particulier. Dans certaines facultés et sections, on n’imagine pas d’autres façons d’évaluer les étudiant-e-s. En France, il existe même ce qu’on appelle le « Grand Oral », surtout dans les sections de sciences politiques et de droit, où les candidat-e-s doivent préparer un sujet tiré au sort et le présenter oralement devant un jury, par exemple pour obtenir leur diplôme, ou pour avoir le droit d’effectuer des stages. Les modalités particulières de cet examen intégré (c’est-à-dire portant sur plusieurs cours ou l’ensemble d’une année d’étude) varient fortement d’une université à l’autre. Il existe aussi parfois le « Petit Oral », pour les étudiant-e-s qui n’ont pas obtenu les notes suffisantes pour passer directement le Grand Oral ou comme examen d’entrée pour être admis-e dans une formation… A l’opposé, la pratique de l’examen oral existe relativement peu dans le monde anglo-saxon. Sur le ton de la boutade, un collègue québécois m’a un jour dit: « l’examen oral, c’est pour les étudiant-e-s qui se sont cassé les deux bras au ski »… C’est presque vrai.

Pour décrire l’examen oral, Joughin (1998) propose six dimensions qui sont abordées dans la littérature sur le sujet:

  1. Contenu. Quels savoirs ou quelles compétences sont visés par l’examen oral? On peut bien sûr évaluer des connaissances factuelles grâce à un examen oral mais il serait utile alors de savoir d’abord si les mêmes connaissances ne pourraient pas être évaluées plus efficacement au moyen d’un examen écrit… L’examen oral constitue un moyen efficace pour évaluer la compréhension d’un sujet par les étudiant-e-s et la façon dont ils/elles résolvent un cas ou solutionnent un problème. Mais c’est surtout un moyen bien adapté pour évaluer la capacité à interagir (par exemple, un-e étudiant-e en médecine avec des patient-e-s), les compétences liées à la conduite d’une interview ou des compétences socio-affectives comme la confiance en soi ou la résistance au stress.
  2. Interaction. De quelle nature est l’interaction entre l’étudiant-e et l’évaluateur/trice? Dans certains cas, c’est l’étudiant-e qui va faire une présentation orale qui sera jugée par l’évaluateur/trice. Dans d’autres cas, il s’agira davantage d’une discussion où l’étudiant-e sera amené-e à répondre à des questions et à entrer dans un dialogue. Mais l’influence réciproque qui se joue alors entre l’étudiant-e et l’évaluateur/trice constitue un des biais possibles de cette forme d’évaluation… Dans d’autres cas encore, présentation orale et discussion peuvent avoir lieu ensemble, comme dans un jury de thèse par exemple.
  3. Authenticité. La situation d’évaluation est-elle proche d’une situation professionnelle réelle? Plusieurs situations peuvent être envisagées. Une situation décontextualisée serait un examen oral dans le bureau de l’enseignant-e ou la défense d’une thèse. A l’opposé, une situation contextualisée pourrait être l’observation d’un-e étudiant-e en train de réaliser une expérience de laboratoire ou en interaction avec un-e professionnel-le sur un lieu de stage. On peut penser aussi à une réflexion orale d’un étudiant-e à propos d’un vécu de stage par exemple. On préférera en général évaluer les étudiant-e-s dans une situation authentique si les compétences à évaluer sont complexes ou liées à des savoir-faire professionnels.
  4. Structure. Les questions posées sont-elles préparées à l’avance ainsi que l’ordre dans lequel elles sont posées? Avec une structure fermée, les questions et leur ordre ne sont pas influencés par les réponses de l’étudiant-e. Ceci permet en général une meilleure fiabilité de l’évaluation. Mais la structure peut être aussi ouverte s’il s’agit par exemple d’interroger les étudiant-e-s à propos de leurs arguments sur un sujet ou à la suite d’un stage pratique.
  5. Évaluateur/trice-s. Qui évalue et la situation d’évaluation est-elle publique ou non? La ou les personnes qui évaluent peuvent être l’étudiant-e lui/elle-même, les pairs, l’enseignant-e ou un groupe d’expert-e-s. Dans chaque cas, on peut aussi réfléchir au caractère public de l’évaluation. Beaucoup de défenses de thèse comportent un aspect public ou sont même parfois entièrement publiques. L’auto-évaluation et l’évaluation par les pairs sont utilisées en général dans le cadre d’évaluations formatives pour préparer les étudiant-e-s à un examen final ou à la rédaction d’un texte final.
  6. Oralité. L’évaluation est-elle exclusivement orale ou complémentaire à d’autres formes de communication? L’oral peut par exemple se dérouler à propos de la réalisation d’un travail écrit ou après une performance pratique (c’est le cas pour les futur-e-s enseignant-e-s qui sont observé-e-s en salle de classe avant de rencontrer leur enseignant-e). L’oral peut aussi accompagner une autre action comme la manipulation d’une machine ou d’outils.

Selon Joughin, l’examen oral a pour avantage d’amener les étudiant-e-s à expliciter davantage que dans un écrit leur compréhension d’une matière. Mais cette forme d’examen est parfois mal préparée et conduite, ce qui fait qu’elle a la réputation parmi les étudiant-e-s d’être fort subjective. Pour éviter ces biais, Morisette (1996) propose quelques conseils:

  • Il est important de réfléchir à l’utilité de l’examen oral et d’y avoir recours si les apprentissages visés par l’évaluation ne peuvent pas être évalués par écrit.
  • Si plusieurs examinateur/trice-s sont impliqué-e-s, il est important de les former à l’observation et à la conduite de l’entretien et de discuter avec eux/elles des critères d’évaluation. Dans beaucoup d’universités suisses, un-e « expert-e » (en fait un-e autre enseignant-e ou un-e assistant-e) est présent-e lors des examens oraux mais son rôle est souvent peu défini et se cantonne parfois à une simple tâche d’observation ou de contrôle de la procédure.
  • Si c’est possible, prévoir deux séances d’évaluation avec des examinateur/trice-s différent-e-s aide à améliorer la fidélité de l’épreuve.
  • Il est vraiment utile de préparer les étudiant-e-s à l’examen oral afin de réduire leur stress et qu’ils/elles fournissent ainsi une performance aussi représentative que possible de leurs véritables compétences. Ceci aide à améliorer la validité de l’épreuve. Pour ce faire, organiser des discussions en classe au moment des cours constitue une méthode efficace de préparation.
  • On prend rarement le temps de le faire mais cela peut s’avérer vraiment utile: tester les questions et procédures d’évaluation avant de les utiliser permet d’éviter les hésitations et de rendre la conduite de l’examen plus équivalente d’un-e étudiant-e à l’autre.
  • Pendant l’examen, il est toujours conseillé de prendre des notes, voire même d’utiliser une liste de critères d’évaluation à cocher ou une grille. Ceci permet d’évaluer tou-te-s les étudiant-e-s selon les mêmes critères et de garder une trace de l’examen dans le cas où des étudiant-e-s voudraient des précisions complémentaires à propos de leur note.

Pour finir, je partage ici deux petits outils. Le premier peut aider à réfléchir aux 6 dimensions de l’examen oral en proposant une série de questions à se poser (PDF – 20Ko). Le second propose aussi une série de questions à se poser pour préparer un examen oral, assurer sa conduite et réaliser son suivi (attribution d’une note et feed-back à l’étudiant-e) (PDF – 36Ko). Ces deux documents ont été préparés par Denis Berthiaume. Merci à lui!

Joughin, G. (1998). Dimensions of Oral Assessment. Assessment & Evaluation in Higher Education, 23(4), 367-378.

Morissette, D. (1996). Évaluation sommative. Montréal, QC: Éditions du Renouveau Pédagogique.

Read Full Post »

Dans le cadre d’une réflexion large dans mon université à propos des usages des portfolios et e-portfolios, nous avons conçu, mon collègue Denis Berthiaume et moi-même, un document de synthèse sur l’utilisation de portfolios pour l’évaluation des apprentissages des étudiant-e-s (PDF – 116Ko). J’ai ensuite organisé un atelier d’une heure trente sur ce thème auquel une douzaine d’enseignant-e-s, assistantes et conseillères pédagogiques ont participé. Dans cette note, je présente ce document ainsi que la présentation orale que j’ai préparée pour l’atelier.

Les autres notes de ce blog à propos des portfolios se trouvent ici et j’ai rassemblé plusieurs ressources à cet endroit.

La définition du portfolio (pour l’évaluation des apprentissages) que nous avons retenue est la suivante:

Un portfolio est une collection ciblée de travaux qui montre les efforts individuels, les progrès et les prestations de l’apprenant-e dans un ou plusieurs domaines. La collection doit comprendre la participation de l’apprenant-e au choix des contenus et des critères pour le choix, sa participation à la détermination des critères d’appréciation ainsi que des indications sur la capacité de réflexion sur soi de l’apprenant-e (Paulson, Paulson & Meyer, 1991).

Cette définition, à l’air tout innocent, contient en fait plusieurs idées assez innovantes en ce qui concerne l’évaluation des apprentissages dans l’enseignement supérieur…

  • « une collection ciblée de travaux« : en général, l’évaluation porte sur un seul travail écrit ou une seule présentation orale et pas sur un ensemble de travaux (oraux, écrits, multimédias ou relevant de performances diverses) évalués comme un tout.
  • « qui montre les efforts individuels, les progrès et les prestations de l’apprenant-e« : le plus souvent, pour évaluer les apprentissages des étudiant-e-s, nous nous basons sur des prestations ponctuelles (travaux écrits, oraux, etc.). Avec un portfolio, il est possible d’évaluer aussi les efforts ou les progrès des étudiant-e-s, par exemple si les objectifs pédagogiques touchent à la persévérance ou à l’analyse de ses erreurs.
  • « un ou plusieurs domaines« : le plus souvent, chaque cours dans un programme de formation possède son propre système d’évaluation, donc une évaluation par discipline enseignée. Or il peut être opportun et cohérent dans certains cas d’évaluer la façon dont les étudiant-e-s intègrent les apports de plusieurs cours voire d’un programme dans son ensemble.
  • « participation de l’apprenant-e« : de manière générale, les étudiant-e-s « subissent » davantage les évaluations sommatives qu’ils/elles n’y participent, c’est-à-dire qu’ils/elles réalisent une prestation qui est notée (et parfois accompagnée d’un feed-back). Ceci est un peu différent pour les évaluations formatives où il y a davantage de participation, de discussion voire de négociation avec les étudiant-e-s. Avec le portfolio, il est possible de leur donner l’occasion de s’impliquer et participer davantage à leur formation en leur donnant une certaine autonomie par rapport à leur évaluation. Cette participation porte sur le produit qui sera évalué mais aussi sur les critères d’évaluation.
  • « capacité de réflexion sur soi de l’apprenant-e« : l’analyse et la réflexion sont des compétences attendues de la part des étudiant-e-s à la fin de leur programme universitaire mais l’analyse et la réflexion sur soi, ses compétences et sa façon de progresser sont plus rarement exprimées explicitement comme objectifs à atteindre (sauf peut-être dans les formations d’enseignant-e-s). Le portfolio permet d’obtenir des indices du développement de ces compétences.

Ci-dessous, on trouvera le support de la présentation à l’atelier. Dans les dernières dias, plusieurs exemples de portfolios pour l’évaluation dans l’enseignement supérieur sont évoqués. D’autres références et d’autres exemples sont aussi mentionnés dans le document de synthèse avec également des exemples de consignes données aux étudiant-e-s.

Précisons enfin que le document que nous avons conçu porte sur un usage particulier du portfolio, à savoir dans le cadre de l’évaluation des apprentissages des étudiant-e-s. D’autres usages existent et nous les définissons comme suit:

  • On pourrait distinguer quatre types ou quatre fonctions principales des portfolios:
    • Le portfolio pour l’évaluation des apprentissages dans le cadre d’une formation ou d’un cours donnés: dans ce cas, le but du portfolio est de constituer un répertoire de travaux commentés par les étudiant-e-s qui permettra à l’enseignant-e d’évaluer l’atteinte des objectifs pédagogiques et le développement des compétences des étudiant-e-s, le plus souvent dans une perspective formative.
    • Le portfolio de présentation: il s’agit ici de rassembler des travaux dans le but de les présenter par exemple dans le cadre d’une recherche d’emploi ou de la conclusion d’un marché. Dans ce cadre, le portfolio peut être annexé à un curriculum vitae.
    • Le portfolio de validation ou de certification: dans ce cas, le portfolio est présenté en vue de faire valider des compétences ou des apprentissages pour obtenir un diplôme ou un certificat ou pour être admis dans une formation supérieure ou professionnelle.
    • Le portfolio de développement professionnel ou personnel dont le but est de mettre en évidence le processus de développement de compétences tout au long de la vie.
  • Ces différents types de portfolios se rejoignent cependant sur plusieurs points :
    • Une perspective réflexive de l’apprentissage, c’est-à-dire le développement chez les étudiant-e-s de compétences transversales comme l’auto-évaluation et la compréhension de ses propres processus et méthodes d’apprentissage.
    • Une perspective expérientielle de l’apprentissage, c’est-à-dire la mise en évidence et la valorisation de toutes ses expériences d’apprentissage, que celles-ci soient explicites ou implicites. Dans un portfolio, l’étudiant-e est amené à décrire ses expériences puis à les analyser.
    • Une autonomie et une responsabilisation de l’étudiant-e vis-à-vis de son propre processus d’apprentissage: dans un cadre défini au départ par l’enseignant-e, c’est l’étudiant-e qui prend en charge la constitution de son portfolio et l’auto-évaluation de ses apprentissages.

Paulson, F. L., Paulson, P. R., & Meyer, C. A. (1991). What makes a portfolio a portfolio ? Educational Leadership, 48(5), 60-63 En ligne: http://faculty.milkenschool.org/sperloff/edtech/portfolioarticle2.pdf (PDF – 1,4Mo).

Read Full Post »

Dans de nombreuses universités, les examens de « rattrapage » (ou de « troisième session ») battent leur plein juste avant la rentrée académique. C’est peut-être opportun de parler d’un phénomène dont tout le monde parle, enseignant-e-s comme étudiant-e-s, mais qui reste très méconnu dans son ampleur et ses multiples formes: la triche. Une étude internationale a été publiée récemment sur le sujet par Aurora Teixeira et Maria Rocha (Teixeira & Rocha, 2010). Ces deux chercheuses portugaises ont eu pour objectifs dans leur article de circonscrire ce qu’on entend généralement par « la triche » à l’université puis de mener une vaste étude internationale pour comparer les pratiques et attitudes des étudiant-e-s face à ce phénomène. Elles se sont focalisées en particulier sur les étudiant-e-s dans les facultés d’économie et d’études commerciales avec le postulat suivant. A priori, on s’attend de la part des diplômé-e-s en économie qu’ils/elles développent des attitudes et des pratiques éthiques en matière de commerce. Vu qu’ils/elles seront appelé-e-s à diriger des entreprises, il est attendu d’eux/elles qu’ils/elles se comportent de façon honnête dès le début de leurs études. Cependant, on entend parfois dans certaines universités, facultés ou départements que les fraudes et comportements de triche prennent de l’ampleur, en parlant notamment du plagiat. Mais qu’en est-il exactement?

Tout d’abord, de quoi parle-t-on? Teixeira et Rocha citent la définition suivante de la triche: « il s’agit d’actes qui recouvrent des domaines définis comme illégaux, non éthiques, immoraux ou qui vont à l’encontre des règlements en vigueur dans les cours ou les universités« , par exemple, la copie lors des examens écrits, l’utilisation de « pougnons » (ou « copions » en Belgique, ou encore « pompes », « anti-sèches », « bidoches », « tusts », « papiers de triche », etc., etc.) lors des examens, l’utilisation frauduleuse d’un téléphone portable ou d’un ordinateur pour échanger des réponses, le vol de questions d’examens, le fait de se faire représenter par un-e autre étudiant-e à un examen oral, etc. Cela peut aller jusqu’à la corruption d’un examinateur ou d’un-e enseignant-e pour passer une session d’examens plus facilement. On admet cependant généralement que si la triche peut être délibérée, elle peut être aussi pratiquée par ignorance des règles ou des pratiques scientifiques habituelles comme par exemple dans de nombreux cas de plagiat. Elle peut aussi se produire « sous l’effet de la panique », lorsque par exemple un-e étudiant-e se rend compte à un examen écrit qu’il/elle n’arrive pas à répondre à certaines questions. Dans leur étude, Teixeira et Rocha se sont focalisées uniquement sur la forme la plus courante de tricherie à savoir « copier sur son/sa voisin-e aux examens écrits ». Cette restriction se justifie dans la mesure où les études qu’elles ont répertoriées ne montrent pas de différences significatives entre les différents actes de tricherie du point de vue de leurs facteurs explicatifs (âge, sexe, année d’étude, etc.). Il est donc possible d’extrapoler les résultats de cette étude à d’autres pratiques frauduleuses. Pour comprendre le phénomène, les auteures ont distribué un questionnaire à 7213 étudiant-e-s de premier cycle d’études commerciales dans 21 pays. Ces pays se répartissent équitablement dans le classement mondial 2005 de la perception de corruption par la population.

Quelle est l’ampleur du phénomène dans le monde? Sur base de nombreuses recherches dont les plus anciennes remontent aux années 1920, les auteures de l’article soulignent que les pays où la triche est la plus répandue sont des pays fortement corrompus à différents niveaux de la société. Dans leur propre étude, c’est dans des pays d’Europe de l’Est comme la Roumanie et la Pologne que les étudiant-e-s déclarent le plus tricher avec respectivement 96% et 100% d’étudiant-e-s interrogé-e-s déclarant avoir déjà copié aux examens. Cependant, le lien entre triche et corruption d’un pays ne semble pas être aussi clair puisque des pays d’Europe du Sud et de l’Ouest sont aussi fortement touchés comme la France (83,9%) ou la Turquie (79,6%). Par contre, un pays notablement corrompu comme le Nigéria est touché par la triche dans une mesure nettement moindre (42,6%). Sans surprise, les pays où les étudiant-e-s déclarent le moins tricher sont les pays scandinaves (4,9%), les îles britanniques (14,4%) et la Nouvelle-Zélande (20,7%). Les pourcentages observés sont sensiblement les mêmes lorsqu’on analyse les réponses à la question « Avez-vous déjà vu d’autres étudiant-e-s copier à un examen? ». Cette question avait pour but de donner un aperçu de l’ampleur de la tricherie aux examens et de la « culture » de la triche dans les différents pays considérés.

Par contre, le lien entre la triche dans les études et la corruption ou la fraude dans le monde du travail est loin d’être démontré. Dans les recherches sur le sujet, on souligne souvent le paradoxe observé entre le fait que la majorité des étudiant-e-s interrogé-e-s déclarent être contre la triche mais avouent tout de même l’avoir pratiquée de temps à autres. Pour la grande majorité des étudiant-e-s interrogé-e-s, copier aux examens n’est pas un problème très préoccupant, sauf pour les étudiant-e-s africain-e-s et argentin-e-s qui semblent se sentir en porte-à-faux entre le fait que nombre de leurs collègues trichent aux examens mais que ce n’est pas un comportement éthique par rapport à la vie en société.

Plusieurs autres observations intéressantes peuvent être tirées des résultats de la recherche de Teixeira et Rocha:

  • Si les études sur le sujet dans les années 70 et 80 tendaient à montrer que la copie aux examens était un acte davantage attribuable aux garçons, la tendance semble s’inverser depuis quelques années… bien que des différences importantes existent entre pays.
  • Les étudiant-e-s dans la tranche d’âge 20-25 ans semblent davantage tricher que leurs collègues plus jeunes ou plus âgés. Mais là encore, des différences entre pays sont à noter puisque dans les îles britanniques, ce sont plutôt les étudiant-e-s plus âgés qui trichent davantage.
  • Les étudiant-e-s qui trichent le plus sont ceux/celles qui sont dans les années de fin de cycle. Il semble que lorsque l’enjeu de la réussite est plus important, les étudiant-e-s sont davantage tenté-e-s par la triche.
  • Les étudiant-e-s les plus brillant-e-s ont moins tendance à tricher. Ceci pourrait s’expliquer, selon les auteures, par le fait que ces étudiant-e-s auraient davantage à perdre si ils/elles se faisaient prendre sur le fait.
  • Copier aux examens semble aussi un phénomène en partie social dans la mesure où les étudiant-e-s sont davantage enclin-e-s à tricher s’ils/elles connaissent d’autres étudiant-e-s qui trichent aussi.
  • Un environnement d’étude peu structuré ou permissif tend aussi à être générateur de triche chez les étudiant-e-s. Les universités qui ont adopté et communiqué une charte éthique pour les étudiant-e-s (notamment à propos du plagiat) voient la proportion de triche diminuer fortement en leur sein.
  • On pourrait penser par ailleurs que les étudiant-e-s à temps partiel ou qui travaillent en même temps que leurs études auraient tendance à tricher davantage car ils/elles auraient moins de temps pour étudier, mais ceci ne se vérifie pas dans la recherche présentée.

Il est à noter cependant que tous ces résultats sont à replacer dans le contexte particulier de chaque pays ou région du monde car des différences notables apparaissent souvent.

Que retenir de cette étude et que peut-on mettre en place dans l’enseignement supérieur pour prévenir la propension des étudiant-e-s à tricher? J’ai trouvé personnellement l’étude intéressante (malgré quelques limites méthodologiques explicitées par les auteures elles-mêmes) car elle démonte plusieurs idées fausses à propos des pratiques de triche des étudiant-e-s, notamment le fait qu’ils/elles ne trichent pas nécessairement de façon consciente et délibérée mais aussi par ignorance ou en proie à la panique des examens. Pour prévenir ces comportements, il semble qu’un outil efficace soit la rédaction d’un « code d’honneur » ou d’une charte de bonne conduite au sein des universités qui préciserait les comportements adaptés, les pratiques interdites et les sanctions prévues en cas de non-respect des règles. Pour diminuer le stress lié aux évaluations, il semble aussi que le recours à des stratégies d’évaluation moins anxiogènes et réparties tout au long de l’année constitue une bonne solution à long terme. C’est par exemple ce que recommande la Conférence des Recteurs des Universités suisses (CRUS) (PDF – 107Ko, p. 7) dans le cadre de l’adoption de la réforme Bologne en Suisse.

Au niveau d’un programme d’études ou d’un cours en particulier, cela signifie réfléchir à une évaluation par module (c’est-à-dire un examen intégré pour un ensemble de cours sous la forme d’un travail écrit ou d’un examen écrit) ou à des modes d’évaluation qui s’étendraient sur l’ensemble de l’année en prenant en compte plusieurs types de travaux individuels, de groupe, écrits ou oraux. Idéalement en fait, il s’agirait de demander aux étudiant-e-s de multiplier les preuves de leur apprentissage, formellement ou informellement, pour augmenter le plus possible la validité de leurs notes finales. Il est plus facile de tricher lorsqu’un seul moment d’évaluation est prévu, par exemple lors d’un examen écrit (en copiant ou en préparant un anti-sèche), d’un examen oral (en influençant l’examinateur-trice) ou d’un travail écrit (en plagiant ou en achetant un travail rédigé par quelqu’un d’autre) que lorsque plusieurs évaluations sont prévues avec pour objectif d’obtenir une mesure la plus valide possible de l’apprentissage des étudiant-e-s.

Teixeira, A., & Rocha, M. (2010). Cheating by economics and business undergraduate students: an exploratory international assessment. Higher Education, 59(6), 663-701.

On trouvera par ailleurs un article et un débat intéressants à propos de la triche dans l’enseignement supérieur sur le site Inside Higher Education: The Faculty Role in Stopping Cheating, par Timothy Austin. L’auteur propose une réflexion et plusieurs conseils pratiques aux enseignant-e-s pour décourager les comportements de tricherie chez leurs étudiant-e-s.

Read Full Post »

Depuis le début de l’année, deux notes ont été publiées spécifiquement sur les grilles d’évaluation critériées. Une question qui nous est souvent posée en formation est celle de la notation chiffrée des travaux des étudiant-e-s sur base d’une telle grille. En d’autres mots, comment attribue-t-on une note chiffrée ou alphanumérique (A, B, C, etc.) à un travail au moyen d’une grille ou comment traduire en note les critères d’évaluation formulés dans une grille? Ceci n’est pas toujours évident, surtout si les différents critères sont d’importance différente ou si l’on se réserve le droit d’attribuer une partie de la note à l’ensemble de la prestation écrite ou orale de l’étudiant-e.

Pour répondre à cette question, nous avons produit un court document (PDF – 88Ko) qui explique avec deux exemples comment il est possible d’attribuer une note à un-e étudiant-e au moyen d’une grille. Les exemples sont adaptés au contexte suisse (note sur 6) mais il est tout à fait possible de l’adapter à des notes sur 10 ou 20 (comme en Belgique ou en France) ou des notes en lettres (comme au Québec). L’idée principale derrière ces exemples est surtout que la grille devrait être une aide pour évaluer tous les travaux des étudiant-e-s de la même façon et selon les mêmes critères.

En passant, je signale l’intéressant article de Wikipedia (en anglais) sur les différents systèmes de grade en Europe et dans le monde.

Read Full Post »

Si dans la littérature pédagogique francophone on parle relativement peu des grilles d’évaluation critériées, il n’en va pas de même dans le monde anglo-saxon. En anglais, il existe une large littérature de recherche et on peut trouver sur le web de nombreux sites avec des exemples de grilles d’évaluation et des conseils pour en construire. J’avais déjà rassemblé plusieurs ressources dans une note précédente.

Dans la présente note, j’aimerais résumer l’article récent de Reddy et Andrade (2010) A review of rubric use in Higher Education. Ces deux chercheuses ont réalisé une revue de littérature sur le sujet en se posant quatre questions: quels types de recherche sont menés à propos de l’usage des grilles d’évaluation dans l’enseignement supérieur, ces grilles peuvent-elles être utilisées autant pour l’évaluation formative que pour l’évaluation sommative, comment évaluer la qualité des grilles produites par les enseignant-e-s et quelles pistes de recherche devrait-on suivre dans l’avenir?

Comme on peut s’en douter, l’usage le plus répandu des grilles d’évaluation est… l’évaluation des apprentissages des étudiant-e-s! Cependant, d’autres usages mériteraient d’être davantage mis en évidence notamment l’enseignement lui-même (pour soutenir le feedback aux étudiant-e-s par exemple ou pour cadrer les discussions en classe) et l’évaluation de programmes de formation.

De façon générale, les étudiant-e-s apprécient les grilles. Pour eux/elles, ces outils les aident à comprendre avec précision ce qui est attendu d’eux/elles aux examens et à situer leur compréhension de la matière tout au long de l’année. Cependant, pour que ces grilles s’avèrent efficaces pour l’apprentissage, les études sur le sujet mettent en évidence qu’il est utile de distribuer la grille aux étudiant-e-s avant leur évaluation (examen ou remise d’un travail).

Dans les études consultées, la vision qu’ont les enseignant-e-s de l’usage des grilles est assez différente de celle des étudiant-e-s. Ils/elles voient moins dans cet outil un soutien à l’apprentissage qu’un moyen pratique et rapide pour corriger et noter des travaux ou des copies d’examen. Ceci n’est pas étonnant mais cette vision amène certain-e-s à penser qu’il ne faut pas distribuer la grille aux étudiant-e-s avant un examen. Or les études encouragent plutôt à faire le contraire si l’on veut améliorer la réussite des étudiant-e-s. Elles encouragent même à discuter du contenu des grilles avec les étudiant-e-s, voire à les construire avec eux/elles pour qu’ils/elles s’approprient convenablement les exigences et les objectifs du cours.

En ce qui concerne l’évaluation de programme, la revue de Reddy et Andrade met en évidence plusieurs avantages: le dialogue au sein d’une commission de programme pour fixer plusieurs objectifs (et critères) communs, la possibilité de comparer les cours entre eux sur des critères bien définis et acceptés par tou-te-s ou la discussion sur l’orientation générale à donner à l’ensemble du programme.

La dernière question examinée par Reddy et Andrade est celle de la fidélité et de la validité des grilles produites par les enseignant-e-s à l’université. Là, c’est la grande interrogation. Très peu d’études ont été menées sur le sujet. En ce qui concerne la fidélité (donc le consensus intra- ou inter-correcteur-trice-s), trois études ont été recensées qui montrent l’utilité des grilles d’évaluation, notamment en calculant une corrélation élevée entre les notes données par les enseignant-e-s, par les étudiant-e-s évalué-e-s et par les pairs. Mais une étude insiste sur le fait qu’il est très important, pour obtenir un score de fidélité élevé, de prendre le temps d’une formation avec les personnes qui vont utiliser la grille pour évaluer. Souvent, ce n’est pas l’enseignant-e seul-e qui s’en occupe. En ce qui concerne la validité (c’est-à-dire le fait que la grille permet d’évaluer les compétences qu’elle prétend évaluer), les recherches consultées insistent sur le fait qu’il faudrait soigneusement choisir le vocabulaire utilisé dans les grilles et de vérifier que la formulation des critères est bien adaptée aux étudiant-e-s à qui la grille s’adresse.

En conclusion, les conseils d’usage des grilles d’évaluation qu’on peut retirer de cette revue de littérature pourraient être résumés comme suit:

  • Il est important de rendre les critères d’évaluation transparents dès le début du cours et d’en discuter avec les étudiant-e-s.
  • Il est utile d’utiliser des grilles pour évaluer les étudiant-e-s mais aussi pour soutenir l’enseignement. En d’autres termes, on pense souvent aux grilles pour l’évaluation sommative mais peu pour l’évaluation formative et le feed-back.
  • Il faudrait mener davantage de recherches sur les usages des grilles: leur fidélité et leur validité, leur caractère « local » (il n’est pas toujours facile d’utiliser une même grille dans différents cours ou contextes) et leur usage dans différents buts (évaluation de programme, en soutien à l’enseignement, etc.).

Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.

Read Full Post »

J’ai déjà parlé sur ce blog de grilles d’évaluation critériées (ou rubrics) et d’autres sujets liés à l’évaluation des apprentissages. J’ai rassemblé aussi quelques ressources sur le sujet sur cette page avec des exemples de grilles.

Lors du module de formation que nous donnons à Lausanne sur les stratégies d’évaluation, plusieurs questions sont souvent posées par les participant-e-s:

  • est-il possible d’être vraiment objectif-ve quand on évalue les apprentissages des étudiant-e-s? Ne vaut-il pas même mieux être un peu subjectif-ve quand même?
  • l’idéal, ce serait de pouvoir évaluer toujours de la même façon, sans être influencé-e par exemple par le soin de l’écriture d’un-e étudiant-e ou par sa tenue vestimentaire. Mais comment y arriver?
  • comment « mesurer » (avec une note chiffrée) la qualité des performances d’un-e étudiant-e ou dans quelle mesure il/elle a atteint les objectifs d’apprentissage d’un cours?

Ces questions touchent à la pratique quotidienne de l’évaluation et ne sont pas du tout anodines. Sans entrer dans de longues explications ou un vaste débat à leur sujet, on peut dire qu’effectivement, la question de la subjectivité en évaluation est importante et qu’elle est liée à celles de la validité et de la fiabilité. D’une part, une évaluation valide est une évaluation qui mesure effectivement ce qu’elle prétend mesurer. Une évaluation peu valide serait par exemple de corriger uniquement l’orthographe des étudiant-e-s pour une dissertation par laquelle on voudrait vérifier leurs capacités à articuler des idées par écrit et à argumenter leur opinion. D’autre part, une stratégie d’évaluation fiable est une stratégie qui permet d’évaluer toujours la même chose de la même façon: que l’on corrige des travaux à 7h ou à 19h ou que l’étudiant-e soit évalué-e par l’enseignant-e A ou l’enseignant-e B.

Une façon de diminuer la subjectivité de l’évaluation (sans nécessairement l’écarter totalement) est d’utiliser des grilles d’évaluation critériées. On trouvera une excellente introduction à cette stratégie de correction sur le site de Jon Mueller, professeur de Psychologie au North Central College et spécialiste des questions d’évaluation scolaire. On trouvera aussi un document plus conséquent du même auteur à cette adresse (PDF – 512Ko). Le principe d’une grille d’évaluation est d’établir une correspondance entre d’une part le résultat d’une tâche que l’on demande à un-e étudiant-e (un texte, une explication orale, une action précise dans un contexte professionnel, etc.) et d’autre part des critères de qualité de ce résultat fourni par l’étudiant-e accompagnés ou non d’une échelle à plusieurs degrés de performance. Un exemple typique:

Évaluation d’une recherche bibliographique en histoire
Critères Insuffisant (niveau 1) Bon (niveau 2) Excellent (niveau 3) % des points
Nombre de sources citées 1-4 5-10 + de 10 20%
Précision des faits historiques Beaucoup d’imprécisions Peu d’imprécision Pas d’imprécision apparente 40%
Organisation de la recherche Difficulté pour déterminer de quelle source proviennent les faits exposés Peu de difficulté pour déterminer de quelle source proviennent les faits exposés Pas de difficulté pour déterminer la correspondance entre les sources et les faits exposés 20%
Bibliographie Ne respecte pas les normes Quelques erreurs dans le respect des normes Pas ou peu d’erreurs dans le respect des normes 20%

Chaque ligne du tableau correspond à un critère d’évaluation qui permettra d’apprécier le texte fourni par les étudiant-e-s. Ces critères permettent de répondre à la question: sur quoi va porter mon regard lorsque je vais évaluer le texte des étudiant-e-s? Ce sont ces critères qui seront évalués et pas l’orthographe, la clarté de l’écriture ou tout autre critère plus subjectif. Chaque colonne correspond à un niveau de performance dans l’atteinte de chaque critère d’évaluation. Ces niveaux permettent de répondre à la question: à quoi ressemble un travail insuffisant et quelle est la différence avec un bon ou un excellent travail? Typiquement, un-e étudiant-e « qui est capable d’effectuer une recherche bibliographique en histoire » devrait atteindre le niveau 2 pour tous les critères.

La dernière colonne permet de pondérer les critères en fonction de leur importance par rapport à l’atteinte de l’objectif général (ici, la capacité à effectuer une recherche bibliographique en histoire) et de donner une note.

D’autres exemples sont accessibles dans les liens présentés plus haut, que ce soit pour des travaux écrits dans différents domaines d’étude, pour des présentations orales ou même pour évaluer la participation des étudiant-e-s en classe.

Pour revenir aux quelques questions que je posais plus haut, ce type d’outil d’évaluation permet dans une certaine mesure de diminuer la subjectivité de l’évaluation en ceci que l’enseignant-e évalue toujours les mêmes critères pour tous les étudiant-e-s (fiabilité) et que les critères sont normalement directement en lien avec l’objectif d’apprentissage à évaluer (validité). Cependant, la subjectivité ne disparaît pas totalement non plus. Dans l’exemple ci-dessus, il n’est certainement pas toujours facile de déterminer en toute objectivité que dans un travail donné « il y a beaucoup, peu ou pas de difficulté pour déterminer la correspondance entre les sources et les faits historiques exposés »… Il s’agira toujours pour l’enseignant-e d’interpréter de quoi les étudiant-e-s sont capables au travers du texte qu’ils/elles ont produit. Mais au moins, l’enseignant-e pourra dire pourquoi et argumenter auprès d’un-e étudiant-e qui ne comprendrait pas sa note finale par exemple.

Ceci dit, je n’ai parlé ici de l’usage des grilles d’évaluation que dans le cadre d’une évaluation sommative (en fin d’apprentissage) mais d’autres usages sont tout à fait possibles bien sûr, comme pour une auto-évaluation, une évaluation par les pairs ou comme fiche de feedback à remettre aux étudiant-e-s après une présentation orale par exemple. Je parlerai de ces autres types d’usages dans quelques prochains articles, et notamment de mes expériences d’accompagnement d’enseignant-e-s qui développent des grilles d’évaluation pour leurs cours.

Pour finir, voici les références d’un livre introductif mais très complet sur le sujet (de larges extraits sont consultables en ligne):

Stevens, D. D., & Levi, A. (2005). Introduction to rubrics. Sterling, VA: Stylus Publishing.

Read Full Post »

J’ai présenté il y a quelques temps un document intitulé « Le feedback pour favoriser l’apprentissage » préparé avec trois collègues de l’UNIL et du Centre de didactique universitaire de l’Université de Fribourg. Très récemment, nous avons eu l’occasion de présenter ce document à Lausanne lors d’un atelier d’une heure trente. Onze personnes ont participé, des enseignant-e-s et des assistant-e-s qui avaient des questions très variées à propos du feedback: accompagnement de mémoires, animation de séminaires, auto-évaluation, évaluation par les pairs, etc. mais aussi feedback aux enseignant-e-s dans le cadre de l’évaluation des enseignements. Nous avions préparé une session très interactive avec un temps de réflexion personnelle, des discussions par paires, une discussion en groupe et une synthèse générale.

Pour susciter la réflexion personnelle, nous avons préparé un questionnaire individuel (PDF – 140Ko) dont le but est de soutenir la réflexion sur ses pratiques actuelles de feedback et de se questionner sur d’autres pratiques possibles. Nous avons présenté cet outil de la manière suivante:

Le but des questions posées dans ce document est simplement de proposer une réflexion sur les pratiques de feedback aux étudiant-e-s à l’université et d’ouvrir des perspectives pour les développer. Il s’agit d’une boîte à idées issues d’enseignant-e-s universitaires plutôt que d’une liste de pratiques à mettre en œuvre. Chaque idée peut ensuite être adaptée à des situations variées.

Ensuite les questions sont réparties en sept thématiques qui correspondent à celles décrites dans le document de synthèse:

  1. Définir des critères pour clarifier les exigences attendues;
  2. Utiliser des stratégies pour améliorer la prise en compte du feedback par les étudiant-e-s;
  3. Délivrer une information de qualité;
  4. Soutenir la motivation des étudiant-e-s par le feedback;
  5. Comprendre le feedback comme un dialogue;
  6. Donner l’occasion à l’étudiant-e de s’auto-évaluer;
  7. Réguler son enseignement à l’aide du feedback.

La petite expérience vécue d’utilisation de ce questionnaire avec un groupe d’enseignant-e-s et d’assistant-e-s a été assez positive. Les discussions qui ont eu lieu ont été intéressantes notamment à propos de l’évaluation par les pairs (parce que les enseignant-e-s n’ont pas nécessairement à faire tout le travail de feedback seul-e-s) et de l’organisation de séminaires basés sur la présentation de travaux d’étudiant-e-s et de discussions (en particulier pour faire participer tou-te-s les étudiant-e-s aux discussions).

Read Full Post »

Older Posts »