Feeds:
Articles
Commentaires

Archives de la catégorie ‘Lectures’

Les livres de référence en pédagogie universitaire (et en français) sont plutôt rares si on compare avec la littérature sur la pédagogie de l’enseignement primaire et secondaire ou même avec le nombre de livres qui paraissent chaque année en pédagogie des adultes. Je parle ici des livres ou manuels introductifs à l’intention des enseignant-e-s du supérieur pour se former à l’enseignement. Personnellement, je les utilise régulièrement pour préparer des formations. Ceux qui me semblent les plus facilement abordables sont, par ordre alphabétique:

Parmi ces ouvrages, seulement deux sont en français. Mais depuis moins d’un mois, je peux y ajouter un troisième:

Berthiaume, D., & Rege Colet, N. (Eds.). (2013). La pédagogie de l’enseignement supérieur: repères théoriques et applications pratiques (Vol. 1). Berne: Peter Lang.

Il s’agit d’un livre collectif auquel ont participé 12 conseiller/ère-s pédagogiques et enseignant-e-s/chercheur-euse-s spécialisé-e-s dans l’enseignement supérieur. J’ai pu participer avec mes collègues à l’écriture de plusieurs des 20 chapitres qui composent cet ouvrage.

Pour situer l’intention générale du livre, voici quelques extraits de l’introduction (pages 2-3):

Le rôle de l’enseignant du supérieur a donc passablement évolué depuis les années 80. Ce rôle n’est plus de simplement exposer des notions reliées à son domaine d’expertise mais plutôt de concevoir des situations d’apprentissage lors desquelles les étudiants sont amenés à réfléchir aux notions présentées, à les utiliser, de façon à se les approprier. S’il était possible pour un professionnel et/ou un chercheur sans formation pédagogique de s’y retrouver dans un contexte d’enseignement "transmissif", la situation est beaucoup plus difficile dans un contexte où son rôle est d’accompagner l’apprentissage des étudiants. La tâche n’est définitivement pas la même!

Alors, comment aider les enseignants du supérieur à se développer au titre de professionnels de l’enseignement, parallèlement à leur développement dans leur domaine de spécialisation? Depuis les années 70, bon nombre d’institutions d’enseignement supérieur ont mis en place une structure de pédagogie (par exemple, centre de soutien à l’enseignement, centre d’innovation pédagogique, service de développement académique, service pédagogique ou didactique) visant à accompagner les enseignants dans leur développement. Ces structures organisent divers types d’activités allant de l’atelier de formation au conseil individuel, en passant par l’évaluation des enseignements par les étudiants ou la recherche sur l’enseignement et l’apprentissage. La logique d’intervention est rarement directive et certificative. Dans la plupart des cas, il s’agit de mettre à disposition des enseignants des ressources – humaines, documentaires, financières – pour les aider à se développer selon leurs propres besoins et aspirations. Comme tout professionnel, l’enseignant du supérieur se développe au fur et à mesure que se déroule sa carrière. Ce développement s’effectue par l’entremise de questionnements, d’explorations, de découvertes, de réussites et, parfois, d’échecs. Mais encore faut-il que l’environnement dans lequel oeuvre cet enseignant l’encourage à se développer… [...]

C’est donc pour venir en aide aux enseignants du supérieur qui se posent des questions et qui souhaitent approfondir leurs connaissances dans le domaine de la pédagogie de l’enseignement supérieur que nous avons développé le présent ouvrage. Nous souhaitions mettre à disposition de ces enseignants des ressources leur permettant de développer leurs compétences pédagogiques au moment où ils choisiraient de le faire et selon un rythme qui leur sera propre.

La table des matières est présentée sur le site de l’éditeur. Chaque chapitre commence par un cas pratique: un-e enseignant-e se pose une question ou est confronté-e à un problème pédagogique avec ses étudiant-e-s. Ensuite, en articulant éléments théoriques et exemples pratiques, les auteur-e-s proposent de répondre à cette question. Enfin, deux encarts synthétiques closent chaque chapitre, l’un pour les enseignant-e-s et l’autre à l’intention des conseiller/ère-s pédagogiques.

J’espère que ce livre trouvera sa place dans les institutions d’enseignement supérieur, que ce soit dans le bureau des enseignant-e-s ou celui des conseiller/ère-s! Un tome 2 est en préparation et se centrera sur le développement professionnel des enseignant-e-s du supérieur.

Read Full Post »

Depuis 2012, je donne un cours intitulé "Développer des communautés d’apprentissage pour soutenir le e-learning" à l’Université de Genève dans le cadre du CAS de formation continue "Conception et développement de projets e-learning". C’est une formation qui s’adresse à un public de formateur-trice-s provenant autant d’institutions publiques (universités, organisations internationales, etc.) que privées (entreprises, associations, etc.). C’est un public que me change beaucoup du monde universitaire et ce n’est pas pour me déplaire! Les trois objectifs du cours pour les apprenant-e-s sont:

  • Définir et décrire les principales caractéristiques des communautés d’apprentissage et de pratique
  • Concevoir la mise en place d’une communauté d’apprentissage/de pratique médiatisée
  • Prendre en compte les conditions nécessaires pour soutenir la participation et l’apprentissage dans un environnement médiatisé

J’ai déjà parlé des communautés de pratique sur ce blog. Il s’agit d’organiser, avec des enseignant-e-s volontaires, des rencontres régulières sur un thème d’enseignement. C’est l’occasion de partager ses expériences et ses questions pédagogiques, de trouver et partager des ressources pour son enseignement et de participer à la production de telles ressources avec des collègues. Dans le présent article, je partage le matériel que j’ai créé pour le cours "Développer des communautés d’apprentissage pour soutenir le e-learning". Celui-ci se déroule en trois temps:

  1. A distance: lecture de textes par les participant-e-s en préparation de la journée présentielle
  2. Journée présentielle: théorie, exercices, discussions, réflexion et préparation personnelle
  3. A distance: préparation d’un travail personnel écrit ou entretien oral

Les dias ci-dessous sont celles utilisées lors de la journée présentielle avec le déroulement, les exercices, les moments de réflexion personnelle et les moments consacrés aux discussions.

Au préalable, les participant-e-s lisent un des quatre textes proposés:

  • Bourgeois, E., & Nizet, J. (1997). Apprentissage et formation des adultes. Paris: PUF. (Chapitre 8)
  • (PDF – 84Ko) Daele, A. (2006). Animation et modération des communautés virtuelles d’enseignants. In A. Daele & B. Charlier (Eds.), Comprendre les communautés virtuelles d’enseignants : pratiques et recherches (pp. 227–248). Paris: L’Harmattan.
  • (PDF – 162Ko) Daele, A. (2009). Les communautés de pratique. In J.-M. Barbier, É. Bourgeois, G. Chapelle, & J.-C. Ruano-Borbalan (Eds.), Encyclopédie de la formation (pp. 721–730). Paris: PUF.
  • Henri, F., & Pudelko, B. (2006). Le concept de communauté virtuelle dans une perspective d’apprentissage social. In A. Daele & B. Charlier (Eds.), Comprendre les communautés virtuelles d’enseignants: pratiques et recherches (pp. 105–126). Paris: L’Harmattan.

Les deux textes dont je suis l’auteur sont téléchargeables ci-dessus en PDF dans des versions de travail non publiées.

Durant la journée présentielle, quelques moments sont consacrés pour que les participant-e-s travaillent à la conception d’une communauté de pratique ou d’apprentissage dans leur milieu professionnel. Cette réflexion est soutenue par l’utilisation d’un carnet de bord (PDF – 57Ko), une série de questions auxquelles ils/elles sont invité-e-s à répondre: les objectifs, le public cible, les outils, les activités, l’évaluation, etc. Ce sont les réponses à ces questions qui constituent le travail de réflexion personnelle (écrit ou oral) qui servira à l’évaluation des apprentissages des participant-e-s.

Pour trouver des idées pour l’organisation d’activités avec une communauté de pratique, le site de la Coopération Suisse au Développement est une mine d’or. Dans les dias, on trouvera des exemples variés de communautés de pratique (formateur-trice-s, enseignant-e-s primaires, etc.). Il y a aussi cet exemple avec des ingénieur-e-s de formation en entreprise qui utilisent une plate-forme dédiée aux communautés de pratique. Et je vous propose enfin de voir comment nous organisons des communautés de pratique avec les enseignant-e-s de l’Université de Lausanne.

Read Full Post »

Lorsqu’on commence à enseigner à l’université, on est en général étudiant au doctorat ou on vient de finir une thèse ou un post-doctorat sur un sujet extrêmement pointu. Une fois que l’on obtient un poste d’enseignant-e, il s’agit alors de prendre en charge un ou plusieurs enseignements qui sortent de sa spécialité stricte. A vrai dire, il est même plutôt rare d’enseigner exactement dans son sujet de thèse… Et c’est là que les angoisses commencent. Après une thèse, on est censé être un-e expert-e dans sa discipline mais on se rend bien compte qu’on ne maîtrise pas ‘toute’ la discipline, loin de là… Comment préparer un nouveau cours? Comment anticiper les questions des étudiant-e-s, qui pourraient éventuellement se rendre compte qu’on n’est pas tout à fait expert-e finalement…? Parce que pratiquement tou-te-s les enseignant-e-s universitaires se sont un jour ou l’autre posé ces questions, Therese Huston a publié en 2009 un livre intitulé "Teaching what you don’t know". La problématique visée par son ouvrage pourrait se résumer dans cet extrait (p. 29):

L’idée même d’enseigner ce qu’on ne connaît pas est certainement un peu dérangeante pour bon nombre d’enseignant-e-s universitaires. Le livre de Huston présente donc le double avantage de briser un tabou et de confronter les enseignant-e-s à la réalité: qui ne s’est jamais senti-e mal à l’aise face à un cours à donner? Et même quand on est un-e expert-e dans un domaine, on peut rencontrer des sujets particuliers avec lesquels on se sent moins en confiance. Par exemple, on peut être un-e enseignant-e de droit civil mais ne pas se sentir tout à fait à l’aise avec le droit du divorce. Ou se voir attribuer le cours d’histoire de l’art contemporain uniquement parce qu’on a réalisé une thèse sur Magritte…

Le livre de Huston propose donc quelques pistes pour préparer, planifier et dispenser un cours dans un domaine où l’on n’est pas expert-e. Le principe général de tous ses conseils est présenté dans cet extrait (p. 57):

Le but n’est donc pas nécessairement de présenter oralement aux étudiant-e-s tout ce qu’ils/elles doivent savoir mais de planifier des activités au cours desquelles les étudiant-e-s vont découvrir les grands lignes d’une discipline (dans le cas d’un cours de première année par exemple) ou explorer certaines thématiques spécifiques d’un domaine d’étude (dans un cours de Master par exemple).

Les conseils donnés par Huston rejoignent les conseils habituellement donnés dans d’autres manuels pour préparer un premier cours (par exemple dans Svinicki et McKeachie, 2011). En voici quelques-uns:

  • Trois mois avant le cours:
    • rassembler une bibliographie de base et établir une liste des principaux concepts ou théories qui devront être abordés dans le cours;
    • organiser éventuellement ces éléments dans une carte conceptuelle afin de déterminer plus facilement l’ordre dans lequel ils seront abordés tout au long de l’enseignement;
    • élaborer d’une part les intentions de l’enseignement et d’autre part les objectifs d’apprentissage visés;
    • choisir un ouvrage de base qui servira de manuel de cours pour les étudiant-e-s ainsi que quelques lectures principales, articles scientifiques ou chapitres d’autres ouvrages.
  • Deux mois avant le cours: élaborer le syllabus du cours en établissant la planification complète des activités, semaine par semaine, et en précisant les modalités d’évaluation à destination des étudiant-e-s.
  • Un mois avant le cours:
    • pour chaque séance, établir le programme et préparer le contenu (par exemple les dias à présenter, les exercices à organiser, les discussions à animer, etc.);
    • concevoir les activités que les étudiant-e-s devront réaliser entre les séances (lectures, exercices, cas ou problèmes à résoudre, etc.);
    • prévoir les usages éventuels de technologies (plate-forme d’enseignement, podcasts, etc.);
    • planifier le temps requis pour effectuer l’éventuel suivi des travaux des étudiant-e-s.

Huston ne cache pas la difficulté qu’il y a à enseigner un nouveau cours dans un domaine que l’on connaît peu mais elle ne cache pas non plus le fait que cela est très valorisant d’explorer un nouveau domaine, d’être amené à rechercher de nouvelles façons d’enseigner et d’éventuellement développer de nouveaux sujets de recherche. Ceci est très bien exprimé dans ce dernier extrait (p. 37):

Huston, T. (2009). Teaching What You Don’t Know. Harvard University Press.

Svinicki, M., & McKeachie, W. J. (Eds.). (2011). McKeachie’s teaching tips. Strategies, research, and theory for college and university teachers (13th ed.). Belmont, CA: Wadsworth.

Read Full Post »

Un texte récent paru en prépublication sur le site de la revue British Journal of Educational Technology a attiré mon attention en rapport avec une activité que je fais de plus en plus: l’observation de cours. J’avais déjà expliqué dans un article précédent comment je mène ces observations. Mais une question qui reste pour moi en suspens est celle de l’utilisation de la vidéo dans ce contexte et de son exploitation avec la personne observée. Il m’arrive relativement rarement de filmer les enseignant-e-s et lorsque c’est le cas, je n’exploite pas directement la vidéo avec eux/elles. Je leur laisse le soin de la visionner eux/elles-mêmes après le debriefing oral. Ceci ne me satisfait pas tout à fait dans la mesure où j’aimerais leur proposer un encadrement plus adéquat. En effet, dans la littérature sur le micro-enseignement, on conseille en général de ne pas laisser les enseignant-e-s seul-e-s face à leur vidéo, car cela peut être assez déstabilisant (Pelpel, 2003; Wagner, 1988). L’article de Tonya Tripp et Peter Rich sur l’usage de la vidéo par les enseignant-e-s pour développer leurs pratiques m’a permis de trouver quelques réponses à cette question. Il propose une analyse de 63 études sur le sujet ainsi qu’une liste intéressante de questions qu’un-e conseiller-ère pédagogique peut se poser pour concevoir une méthode d’accompagnement des enseignant-e-s.

Le but premier de l’article est de décrire comment la vidéo est utilisée avec des enseignant-e-s pour qu’ils/elles réfléchissent à leurs pratiques et les développent. Les résultats généraux montrent que l’usage de la vidéo dans ce but est globalement efficace mais les études utilisent la vidéo de façons tellement variées qu’il est difficile de savoir quelles pratiques sont les plus utiles et efficaces. Ce qui ressort seulement de la plupart des études, c’est que:

  • les enseignant-e-s préfèrent exploiter la vidéo en collaborant avec des collègues, par exemple en l’analysant ensemble, plutôt que seul-e-s;
  • il paraît important de trouver un équilibre entre des dimensions d’observation standardisées (celles que l’on peut trouver dans des grilles d’observation publiées dans la littérature par exemple) et des dimensions personnalisées (qui portent sur des questions très concrètes que les enseignant-e-s se posent dans leur classe);
  • les différents types d’exploitation de la vidéo après observation sont utiles mais il est difficile de savoir lesquels sont les plus efficaces.

Les deux auteurs de l’article proposent donc de classer les usages de la vidéo selon 6 dimensions.

  1. Dimension 1: type de tâche de réflexion proposée aux enseignants. Quatre types de tâches sont en général proposées aux enseignant-e-s pour exploiter la vidéo tirée de l’observation de leur cours:
    • Utilisation d’une checklist ou d’une liste de codes. Les enseignant-e-s sont invité-e-s à quantifier certains comportements précis en général dans le but de les entraîner par la suite. Cette liste est le plus souvent assez courte.
    • Réflexions écrites. Les enseignant-e-s prennent des notes personnelles, remplissent un journal de bord ou répondent par écrit à des questions précises. La vidéo est dans ce cas très utile, car elle permet de baser ses observations sur des faits et non uniquement sur des impressions personnelles.
    • Édition de vidéos pour produire un clip qui sera ensuite exploité avec un groupe de collègues ou un-e conseiller-ère.
    • Discussion libre avec des collègues ou des conseiller-ère-s.
  2. Dimension 2: guidage de la réflexion. Ce guidage peut se réaliser à l’aide de grilles d’évaluation, de checklists, de listes de questions de réflexion ou de catégories de codage lors du visionnement. Ces outils sont utiles car on remarque souvent que les enseignant-e-s, sans guidage, se focalisent sur de petits détails sans importance de leur prestation. Par contre, il paraît utile de discuter de ces outils avec les enseignant-e-s au préalable pour les affiner et définir leur utilisation.
  3. Dimension 3: réflexion individuelle ou collaborative. Si l’exploitation se fait individuellement par l’enseignant-e filmé-e, il est important de lui proposer des outils de guidage et de prévoir au moins un moment de discussion avec un-e conseiller-ère. L’exploitation de la vidéo en groupe, avec d’autres enseignant-e-s est jugée la plus utile par les enseignant-e-s eux/elles-mêmes. Cela semble aider en outre les jeunes enseignant-e-s à observer des aspects de leur enseignement qu’ils/elles n’auraient pas vus seul-e-s. Il est aussi envisageable de proposer une exploitation individuelle puis une discussion en groupe.
    Dans ces trois modalités différentes, il apparaît souvent que les enseignant-e-s novices ont tendance à faire davantage confiance aux commentaires d’un-e conseiller-ère pédagogique plutôt qu’à ceux de leurs collègues, même très expérimenté-e-s.
  4. Dimension 4: longueur de la vidéo. Dans les 63 études collectées par les auteurs de l’article, la longueur des séquences vidéos exploitées est très variable, mais il est difficile de savoir s’il s’agit d’un aspect important ou non pour favoriser la réflexion des enseignant-e-s. Il semble néanmoins que des séquences de 5 minutes choisies spécifiquement soient suffisantes. Tout dépend en fait des dimensions d’observation choisies et des objectifs du travail de réflexion.
  5. Dimension 5: nombre de réflexions. Le plus intéressant semble de proposer aux enseignant-e-s trois observations filmées successives avec chaque fois une exploitation et une discussion afin d’essayer d’observer une évolution dans les pratiques en classe. Mais cette modalité est très coûteuse en temps pour l’enseignant-e comme pour le/la conseiller-ère. Il est aussi difficile de savoir quel est le nombre optimal d’observations et de réflexions successives pour observer une évolution durable dans les pratiques.
  6. Dimension 6: mesure de la réflexion. La question qui se pose ici est "à quoi voit-on qu’une véritable réflexion a eu lieu chez les enseignant-e-s? quand peut-on dire qu’un-e enseignant-e est réflexif-ive?". Une "mesure" intéressante consiste à se dire qu’une bonne réflexion a eu lieu lorsque l’enseignant-e ne s’interroge plus sur ses pratiques d’enseignement mais plutôt sur l’apprentissage des étudiant-e-s… D’autres éléments peuvent être pointés: le changement de pratiques en classe, l’auto-évaluation de la capacité à réfléchir à sa pratique, la perception de l’efficacité par l’enseignant-e lui/elle-même, la précision de l’enseignant-e lorsqu’il/elle code sa prestation en vidéo, etc.

En conclusion, Tripp et Rich proposent 6 questions que les conseiller-ère-s pédagogiques pourraient se poser pour aider les enseignant-e-s à exploiter la vidéo de leurs séances de cours:

  1. Quel type de tâche proposer aux enseignant-e-s pour analyser leur vidéo?
  2. Quel cadre d’analyse proposer aux enseignant-e-s pour travailler avec leur vidéo?
  3. Faut-il organiser des séances réflexives individuelles, collaboratives ou les deux?
  4. Quelle longueur de vidéos exploiter?
  5. Combien de fois les enseignant-e-s devraient-ils/elles analyser leurs vidéos?
  6. Quelle méthode mettre en œuvre pour déterminer le bénéfice des enseignant-e-s suite au travail de réflexion avec la vidéo?

Personnellement, ce que je vais mettre en œuvre à la suite de cette lecture, c’est surtout de proposer plus systématiquement l’utilisation et l’exploitation de la vidéo avec les enseignant-e-s que je vais observer en classe et constituer une grille d’exploitation de cette vidéo, notamment pour que les enseignant-e-s puissent plus facilement "s’auto-observer" par la suite. Je réalise une dizaine d’observations par semestre ainsi qu’une trentaine de micro-enseignements lors des formations pédagogiques que nous organisons. Ces vidéos me permettraient de proposer un suivi plus long, mieux organisé et plus guidé pour conduire à des réflexions plus approfondies avec les enseignant-e-s.

Pelpel, P. (2003). Accueillir, accompagner, former des enseignants. Lyon: Chronique sociale.

Tripp, T., & Rich, P. (n.d.). Using video to analyze one’s own teaching. British Journal of Educational Technology.

Wagner, M. (1988). Pratique du micro-enseignement. Bruxelles: De Boeck.

Read Full Post »

C’est une question assez fréquemment posée de la part des enseignant-e-s à l’université. Quatre éléments m’amènent à aborder le sujet aujourd’hui.

  1. Tout d’abord une anecdote. Une enseignante avec qui j’ai travaillé au début du semestre pour préparer un nouveau séminaire m’a appelé récemment pour me faire part d’un conflit qu’elle rencontrait avec une étudiante. Cette enseignante avait décidé de demander aux étudiant-e-s de réaliser une lecture d’article avec synthèse et commentaire écrits en remplacement des séances auxquelles ils/elles n’avaient pas assisté. C’était une manière pour elle d’une part d’encourager les étudiant-e-s à venir au séminaire régulièrement et d’autre part de s’assurer que chacun-e d’entre eux/elles réalisent tous les apprentissages requis pour valider l’enseignement (il n’y a pas de note chiffrée à l’issue de ce séminaire mais une validation "réussi ou échoué"). Son conflit avec l’étudiante portait justement sur le travail de lecture "en plus" à réaliser par l’étudiante qui trouvait ce traitement injuste. Avec l’enseignante, nous avons surtout discuté de l’argument qui consiste à dire: "Si les étudiant-e-s ne viennent pas en classe et ne réalisent pas les travaux demandés, comment s’assurer qu’ils/elles ont développé les apprentissages visés par le séminaire, et dès lors comment valider pour eux/elles cet enseignement?". Aux dernières nouvelles, il ne semble pas que l’étudiante ait été pleinement convaincue par cet argument… :-)
  2. Ensuite un changement de règlement interne à l’Université de Lausanne. Depuis le début de ce semestre, le nouveau règlement général des études (PDF – 176Ko), dans son article 30, stipule que "Le contrôle de la fréquentation d’un enseignement par les étudiants, par exemple par le biais d’une "liste de présence", n’est pas un mode de validation. Ce contrôle n’est en principe pas autorisé". Ceci a interpelé un certain nombre d’enseignant-e-s qui se demandent dès lors comment procéder pour faire venir les étudiant-e-s en classe. En réalité, la raison d’être de cette règle est d’encourager les enseignant-e-s à davantage tenir compte de critères pédagogiques pour valider un séminaire plutôt qu’en se basant sur le seul critère de la présence physique en classe…
  3. Une particularité culturelle lausannoise. A l’Université de Lausanne, beaucoup d’étudiant-e-s considèrent que la notion de "liberté académique" se définit par le fait de pouvoir organiser ses études en toute liberté, notamment en choisissant ses cours ou en décidant d’assister ou non aux séances. Cette définition très localement ancrée n’existe dans aucune autre université (à ma connaissance) et n’est validée dans aucun document officiel ou règlement interne quelconque. Mais cela reste l’argument principal des étudiant-e-s quand les enseignant-e-s cherchent à leur expliquer qu’il peut s’avérer utile de venir au moins de temps en temps assister aux cours… Donc même si cette définition est un peu "exotique", elle fait partie du contexte lausannois et se retrouve souvent au centre des débats lorsque l’on aborde la question de l’absentéisme des étudiant-e-s en classe.
  4. Enfin, une lecture récente. Celle de l’article de Joyce Barlow et de Stephanie Fleischer "Student absenteeism: whose responsibility?" (2011). Ces deux chercheuses de l’Université de Brighton ont réalisé une revue de littérature et une étude dans leur institution pour comprendre les représentations des enseignant-e-s et des étudiant-e-s à propos de l’absentéisme en classe.

Cette recherche justement essaie de mettre en lumière les "responsabilités" de l’absentéisme des étudiant-e-s. A priori, on pourrait penser que enseignant-e-s et étudiant-e-s se renvoient cette responsabilité. Mais les causes de l’absentéisme sont plus complexes que cela. Cela pose aussi de nombreuses questions: faut-il rendre les cours obligatoires? Faut-il permettre aux étudiant-e-s de suivre les cours en différé grâce à la vidéo? Faut-il leur proposer d’autres travaux complémentaires lorsqu’ils/elles ne sont pas présent-e-s?… La revue de littérature de Barlow et Fleischer apporte plusieurs informations pertinentes pour répondre à ces questions. Tout d’abord, les auteures admettent que la présence au cours n’est pas une garantie que les étudiant-e-s vont apprendre. Néanmoins, dans les recherches consultées, il y a un lien positif entre présence au cours et réussite. Ensuite, l’absence d’un certain nombre d’étudiant-e-s à une séance peut provoquer un sentiment de malaise chez l’enseignant-e mais aussi chez les autres étudiant-e-s, ce qui peut conduire à une dynamique de classe moins favorable à l’apprentissage. Enfin, la mise à disposition de séquences vidéo du cours peut donner un faux sentiment de sécurité aux étudiant-e-s qui n’assistent pas aux séances (ceci peut d’ailleurs être mis en lien avec les recherches sur l’usage des podcasts). Cependant, les recherches ne montrent pas de différence de réussite entre les étudiant-e-s qui assistent au cours et ceux/celles qui se contentent du matériel mis à disposition en ligne.

Au vu de ces constatations, nous serions en droit de nous interroger sur la plus-value des cours à l’université (sans vouloir être inutilement provocant). A quoi peuvent servir les séances en classe s’il est possible d’apprendre tout autant sans y venir et de réussir ses examens?

Barlow et Fleischer mentionnent une notion que je trouve fort intéressante et qui témoigne très bien de la transformation des publics d’étudiant-e-s depuis une quinzaine d’années. Il s’agit de "l’engagement négocié". Cette notion suggère que la présence et l’implication des étudiant-e-s dans les cours n’est pas (ou n’est plus) un comportement qui va de soi. Actuellement, il y a un besoin de donner davantage de sens à la formation universitaire vis-à-vis de l’utilité des connaissances et compétences qui y sont développées, que ce soit dans une perspective professionnelle ou non.

La recherche menée par les auteures de l’article explore cet engagement négocié grâce à l’analyse des réponses à un questionnaire envoyé aux enseignant-e-s de leur université et à l’interview de 25 étudiant-e-s des deux premières années universitaires à propos de leur présence ou absence aux cours. Plusieurs résultats méritent d’être pointés ici:

  • Dans certaines sections, les cours sont rendus obligatoires (en médecine notamment ou dans les formations à visée professionnalisante) mais le contrôle des présences est quasiment impossible avec de grands groupes. Dès lors, un des enjeux pour les enseignant-e-s est de diminuer le plus possible le sentiment d’anonymat des étudiant-e-s (ceci est un conseil d’ailleurs souvent donné quand on enseigne à de grands groupes) en demandant aux étudiant-e-s de transmettre leur photo d’identité et leurs attentes vis-à-vis du cours en début d’année, en faisant intervenir le plus possible les étudiant-e-s en classe ou en insistant régulièrement sur le lien entre présence au cours et réussite.
  • D’un point de vue pédagogique, il est aussi possible de faire en sorte qu’il soit difficile de réussir l’examen sans être venu au cours, par exemple en basant les questions d’évaluation sur des exercices réalisés en classe, ou des discussions conduites avec les étudiant-e-s, ou des présentations faites par des expert-e-s invité-e-s, etc. Les travaux de groupe semblent être aussi un bon moyen d’impliquer les étudiant-e-s: ils/elles ressentent assez fortement une responsabilité vis-à-vis de leurs collègues pour la réussite du travail collectif.
  • Selon plusieurs enseignant-e-s, il n’est pas bon de rendre la formation universitaire trop "scolaire". Les étudiant-e-s ont besoin aussi d’apprendre l’autonomie et la responsabilité qui l’accompagne. Mais cet apprentissage constitue un vrai défi pour certain-e-s étudiant-e-s qui doivent apprendre à gérer leurs études mais aussi toute leur vie quotidienne. Sans compter que certain-e-s travaillent parallèlement à leurs études pour les financer. Ceci est une réalité dont les universités devraient peut-être davantage tenir compte.
  • Pour certain-e-s enseignant-e-s, la présence au cours n’est qu’une partie de l’expérience d’apprentissage des étudiant-e-s. Ils/elles cherchent aussi à proposer des travaux individuels ou de groupe intéressants à réaliser en dehors de la classe, ou des formes d’interactions variées, notamment par le biais d’une plate-forme d’enseignement en ligne.

Dès lors, pour répondre à la question "qui est responsable", Barlow et Fleischer citent entre autre certaines politiques institutionnelles qui peuvent être parfois trop laxistes ou trop contraignantes. Quelques règles souples, adaptables selon les types de cours et de contextes, pourraient aider à constituer un cadre général à la présence des étudiant-e-s en classe. L’exemple du nouveau règlement de l’université de Lausanne ne semble donc pas mauvais, même s’il mériterait d’être un peu plus explicite d’un point de vue pédagogique (en proposant des pratiques qui fonctionnent bien par exemple). D’un point de vue institutionnel, l’accompagnement des étudiant-e-s dans leurs premières années universitaires mériterait aussi davantage d’attention. Les auteures citent aussi comme responsables certaines pratiques d’enseignement, notamment celles qui proposent des usages peu réfléchis des technologies (la simple mise à disposition d’enregistrements ou de documents de cours par exemple qui n’apportent pas toujours une réelle plus-value pédagogique). Elles citent finalement les étudiant-e-s eux/elles-mêmes ainsi que leurs familles qui n’anticipent peut-être pas assez les difficultés d’apprentissage de l’indépendance et de l’entrée dans la vie adulte.

En définitive, tout le monde a une part de responsabilité… et les conseiller-ère-s pédagogiques aussi peut-être, même si Barlow et Fleischer n’en parlent pas… Nous pouvons notamment sensibiliser les enseignant-e-s à cette question et aux actions qu’ils/elles peuvent entreprendre dans leurs enseignements: se questionner sur la plus-value des cours en présence et de leur complémentarité avec des ressources et activités en ligne, réfléchir à des stratégies d’évaluation qui prennent en compte les activités réalisées en classe, ou développer des pratiques qui aident les étudiant-e-s à apprendre l’autonomie, surtout lors de la première année universitaire, pour travailler régulièrement, pour lire efficacement, pour collaborer avec les autres étudiant-e-s, etc.

Barlow, J., & Fleischer, S. (2011). Student absenteeism: whose responsibility? Innovations in Education and Teaching International, 48, 227-237.

Read Full Post »

A guide to Faculty Development est un livre collectif édité par Kay Herr Gillespie (dernière édition en 2010), professeure à la Colorado State University. Il constitue une référence de base pour les conseiller-ère-s pédagogiques, que ce soit pour mettre en place un service de pédagogie universitaire à un niveau institutionnel ou pour mener des entretiens de conseil avec des enseignant-e-s.

Le chapitre 9 est rédigé par Jill Jenson et s’intitule If I knew then what I know now: A first year faculty consultant’s top ten list. Cette conseillère pédagogique fait ici la liste des 10 conseils qu’elle aurait voulu recevoir le jour où elle a commencé à exercer ce métier… Son travail est essentiellement constitué d’observations en classe et d’accompagnement individuel mais j’adapte ses conseils à d’autres missions des conseiller-ères pédagogiques. Ils sont classés par ordre inverse d’importance.

10.- Connaître les limites de sa fonction. La plupart du temps, un cahier de charge de la fonction est rédigé et celui-ci sert à donner un cadre au travail quotidien des conseiller-ère-s. De même, les missions du centre de pédagogie universitaire sont souvent clairement mentionnées. Si des enseignant-e-s viennent avec des demandes qui sortent trop de ce cadre, il est souhaitable de réagir. Un exemple: des enseignant-e-s qui ne participeraient aux formations pédagogiques que pour obtenir des attestations de fréquentation ou des lettres de recommandation…

9.- Se préparer à travailler individuellement pour chaque enseignant-e et chaque situation. La plupart des situations (en particulier lors d’observations en salles de classe) sont différentes et demandent un traitement individualisé. Cela demande bien souvent un temps de préparation et une discussion préalable pour bien définir les objectifs de l’accompagnement. Personnellement, lorsque cela est possible, j’encourage les enseignant-e-s à travailler ensemble, ou avec leurs assistant-e-s. Cela les motive davantage et aide à créer une dynamique d’équipe autour de questions pédagogiques.

8.- Apprendre à observer une classe et à prendre des notes utiles pour le conseil. Se construire une méthode de travail efficace pour prendre des notes en classe ou lors de réunions est important. Il faudrait être en tout cas suffisamment efficace et précis pour que ses notes constituent un outil de travail utile lors des discussions avec les enseignant-e-s.

7.- Être à l’écoute des attentes des enseignant-e-s vis-à-vis de soi. Certain-e-s enseignant-e-s s’attendent à ce que le/la conseiller-ère soit très présent à leurs côtés et soit très proactif pour les conseiller. D’autres n’en ont pas besoin et ne demandent pas autant d’attention. Il est souvent utile de pouvoir parler de cela pour pouvoir prendre position vis-à-vis de chaque enseignant-e en toute sérénité.

6.- Évaluer régulièrement. Pour un nouveau cours, ou quand un cours a subi des modifications importantes, il est utile de l’évaluer de plusieurs façons: avec les commentaires des étudiant-e-s et/ou avec des observations en classe. Ceci permet d’aider les enseignant-e-s non pas uniquement sur base de discussions avec eux/elles mais aussi sur base de données à commenter et comprendre ensemble.

5.- Encourager, même si c’est difficile. Il est important de valoriser le positif, même si dans certains cas, c’est parfois difficile d’en trouver… Cela entretient la motivation de l’enseignant-e. Cela permet aussi d’accompagner l’enseignant-e à son rythme.

4.- Laisser l’enseignant-e lui/elle-même exprimer ce qu’il faudrait améliorer. Accompagner, c’est aussi laisser découvrir ce qui fonctionne bien ou moins bien, en posant des questions ou en attirant l’attention sur certaines observations. Cela permet à nouveau d’avancer au même rythme que l’enseignant-e sur des éléments maîtrisables à court terme.

3.- Garantir la confidentialité dans tous les cas. Ceci peut paraître évident mais il faut garantir cette confidentialité même quand on donne des exemples ou qu’on raconte des anecdotes en formation, même s’il est très tentant de raconter des histoires amusantes à propos de pédagogie universitaire, et même si la personne semble a priori d’accord…

2.- Retenir ceci: il ne s’agit pas de nous. La plupart du temps, les conseiller-ère-s pédagogiques sont aussi des enseignant-e-s. Il est important d’abandonner totalement sa casquette d’enseignant-e lorsqu’on accompagne une personne. Sinon, la tentation est parfois grande de parler de soi, de la façon dont on ferait "si on était à sa place", de sa propre expérience d’enseignement (dans une autre discipline), ou même de ses propres opinions à propos de la meilleure façon d’enseigner à l’université. Le danger alors est de ne pas comprendre le contexte personnel de l’enseignant-e qu’on accompagne ni ses représentations personnelles à propos de son rôle d’enseignant-e, et donc de ne pas l’aider de façon utile. Il faut parfois se forcer à considérer et reconsidérer l’enseignement dans le supérieur de plusieurs façons différentes.

1.- Développer une relation personnelle. L’essentiel du métier de conseiller-ère pédagogique est d’ordre relationnel, selon Jill Jenson. Il s’agit de construire une relation dans laquelle deux personnes apprennent à se comprendre et à collaborer pour atteindre un but commun.

En conclusion, l’auteure explique honnêtement et avec un brin d’humour qu’elle a parfois appris à appliquer tous ces conseils à ses dépens… Et elle souligne à quel point elle a elle-même beaucoup appris à propos de l’enseignement au contact des enseignant-e-s de son université.

Jenson, J. D. (2002). If I knew then what I know now: A first year faculty consultant’s top ten list. In K. H. Gillespie (Ed.), A guide to faculty development. Practical advice, examples and resources (pp. 92-98). San Francisco, CA: Anker Publishing Company, Inc.

Read Full Post »

"Quelle est la portée de nos actions de conseillers et conseillères pédagogiques?", tel est le thème du prochain BSQF dont j’ai fait l’annonce récemment. Derrière cette question se situent d’autres interrogations à propos de nos approches et méthodes de travail, de nos relations avec les enseignant-e-s et l’institution en général, de notre efficacité, etc.

Sans anticiper sur les résultats de ces réflexions que nous mènerons en octobre prochain, j’aimerais signaler la parution récente d’un livre sur ce sujet: Evaluating the effectiveness of academic development: principles and practice édité par Lorraine Stefani.

Le livre débute par un avant-propos d’Angela Brew qui nous confie une anecdote à propos de son métier de conseillère pédagogique:

A few months ago I was at a conference on student learning where I met an academic I hadn’t seen for over 15 years. He seemed especially pleased to see me. ‘You know’, he said, ‘you changed my life!’ Smiling and nodding, he told others around him: ‘I wouldn’t be here today if it hadn’t been for her.’ I’m not telling this brief tale to blow my own trumpet. This is what academic developers do. They change people’s lives. Many, if not most, could probably tell a similar story. The normal business of academic developers is to bring about change. Yet this kind of transformation is not captured in institutional measures, evaluations and reports of effectiveness. Academic development is an altruistic pursuit, often going unrecognised and unrewarded. But the effects on individual academics can be profound.

Je trouve l’anecdote assez significative: les conseiller-ère-s pédagogiques changeraient la vie professionnelle des enseignant-e-s de l’enseignement supérieur… Plus modestement peut-être, je dirais juste qu’on peut aider les enseignant-e-s à apprendre à enseigner et à développer leurs compétences dans ce domaine… et si on considère que l’apprentissage est une forme de changement, alors oui, on devrait changer un peu leur vie d’enseignant-e.

Mais que change-t-on exactement? Dans quelle mesure? A quel niveau d’action des enseignant-e-s? Ceux/celles-ci apprécient-ils/elles nos interventions? Qu’apprennent-ils/elles à notre contact? Leurs enseignements s’en trouvent-ils améliorés? Ce sont touts ces questions qui seront au cœur de nos débats en octobre prochain à Leysin.

Dans le chapitre 2 du livre dont je parle ici (p. 26), Shelda Debowski propose un cadre d’analyse pour évaluer les "impacts" des actions des conseiller-ère-s pédagogiques sur la formation des enseignant-e-s, la communauté universitaire et l’institution elle-même. Cela donne pas mal d’indications sur nos actions, les niveaux sur lesquels nous agissons dans nos institutions et les méthodes possibles pour évaluer ces actions:

Evaluating Academic Development Educational, Community and
Institutional Impacts
Focus Example of activities Evaluative methods/ indicators
Educational role
Entry-level capabilities, e.g. teaching,
research, management skills, elearning
Educational programmes

Graduate certificate qualifications

Self-selected workshops

Mentorship schemes

Website support

Online learning

Teaching excellence submissions support

Grant-seeking assistance

Inputs

Hours of development offered

Participant feedback/ satisfaction

Participation in programmes and activities

Expenditure on academic development activities

Outputs

Increased quality of participant work/ submissions

Submission success rate

Supervisor feedback on changes in practice/ outcomes

Increases in student ratings/ feedback on individual’s work
activities

Pre-test/ post-test of participant knowledge, skills, attitudes and
work patterns

Community engagement (influencing and culture
setting)
Cohort (role-based) networks and learning

Local community support

Leadership/ role-based programmes

Customised support/ bespoke programmes

Case studies

Peer exchange and learning

Communities of practice support and brokering

Cross-disciplinary peer learning projects

Role-based forums

Website guidance

Online forums

Inputs

Hours of support provided

Participation of target audience in programmes, communitiesof
practice

Activity costs and expenditure

Outputs

Changes to leadership/ community of practice

Shared strategies and resources

Completed projects

Changes to systems/ practcices

Pre-test/ post-test measures

Measures of staff engagement

Student experience feedback

Focus groups/ interviews

Self-report surveys

Attitudinal surveys

Experiential stories

Number of areas that have adopted new practices

Institutional influence (organisational
transformation)
Organisational development

Organisational change

Cultural change

University forums

Staff retreats

Policy development

System enhancement

Website development

Guidelines

Project management/ delivery

Peer-learning projects

Inputs

Hours of development

Staff participation/ engagement

Outputs

Project outcomes

Policy implementation/ adoption

Cultural analyses/ surveys

Action research

Student engagement metrics

Staff engagement metrics

Institutional performance

Voilà donc de quoi nous occuper pendant quelques mois jusqu’en octobre où nous pourrons échanger avec nos collègues sur ces sujets.

Read Full Post »

Pour contribuer davantage à la réflexion sur l’innovation pédagogique à l’université suite à la précédente note sur le sujet, j’aimerais proposer en lecture quelques extraits du livre de Brigitte Albero, Monique Linard et Jean-Yves Robin intitulé "Petite fabrique de l’innovation à l’université" paru en 2008.

Je précise d’emblée que je trouve ce livre vraiment remarquable à plusieurs points de vue. D’abord par son approche en profondeur du sens et du vécu de l’innovation pédagogique à l’université par quatre enseignant-e-s. Ensuite par sa méthodologie où les interviews et la démarche longitudinale contribuent vraiment à comprendre l’innovation, comment elle se construit au quotidien au sein d’une institution. Et enfin par son style d’écriture: j’ai envie de dire que ça se lit comme un roman, ou comme un grand reportage. C’est très accessible pour un large public mais en même temps, les nombreuses notes de bas de page permettent de connaître le contexte ou de donner des références complémentaires.

Je prends juste trois extraits. J’aurais pu en prendre d’autres mais pour moi, ils sont significatifs de la réalité quotidienne de l’innovation pédagogique. Celle-ci, contrairement à ce qu’on croit souvent, ne "s’invente" pas un beau jour par un-e enseignant-e qui a tout à coup une "idée géniale". Non, il s’agit plutôt d’une construction, d’une fabrication artisanale, quotidienne et patiente qui se nourrit de différentes expériences préalables.

Ainsi qu’il a été constaté, les interviewés entretiennent un rapport paradoxal aux technologies et à leur activité: en ce qui concerne l’innovation, ils ne se définissent pas spontanément comme des innovateurs; pour ce qui est des technologies, ils en parlent peu, alors qu’elles sont au cœur des dispositifs qu’ils ont mis en place; quant à leur activité, ils la déploient selon une logique entrepreneuriale qui tend, alors même qu’ils s’en défendent, vers une certaine forme d’industrialisation de la formation universitaire. (p. 171)

Ce premier extrait pourrait en choquer plus d’un-e… Pas par le fait que l’innovation ne vient manifestement pas de l’usage de nouvelles technologies, ou en tout cas pas directement. Mais plutôt par le fait que la logique de l’innovation est l’adaptation à un contexte qui évolue. Et le contexte de l’université évolue effectivement. Avec davantage d’étudiant-e-s, qui ont des compétences et des motivations préalables très variées, qui sont issu-e-s de milieux socio-économiques de plus en plus diversifiés, etc. Les innovations pédagogiques cherchent apparemment à s’adapter à ce contexte, à la fois en tenant compte du grand nombre mais en même temps de la diversité des étudiant-e-s. Et c’est un fameux défi que de s’adapter à un grand nombre en même temps que de s’adapter aux besoins particuliers de chacun-e…

Ce second extrait confirme ce qui vient d’être dit:

Les interviewés partagent explicitement une vision et une conception précise de leur mission d’enseignants. Ils affirment de façon réitérée une même vision professionnelle qui consiste à se mettre aussi bien au service d’un public particulier d’étudiants que du public plus général, ensemble de tous ceux qui souhaitent s’instruire et se former. Ils décrivent ainsi, en creux, le rôle et la place qu’occupe pour eux l’université dans le système social: un lieu ouvert de formation intellectuelle et culturelle qui doit trouver des solutions pratiques au difficile problème de l’enseignement de masse individualisé. (p. 166)

Et finalement, quelle est la fonction de l’innovation pédagogique à l’université? C’est de s’adapter à un contexte changeant, oui, mais c’est aussi bien plus que ça:

Plus largement, l’analyse compréhensive montre qu’en tant que transformation à visée améliorative, l’innovation pragmatique ordinaire est une action d’abord réformatrice et adaptative. Elle ne cherche pas la rupture brutale ni la destruction des structures existantes. Même subversive, elle vise moins à rompre les règles et les habitudes qu’à en améliorer l’efficacité. Son ingéniosité, souvent utilitaire à l’origine, ne s’élargit à l’altruisme et à la créativité sociale que par la vision et la conviction des acteurs. (p. 201)

Dans ce dernier extrait, on comprend mieux la recherche d’utilité et d’efficacité des enseignant-e-s innovateur-trice-s. Et on comprend mieux que les universités ont intérêt à être attentives et à l’écoute de ces enseignant-e-s pour se développer en tant qu’institution de service. Plusieurs mécanismes sont de plus en plus mis en œuvre dans l’enseignement supérieur pour soutenir et développer des projets innovants, notamment via les subventions (comme le Fonds d’Innovation Pédagogique à Lausanne) et la valorisation de ce type de projet dans les carrières des enseignant-e-s via des publications ou les dossiers d’enseignement (PDF – 58Ko) ou de "valorisation pédagogique" (à l’Université catholique de Louvain).

Albero, B., Linard, M., & Robin, J. (2008). Petite fabrique de l’innovation à l’université. Quatre parcours de pionniers. Logiques sociales. Paris: L’Harmattan.

Read Full Post »

En novembre dernier, j’ai été amené à animer une formation d’une demi journée sur le thème de l’examen oral. Sur base d’une précédente formation préparée par mon collègue Denis Berthiaume, j’ai articulé mon intervention autour d’un article de Gordon Joughin (1998). Ce conseiller pédagogique australien propose un texte assez complet sur un sujet relativement peu étudié en pédagogie universitaire.

Il faut d’abord savoir que l’examen oral en tant que forme d’évaluation particulière des apprentissages des étudiant-e-s n’est pas considéré de la même manière selon les cultures universitaires. Dans nos pays francophones européens, l’examen oral a un prestige tout particulier. Dans certaines facultés et sections, on n’imagine pas d’autres façons d’évaluer les étudiant-e-s. En France, il existe même ce qu’on appelle le "Grand Oral", surtout dans les sections de sciences politiques et de droit, où les candidat-e-s doivent préparer un sujet tiré au sort et le présenter oralement devant un jury, par exemple pour obtenir leur diplôme, ou pour avoir le droit d’effectuer des stages. Les modalités particulières de cet examen intégré (c’est-à-dire portant sur plusieurs cours ou l’ensemble d’une année d’étude) varient fortement d’une université à l’autre. Il existe aussi parfois le "Petit Oral", pour les étudiant-e-s qui n’ont pas obtenu les notes suffisantes pour passer directement le Grand Oral ou comme examen d’entrée pour être admis-e dans une formation… A l’opposé, la pratique de l’examen oral existe relativement peu dans le monde anglo-saxon. Sur le ton de la boutade, un collègue québécois m’a un jour dit: "l’examen oral, c’est pour les étudiant-e-s qui se sont cassé les deux bras au ski"… C’est presque vrai.

Pour décrire l’examen oral, Joughin (1998) propose six dimensions qui sont abordées dans la littérature sur le sujet:

  1. Contenu. Quels savoirs ou quelles compétences sont visés par l’examen oral? On peut bien sûr évaluer des connaissances factuelles grâce à un examen oral mais il serait utile alors de savoir d’abord si les mêmes connaissances ne pourraient pas être évaluées plus efficacement au moyen d’un examen écrit… L’examen oral constitue un moyen efficace pour évaluer la compréhension d’un sujet par les étudiant-e-s et la façon dont ils/elles résolvent un cas ou solutionnent un problème. Mais c’est surtout un moyen bien adapté pour évaluer la capacité à interagir (par exemple, un-e étudiant-e en médecine avec des patient-e-s), les compétences liées à la conduite d’une interview ou des compétences socio-affectives comme la confiance en soi ou la résistance au stress.
  2. Interaction. De quelle nature est l’interaction entre l’étudiant-e et l’évaluateur/trice? Dans certains cas, c’est l’étudiant-e qui va faire une présentation orale qui sera jugée par l’évaluateur/trice. Dans d’autres cas, il s’agira davantage d’une discussion où l’étudiant-e sera amené-e à répondre à des questions et à entrer dans un dialogue. Mais l’influence réciproque qui se joue alors entre l’étudiant-e et l’évaluateur/trice constitue un des biais possibles de cette forme d’évaluation… Dans d’autres cas encore, présentation orale et discussion peuvent avoir lieu ensemble, comme dans un jury de thèse par exemple.
  3. Authenticité. La situation d’évaluation est-elle proche d’une situation professionnelle réelle? Plusieurs situations peuvent être envisagées. Une situation décontextualisée serait un examen oral dans le bureau de l’enseignant-e ou la défense d’une thèse. A l’opposé, une situation contextualisée pourrait être l’observation d’un-e étudiant-e en train de réaliser une expérience de laboratoire ou en interaction avec un-e professionnel-le sur un lieu de stage. On peut penser aussi à une réflexion orale d’un étudiant-e à propos d’un vécu de stage par exemple. On préférera en général évaluer les étudiant-e-s dans une situation authentique si les compétences à évaluer sont complexes ou liées à des savoir-faire professionnels.
  4. Structure. Les questions posées sont-elles préparées à l’avance ainsi que l’ordre dans lequel elles sont posées? Avec une structure fermée, les questions et leur ordre ne sont pas influencés par les réponses de l’étudiant-e. Ceci permet en général une meilleure fiabilité de l’évaluation. Mais la structure peut être aussi ouverte s’il s’agit par exemple d’interroger les étudiant-e-s à propos de leurs arguments sur un sujet ou à la suite d’un stage pratique.
  5. Évaluateur/trice-s. Qui évalue et la situation d’évaluation est-elle publique ou non? La ou les personnes qui évaluent peuvent être l’étudiant-e lui/elle-même, les pairs, l’enseignant-e ou un groupe d’expert-e-s. Dans chaque cas, on peut aussi réfléchir au caractère public de l’évaluation. Beaucoup de défenses de thèse comportent un aspect public ou sont même parfois entièrement publiques. L’auto-évaluation et l’évaluation par les pairs sont utilisées en général dans le cadre d’évaluations formatives pour préparer les étudiant-e-s à un examen final ou à la rédaction d’un texte final.
  6. Oralité. L’évaluation est-elle exclusivement orale ou complémentaire à d’autres formes de communication? L’oral peut par exemple se dérouler à propos de la réalisation d’un travail écrit ou après une performance pratique (c’est le cas pour les futur-e-s enseignant-e-s qui sont observé-e-s en salle de classe avant de rencontrer leur enseignant-e). L’oral peut aussi accompagner une autre action comme la manipulation d’une machine ou d’outils.

Selon Joughin, l’examen oral a pour avantage d’amener les étudiant-e-s à expliciter davantage que dans un écrit leur compréhension d’une matière. Mais cette forme d’examen est parfois mal préparée et conduite, ce qui fait qu’elle a la réputation parmi les étudiant-e-s d’être fort subjective. Pour éviter ces biais, Morisette (1996) propose quelques conseils:

  • Il est important de réfléchir à l’utilité de l’examen oral et d’y avoir recours si les apprentissages visés par l’évaluation ne peuvent pas être évalués par écrit.
  • Si plusieurs examinateur/trice-s sont impliqué-e-s, il est important de les former à l’observation et à la conduite de l’entretien et de discuter avec eux/elles des critères d’évaluation. Dans beaucoup d’universités suisses, un-e "expert-e" (en fait un-e autre enseignant-e ou un-e assistant-e) est présent-e lors des examens oraux mais son rôle est souvent peu défini et se cantonne parfois à une simple tâche d’observation ou de contrôle de la procédure.
  • Si c’est possible, prévoir deux séances d’évaluation avec des examinateur/trice-s différent-e-s aide à améliorer la fidélité de l’épreuve.
  • Il est vraiment utile de préparer les étudiant-e-s à l’examen oral afin de réduire leur stress et qu’ils/elles fournissent ainsi une performance aussi représentative que possible de leurs véritables compétences. Ceci aide à améliorer la validité de l’épreuve. Pour ce faire, organiser des discussions en classe au moment des cours constitue une méthode efficace de préparation.
  • On prend rarement le temps de le faire mais cela peut s’avérer vraiment utile: tester les questions et procédures d’évaluation avant de les utiliser permet d’éviter les hésitations et de rendre la conduite de l’examen plus équivalente d’un-e étudiant-e à l’autre.
  • Pendant l’examen, il est toujours conseillé de prendre des notes, voire même d’utiliser une liste de critères d’évaluation à cocher ou une grille. Ceci permet d’évaluer tou-te-s les étudiant-e-s selon les mêmes critères et de garder une trace de l’examen dans le cas où des étudiant-e-s voudraient des précisions complémentaires à propos de leur note.

Pour finir, je partage ici deux petits outils. Le premier peut aider à réfléchir aux 6 dimensions de l’examen oral en proposant une série de questions à se poser (PDF – 20Ko). Le second propose aussi une série de questions à se poser pour préparer un examen oral, assurer sa conduite et réaliser son suivi (attribution d’une note et feed-back à l’étudiant-e) (PDF – 36Ko). Ces deux documents ont été préparés par Denis Berthiaume. Merci à lui!

Joughin, G. (1998). Dimensions of Oral Assessment. Assessment & Evaluation in Higher Education, 23(4), 367-378.

Morissette, D. (1996). Évaluation sommative. Montréal, QC: Éditions du Renouveau Pédagogique.

Read Full Post »

Le site EducPros.fr publie ce mois-ci un dossier intitulé "Innovations pédagogiques: l’enseignement supérieur autrement". Voici son premier paragraphe:

Si l’on s’en tient à la définition usuelle, innover consiste à introduire quelque chose de neuf dans un contexte bien établi. Qu’est-ce alors innover dans le domaine de l’enseignement supérieur ? Mettre en place un système d’apprentissage allant à l’encontre de la doxa habituelle ? Cela se traduit, au sein des établissements, par de multiples expériences, portées par des équipes d’enseignants motivés. Au cas par cas, en fonction des matières et du public, il s’agit de s’adapter, d’inventer de nouveaux outils. Avec un objectif : faire autrement pour faire mieux. Innovation ou changement des pratiques pédagogiques ?

C’est l’occasion de s’interroger sur ce qu’on entend généralement par "innovation pédagogique". Je me souviens de la définition donnée par Bernadette Charlier et Daniel Peraya en 2003:

Il s’agit d’une transformation, d’un changement effectif et pas seulement l’idée ou le projet de changement. Cette transformation peut être apportée par des acteurs différents et s’effectuer à un niveau local ou global . Cette transformation devrait avoir des effets positifs (amélioration de l’efficacité du système).

Dans certaines universités, l’innovation est encouragée, voire même récompensée. Ici à Lausanne, le Fonds d’Innovation Pédagogique finance chaque année des projets d’enseignant-e-s. Pour 2011, 20 projets ont été retenus en provenance de toutes les facultés. Le résumé de ces projets est proposé en lecture sur le site. Personnellement, j’accompagne trois de ces projets cette année et j’essayerai de parler un peu de leurs thématiques dans les prochains mois.

Innover, ce n’est donc pas juste "ajouter du neuf", c’est aussi améliorer, changer, et donc "apprendre". C’est ce que je souhaite à tou-te-s pour 2011!

Charlier, B., & Peraya, D. (Éd.). (2003). Technologie et innovation en pédagogie: dispositifs innovants de formation pour l’enseignement supérieur. Brussels: De Boeck Université.

Read Full Post »

C’est plutôt rare, mais cette note s’adresse aux conseiller-ère-s pédagogiques plutôt qu’aux enseignant-e-s. Ces dernier-ère-s sont cependant comme d’habitude bienvenu-e-s :-)

Parmi les activités des conseiller-ère-s pédagogiques, il en est une dont on parle relativement peu à côté de la formation des enseignant-e-s, l’évaluation des enseignements ou la recherche. Il s’agit du conseil pédagogique. Cette activité occupe, je pense, une part non négligeable de notre temps de travail mais il me semble qu’elle reste assez informelle et peu documentée. Lors du dernier BSQF en 2009 (rencontres francophones des conseiller-ère-s pédagogiques), ceci était apparu de façon assez claire dans la mesure où nous étions d’accord sur certains principes d’action comme l’écoute, l’accompagnement des projets des enseignant-e-s, le respect de leurs orientations pédagogiques, etc. mais sans avoir toujours tous les outils de communication adéquats pour mener au mieux des entretiens de conseil. Dès lors, depuis ces rencontres qui ont eu lieu il y a tout juste un an, j’ai suivi deux formations courtes: l’une avec Myriam Germain-Thiant intitulée "L’entretien-conseil" (merci aux collègues de Grenoble pour l’organisation!) et l’autre avec Valérie Jacquérioz-Brissaud intitulée "Communiquer: écouter et se faire entendre". Le contenu de ces formations portait sur la communication inter-personnelle, et plus particulièrement pour la première dans un cadre de conseil ou d’expertise.

J’essaie de présenter dans cet article les notes que j’ai prises sous la forme de quelques outils à mettre en œuvre plus systématiquement et de façon plus consciente. M’efforcer de réécrire ces notes m’a en tout cas permis d’y voir plus clair dans ma pratique et de formaliser ce que je fais parfois trop intuitivement. Le livre de Myriam Germain-Thiant (2001) constitue par ailleurs un très bon point de départ certainement plus complet.

Une précision encore pour que le contexte soit clair: je parle ici des entretiens individuels ou d’équipe que l’on peut avoir avec des enseignant-e-s, que ce soit pour un conseil pédagogique ponctuel suite à une question particulière ou à l’évaluation d’un enseignement ou pour un travail plus conséquent sur un projet pédagogique.

  1. Myriam Germain-Thiant a tout d’abord attiré notre attention sur l’importance de fixer des objectifs précis aux rencontres de conseil avec les enseignant-e-s. Ceci paraît évidemment trivial mais c’est le point de départ et ce n’est pas dérangeant de le rappeler. Ces objectifs ne sont en fait pas toujours clairs pour les enseignant-e-s ni pour les conseiller-ère-s, par exemple si l’entretien fait suite à une évaluation d’enseignement. Il nous a paru d’ailleurs important de définir les objectifs de façon collaborative en ayant pour cadre l’idée d’une coopération entre enseignant-e et conseiller-ère pour initier un processus de réflexion et/ou de changement à propos du processus d’enseignement-apprentissage.
    Ce travail autour de la définition d’un objectif et d’un "vers où on va" ensemble est l’occasion aussi de:

    • Clarifier le vocabulaire: En tant que conseiller-ère, on a parfois tendance à utiliser du jargon pédagogique ("évaluation formative", "ECTS", "constructivisme", "APP", etc.) qu’il faut expliciter.
    • Clarifier notre posture: Si notre mandat d’accompagnement n’est pas suffisamment explicite, c’est le moment de préciser "qui nous envoie" et "pour qui ou quoi on travaille".
    • Clarifier le processus: Il s’agit d’expliquer comment l’entretien va se dérouler, par quelles étapes on va passer et ce qui se passera après l’entretien pour mettre en œuvre ce qui aura été décidé.

    Cette discussion préalable permet aussi de répondre à toutes les questions de l’enseignant-e et en même temps d’adapter notre écoute et notre attitude à la situation.

  2. Le recours au cadre de l’apprentissage réflexif (Schön) ou de l’apprentissage expérientiel (Kolb) est un bon outil pour mener un entretien, que celui-ci se déroule à la demande de l’enseignant-e ou, dans certaines institutions, suite à une évaluation d’enseignement. J’ai déjà parlé de Kolb dans ce blog mais j’aimerais y revenir pour définir grosso modo quatre étapes de travail:

    • Dans un premier temps, il s’agit de parler de l’expérience d’enseignement vécue (Expérience concrète): que s’est-il passé, dans quelles circonstances, quelles étaient les intentions de départ, qui était impliqué, comment l’événement a-t-il été vécu par les différentes personnes impliquées, etc.? Il arrive que cette étape se déroule trop rapidement. Or, décrire la pratique dans tous ses détails est essentiel pour tenter par la suite d’identifier des hypothèses explicatives à ce qui a bien fonctionné ou moins bien fonctionné dans l’expérience vécue.
    • Vient ensuite l’étape de l’analyse (Observation réflexive): pourquoi cette expérience s’est-elle déroulée ainsi, qu’est-ce qui, en particulier, a pu poser problème ou qu’est-ce qui a facilité la séance de cours, comment expliquer ce qui s’est passé, etc.? Il s’agit ici de réfléchir à sa pratique en émettant des hypothèses pour comprendre ce qui s’est passé.
    • A la troisième étape, on tente de dégager ensemble des explications plausibles (Conceptualisation abstraite): quels principes pédagogiques peut-on dégager de la réflexion, quelles études ou théories permettraient de comprendre l’expérience vécue, etc.? Les conseiller-ère-s, dans cette phase, sont souvent amenés à puiser dans leur expérience pour aider à trouver des pistes de compréhension en présentant notamment des exemples d’autres situations semblables.
    • Dans la quatrième phase, on s’oriente à nouveau vers l’action (Expérimentation active): que peut-on faire autrement, qu’est-ce qui va être essayé ensuite, pourquoi, etc.? Il s’agit alors de se projeter dans la prochaine intervention ou le prochain cours en identifiant ce sur quoi l’enseignant-e voudrait travailler en particulier. Il s’agit ici de prendre une décision et de dégager des priorités.

    Pour moi, ces quatre étapes définissent davantage un travail de collaboration plutôt qu’uniquement un travail de conseil, dans le sens où l’analyse et la réflexion sur l’action sont menées conjointement, entre le/la conseiller-ère et l’enseignant-e. Mais je pense que je reviendrai plus en détails sur ce point dans une note ultérieure.

  3. Un troisième outil a davantage trait à la communication inter-personnelle: c’est la reformulation, qui est le témoin en fait de l’écoute active et participative dans l’entretien. Il s’agit de témoigner à la personne à qui on s’adresse d’une écoute et d’une présence totale à sa parole "sans induction ni distorsion de celle-ci" (Germain-Thiant, 2001, p. 49). La reformulation permet ainsi de s’assurer que la parole de l’autre a bien été comprise et de proposer un miroir à la personne qui s’exprime pour réfléchir à ce qu’elle raconte et pour aller plus loin dans sa réflexion. En tant qu’éducateur de formation à la base, c’est évidemment quelque chose qui n’était pas inconnu pour moi mais j’ai trouvé intéressant de recadrer cet outil dans une relation de conseil/accompagnement plus spécifique.
    Il y a cinq types de reformulation (Germain-Thiant, 2001, p. 49):

    • "reformulation-itérative qui renvoie à l’exprimant ce qu’il vient de dire dans les mots qu’il a employés;
    • reformulation-synthèse qui renvoie à l’exprimant ce qu’il a dit de manière condensée;
    • reformulation sur le vécu qui renvoie à l’exprimant le sentiment qui l’anime quand il s’exprime sur tel sujet;
    • reformulation questionnante qui renvoie à l’exprimant ses propos sous forme d’une question dont la réponse lui appartient;
    • reformulation-liaison qui suggère à l’exprimant un lien avec un de ses propos tenus précédemment."

Ces quelques outils et réflexions peuvent paraître "aller de soi" mais pour moi, c’est toujours un bon exercice de formaliser ce que je fais, dis, pense, crois… Ça me permet d’aller plus loin. Et d’ailleurs, ça me donne une idée de prochaine note sur la vision qu’ont certain-e-s enseignant-e-s à propos de notre rôle de conseiller-ère pédagogique…

Germain-Thiant, M. (2001). (Se) former à l’entretien. Lyon: Chronique sociale.
Kolb, D. A. (1984). Experiential Learning. Experience as the source of learning and development. Englewoods Cliffs, NJ: Prentice-Hall.

Read Full Post »

La triche

Dans de nombreuses universités, les examens de "rattrapage" (ou de "troisième session") battent leur plein juste avant la rentrée académique. C’est peut-être opportun de parler d’un phénomène dont tout le monde parle, enseignant-e-s comme étudiant-e-s, mais qui reste très méconnu dans son ampleur et ses multiples formes: la triche. Une étude internationale a été publiée récemment sur le sujet par Aurora Teixeira et Maria Rocha (Teixeira & Rocha, 2010). Ces deux chercheuses portugaises ont eu pour objectifs dans leur article de circonscrire ce qu’on entend généralement par "la triche" à l’université puis de mener une vaste étude internationale pour comparer les pratiques et attitudes des étudiant-e-s face à ce phénomène. Elles se sont focalisées en particulier sur les étudiant-e-s dans les facultés d’économie et d’études commerciales avec le postulat suivant. A priori, on s’attend de la part des diplômé-e-s en économie qu’ils/elles développent des attitudes et des pratiques éthiques en matière de commerce. Vu qu’ils/elles seront appelé-e-s à diriger des entreprises, il est attendu d’eux/elles qu’ils/elles se comportent de façon honnête dès le début de leurs études. Cependant, on entend parfois dans certaines universités, facultés ou départements que les fraudes et comportements de triche prennent de l’ampleur, en parlant notamment du plagiat. Mais qu’en est-il exactement?

Tout d’abord, de quoi parle-t-on? Teixeira et Rocha citent la définition suivante de la triche: "il s’agit d’actes qui recouvrent des domaines définis comme illégaux, non éthiques, immoraux ou qui vont à l’encontre des règlements en vigueur dans les cours ou les universités", par exemple, la copie lors des examens écrits, l’utilisation de "pougnons" (ou "copions" en Belgique, ou encore "pompes", "anti-sèches", "bidoches", "tusts", "papiers de triche", etc., etc.) lors des examens, l’utilisation frauduleuse d’un téléphone portable ou d’un ordinateur pour échanger des réponses, le vol de questions d’examens, le fait de se faire représenter par un-e autre étudiant-e à un examen oral, etc. Cela peut aller jusqu’à la corruption d’un examinateur ou d’un-e enseignant-e pour passer une session d’examens plus facilement. On admet cependant généralement que si la triche peut être délibérée, elle peut être aussi pratiquée par ignorance des règles ou des pratiques scientifiques habituelles comme par exemple dans de nombreux cas de plagiat. Elle peut aussi se produire "sous l’effet de la panique", lorsque par exemple un-e étudiant-e se rend compte à un examen écrit qu’il/elle n’arrive pas à répondre à certaines questions. Dans leur étude, Teixeira et Rocha se sont focalisées uniquement sur la forme la plus courante de tricherie à savoir "copier sur son/sa voisin-e aux examens écrits". Cette restriction se justifie dans la mesure où les études qu’elles ont répertoriées ne montrent pas de différences significatives entre les différents actes de tricherie du point de vue de leurs facteurs explicatifs (âge, sexe, année d’étude, etc.). Il est donc possible d’extrapoler les résultats de cette étude à d’autres pratiques frauduleuses. Pour comprendre le phénomène, les auteures ont distribué un questionnaire à 7213 étudiant-e-s de premier cycle d’études commerciales dans 21 pays. Ces pays se répartissent équitablement dans le classement mondial 2005 de la perception de corruption par la population.

Quelle est l’ampleur du phénomène dans le monde? Sur base de nombreuses recherches dont les plus anciennes remontent aux années 1920, les auteures de l’article soulignent que les pays où la triche est la plus répandue sont des pays fortement corrompus à différents niveaux de la société. Dans leur propre étude, c’est dans des pays d’Europe de l’Est comme la Roumanie et la Pologne que les étudiant-e-s déclarent le plus tricher avec respectivement 96% et 100% d’étudiant-e-s interrogé-e-s déclarant avoir déjà copié aux examens. Cependant, le lien entre triche et corruption d’un pays ne semble pas être aussi clair puisque des pays d’Europe du Sud et de l’Ouest sont aussi fortement touchés comme la France (83,9%) ou la Turquie (79,6%). Par contre, un pays notablement corrompu comme le Nigéria est touché par la triche dans une mesure nettement moindre (42,6%). Sans surprise, les pays où les étudiant-e-s déclarent le moins tricher sont les pays scandinaves (4,9%), les îles britanniques (14,4%) et la Nouvelle-Zélande (20,7%). Les pourcentages observés sont sensiblement les mêmes lorsqu’on analyse les réponses à la question "Avez-vous déjà vu d’autres étudiant-e-s copier à un examen?". Cette question avait pour but de donner un aperçu de l’ampleur de la tricherie aux examens et de la "culture" de la triche dans les différents pays considérés.

Par contre, le lien entre la triche dans les études et la corruption ou la fraude dans le monde du travail est loin d’être démontré. Dans les recherches sur le sujet, on souligne souvent le paradoxe observé entre le fait que la majorité des étudiant-e-s interrogé-e-s déclarent être contre la triche mais avouent tout de même l’avoir pratiquée de temps à autres. Pour la grande majorité des étudiant-e-s interrogé-e-s, copier aux examens n’est pas un problème très préoccupant, sauf pour les étudiant-e-s africain-e-s et argentin-e-s qui semblent se sentir en porte-à-faux entre le fait que nombre de leurs collègues trichent aux examens mais que ce n’est pas un comportement éthique par rapport à la vie en société.

Plusieurs autres observations intéressantes peuvent être tirées des résultats de la recherche de Teixeira et Rocha:

  • Si les études sur le sujet dans les années 70 et 80 tendaient à montrer que la copie aux examens était un acte davantage attribuable aux garçons, la tendance semble s’inverser depuis quelques années… bien que des différences importantes existent entre pays.
  • Les étudiant-e-s dans la tranche d’âge 20-25 ans semblent davantage tricher que leurs collègues plus jeunes ou plus âgés. Mais là encore, des différences entre pays sont à noter puisque dans les îles britanniques, ce sont plutôt les étudiant-e-s plus âgés qui trichent davantage.
  • Les étudiant-e-s qui trichent le plus sont ceux/celles qui sont dans les années de fin de cycle. Il semble que lorsque l’enjeu de la réussite est plus important, les étudiant-e-s sont davantage tenté-e-s par la triche.
  • Les étudiant-e-s les plus brillant-e-s ont moins tendance à tricher. Ceci pourrait s’expliquer, selon les auteures, par le fait que ces étudiant-e-s auraient davantage à perdre si ils/elles se faisaient prendre sur le fait.
  • Copier aux examens semble aussi un phénomène en partie social dans la mesure où les étudiant-e-s sont davantage enclin-e-s à tricher s’ils/elles connaissent d’autres étudiant-e-s qui trichent aussi.
  • Un environnement d’étude peu structuré ou permissif tend aussi à être générateur de triche chez les étudiant-e-s. Les universités qui ont adopté et communiqué une charte éthique pour les étudiant-e-s (notamment à propos du plagiat) voient la proportion de triche diminuer fortement en leur sein.
  • On pourrait penser par ailleurs que les étudiant-e-s à temps partiel ou qui travaillent en même temps que leurs études auraient tendance à tricher davantage car ils/elles auraient moins de temps pour étudier, mais ceci ne se vérifie pas dans la recherche présentée.

Il est à noter cependant que tous ces résultats sont à replacer dans le contexte particulier de chaque pays ou région du monde car des différences notables apparaissent souvent.

Que retenir de cette étude et que peut-on mettre en place dans l’enseignement supérieur pour prévenir la propension des étudiant-e-s à tricher? J’ai trouvé personnellement l’étude intéressante (malgré quelques limites méthodologiques explicitées par les auteures elles-mêmes) car elle démonte plusieurs idées fausses à propos des pratiques de triche des étudiant-e-s, notamment le fait qu’ils/elles ne trichent pas nécessairement de façon consciente et délibérée mais aussi par ignorance ou en proie à la panique des examens. Pour prévenir ces comportements, il semble qu’un outil efficace soit la rédaction d’un "code d’honneur" ou d’une charte de bonne conduite au sein des universités qui préciserait les comportements adaptés, les pratiques interdites et les sanctions prévues en cas de non-respect des règles. Pour diminuer le stress lié aux évaluations, il semble aussi que le recours à des stratégies d’évaluation moins anxiogènes et réparties tout au long de l’année constitue une bonne solution à long terme. C’est par exemple ce que recommande la Conférence des Recteurs des Universités suisses (CRUS) (PDF – 107Ko, p. 7) dans le cadre de l’adoption de la réforme Bologne en Suisse.

Au niveau d’un programme d’études ou d’un cours en particulier, cela signifie réfléchir à une évaluation par module (c’est-à-dire un examen intégré pour un ensemble de cours sous la forme d’un travail écrit ou d’un examen écrit) ou à des modes d’évaluation qui s’étendraient sur l’ensemble de l’année en prenant en compte plusieurs types de travaux individuels, de groupe, écrits ou oraux. Idéalement en fait, il s’agirait de demander aux étudiant-e-s de multiplier les preuves de leur apprentissage, formellement ou informellement, pour augmenter le plus possible la validité de leurs notes finales. Il est plus facile de tricher lorsqu’un seul moment d’évaluation est prévu, par exemple lors d’un examen écrit (en copiant ou en préparant un anti-sèche), d’un examen oral (en influençant l’examinateur-trice) ou d’un travail écrit (en plagiant ou en achetant un travail rédigé par quelqu’un d’autre) que lorsque plusieurs évaluations sont prévues avec pour objectif d’obtenir une mesure la plus valide possible de l’apprentissage des étudiant-e-s.

Teixeira, A., & Rocha, M. (2010). Cheating by economics and business undergraduate students: an exploratory international assessment. Higher Education, 59(6), 663-701.

On trouvera par ailleurs un article et un débat intéressants à propos de la triche dans l’enseignement supérieur sur le site Inside Higher Education: The Faculty Role in Stopping Cheating, par Timothy Austin. L’auteur propose une réflexion et plusieurs conseils pratiques aux enseignant-e-s pour décourager les comportements de tricherie chez leurs étudiant-e-s.

Read Full Post »

Older Posts »

Suivre

Recevez les nouvelles publications par mail.

Joignez-vous à 256 followers