Le dernier webinar organisé par eduhub le mercredi 29 avril dernier était consacré à une présentation du service SAQ (Service d’Analyse Qualitative de QCM en ligne). Ce fut l’occasion pour moi de me rappeler des critères de qualité à respecter lorsqu’on crée des questions à choix multiples. Il y a quelques années, je faisais régulièrement des présentations à ce sujet pour des enseignant-e-s et j’avais résumé en quelques dias ces critères de qualité, tirés du livre de D. Leclercq (1986) La conception des Questions à Choix Multiple, Bruxelles: Labor. Voici ces dias:
(pour télécharger le fichier, cliquer sur Menu puis Download Presentation)
Le webinar d’eduhub fut ainsi l’occasion de discuter des avantages et inconvénients des QCM pour évaluer des apprentissages. D’une part, les QCM permettent entre autres de soumettre des questions claires et précises aux étudiant-e-s, d’automatiser la correction, de couvrir plus facilement l’ensemble d’une matière dans un examen, de faciliter l’auto-évaluation par les étudiant-e-s, etc. Mais d’autre part, mettre au point une QCM (et les feedbacks adaptés) peut prendre beaucoup de temps. Il est tentant aussi de poser des questions de détail ou de mémoire alors qu’il est possible d’évaluer des processus mentaux variés (compréhension, application, analyse, etc.) quand on se donne la peine de rédiger des questions appropriées. Il y a également un risque que les étudiant-e-s retiennent des réponses fausses si un feedback n’est pas donné rapidement. Enfin, il est possible de répondre au hasard…
Le service SAQ, présenté lors du webinar, propose d’évaluer des QCM déjà rédigées dans la plate-forme Moodle, selon 7 critères:
- le brassage des réponses: dans un questionnaire de plusieurs questions, les réponses correctes ne devraient pas être situées toujours en même position;
- le nombre de réponses proposées: plus il y a de réponses possibles, plus il est difficile de répondre correctement au hasard;
- le nombre de bonnes réponses: l’idéal est de ne proposer qu’une seule bonne réponse possible pour éviter les réponses au hasard;
- la forme positive des intitulés: les doubles négations sont en particulier à proscrire dans la formulation des questions pour que celles-ci restent claires et lisibles;
- la compréhension des choix de réponses: les réponses doivent normalement être formulées de façon compréhensible, donc en évitant les « jamais », « toujours », « parfois », etc. qui sont souvent sujets à interprétations;
- l’homogénéité des choix de réponses: les réponses proposées doivent être toutes plausibles et plus ou moins de même longueur. Idéalement, les distracteurs devraient renseigner l’enseignant-e à propos de l’erreur de l’étudiant-e;
- la longueur des réponses: pas trop longue pour qu’elles restent compréhensibles.
L’avantage de ce service est évidemment de faire cette évaluation de façon automatique et de renvoyer un feedback à l’enseignant-e.
Dans ma présentation de dias ci-dessus, on trouvera d’autres conseils de rédaction, notamment celui d’utiliser dans la formulation de ses questions des termes comme « …parce que… », « …à condition que… », « …est différent de… », etc. (dia 16) ainsi qu’une réflexion sur les systèmes de cotation des QCM, qui bien souvent, ne tiennent pas compte des réelles probabilités de répondre au hasard. A la fin, plusieurs liens vers d’autres services en ligne et des logiciels sont proposés. Pour les personnes intéressées par cette méthode d’évaluation en ligne, le site sequane.com propose par exemple de très nombreuses ressources.
tres bon article, mais je ne comprends pas bien 2 des 7 critères expliqués… n y a t il pas une erreur dans le texte ? Vaut il mieux une seule réponse ou plusieurs possibles ?
-nombre de réponses proposées: plus il y a de réponses possibles, plus il est difficile de répondre correctement au hasard;
-le nombre de bonnes réponses: l’idéal est de ne proposer qu’une seule bonne réponse possible pour éviter les réponses au hasard;
Merci pour votre lecture si attentive! J’aurais apparemment pu mieux m’exprimer… mais je confirme qu’il n’y a pas d’erreur 🙂 Je vous invite à réécouter le webinar qui est en ligne à cette adresse: http://www.eduhub.ch/events/webinars/09feb18QCMQuality/ Ces points sont abordés entre les minutes 35 et 45 environ.
Pour le premier point, il s’agit effectivement d’augmenter le nombre de réponses proposées (au moins 5, avec éventuellement des réponses générales comme « aucune » ou « toutes » les réponses correctes).
Pour le second point, l’idéal est en fait (en théorie) de formuler des questions à choix unique. Mais le but de ceci n’est pas vraiment de décourager les étudiant-e-s à répondre au hasard (comme je l’ai écrit) mais plutôt de ne pas complexifier artificiellement et inutilement les questions. La validité de la question peut en effet être remise en cause si plusieurs réponses proposées sont correctes. Car on évalue la connaissance de l’étudiant-e en même temps que sa capacité à faire preuve de stratégie en lisant et répondant à la question. Et donc, le score final représentera à la fois la connaissance de l’étudiant-e et sa capacité à être stratégique. D’où un possible problème de validité.
J’espère que cette explication répond bien à votre question(?).
Merci encore pour votre intérêt.
Oui pas très clair mais très intéressant à la relecture !!!