Pascal Couvrechef présente la librairie R « exams », qui permet de créer des QCMs aléatoirisés adaptés aux évaluations en mathématiques ; ensuite, il évoque certaines injonctions incantatoires du « plan de continuité pédagogique », en particulier celles relatives à l’évaluation à distance des élèves.
A) Introduction
Sur la liste de diffusion de mon département d’IUT, nous avons reçu un courriel envoyé par le premier collègue ayant dû faire une évaluation à distance pendant la période de confinement :
J’ai trouvé une solution pour réaliser les évaluations dans le contexte actuel. Elle est fondé sur le package R « exams ». L’idée principale est de créer des questions pour QCM dont les paramètres vont être perturbés aléatoirement. Le package R « exams » permet alors (par exemple) de créer autant de versions de l’examen qu’il y a d’étudiants (c’est ce que je vais faire). Les versions diffèrent de par l’ordre des questions, l’ordre des réponses possibles et les valeurs des paramètres. Cela veut dire qu’il n’y a pas deux examens identiques même si l’on ne tient pas compte de l’ordre des questions et des réponses. Cette solution est bien adaptée aux examens de math/stat et peut-être info.
Je n’ai pas pu mettre cette solution en œuvre pour mon « contrôle confiné » de bases de données, le domaine ne s’y prêtant pas, mais je l’ai étudiée attentivement à la fois par intérêt personnel pour R (par le passé, j’ai en effet effectué des enseignements de programmation R) et parce que la thématique (évaluations confinées en mathématiques) intéressera probablement de nombreux lecteurs de MathémaTICE.
Après la présentation de cette librairie R, j’en profiterai pour analyser et « égratigner » les consignes incantatoires du « plan de continuité pédagogique » : il vaut mieux en rire qu’en pleurer quand on cherche à trouver « la moins mauvaise solution possible » pour évaluer à distance ses étudiants sans risquer de les léser … tout en « limitant énormément le risque d’aide en temps réel entre étudiants » (une des incantations du plan) !
B) QCMs aléatoires avec la librairie R « exams »
Introduction
Dans le N°57 de MathemaTICE , Patrick Raffinat a présenté une librairie, RMarkdown, qui permet de créer simplement des documents (HTML, PDF…) dans lesquels on peut incorporer et exécuter du code R (lien). Patrick Raffinat y présente aussi brièvement le logiciel RStudio, un environnement multiplateforme (facilitant la saisie du code, son exécution, la visualisation des résultats…) qu’il est recommandé d’installer pour créer les QCMs interactifs, bien que seule l’installation de R soit nécessaire.
Grâce à la librairie « exams », on peut créer des QCMs aléatoires à partir de documents RMarkdown (un document par question), comme je vais le montrer dans cet article. Pour plus de renseignements, je renvoie les lecteurs vers le site officiel (lien).
Avant d’entrer dans les détails, voici le résumé de l’atelier consacré à « exams », lors de la réunion officielle annuelle des utilisateurs de R (lien) :
Modèles d’exercices de la documentation
Sur cette page de la documentation, on trouve une brève description de tous les modèles d’exercices livrés dans le package R « exams ». Les modèles d’exercices ainsi que leurs sorties PDF et HTML peuvent être téléchargés et examinés comme source d’inspiration pour de nouveaux exercices. Un code de démonstration pour la réplication est également inclus.
J’en illustre brièvement deux, sans pour l’instant me préoccuper de la façon de produire ces QCMs. Le premier, qui intéressera plus particulièrement les enseignants de collège, porte sur le calcul de la distance (euclidienne) entre deux points tirés au hasard en utilisant le théorème de Pythagore. En plus de la bonne solution, quatre fausses alternatives sont générées en fournissant deux erreurs communes ainsi qu’une plage et un delta minimal pour deux autres solutions aléatoires.
Le second, qui intéressera plus particulièrement les enseignants de lycée, porte sur le calcul de la dérivée première d’un produit de fonctions, avec deux facteurs et des paramètres tirés au hasard, en utilisant la règle du produit. En plus de la bonne solution, quatre fausses alternatives sont générées en fournissant deux erreurs communes ainsi qu’une plage et un delta minimal pour deux autres solutions aléatoires.
Exemple de programmation d’un exercice
Je limiterai mon exposé à un exercice très basique, qui porte sur les capitales dans les pays du monde avec 5 alternatives correctes et 6 fausses qui sont mélangées au hasard dans chaque version de l’exercice.
On commence par créer un document RMarkdown. Dans le cas présent, il est disponible dans le fichier « capitals.Rmd » qu’on récupère quand on télécharge la librairie « exam ». Je le reproduis partiellement, en ne mettant que deux des onze villes du questionnaire.
Les méta-informations permettent d’indiquer le type d’exercice (ici mchoice), les réponses aux questions (ici onze 0 ou 1 pour indiquer si c’est faux ou vrai) ainsi que le nombre de questions tirées au sort (ici 5). A partir de ce fichier, dont il faut préciser le répertoire dans lequel il est stocké, il n’y a plus qu’à exécuter ce programme R pour obtenir ici un exemplaire (au format html) du QCM :
setwd("C:/Users/couvrechef/Documents/qcm")
library("exams")
set.seed(403)
exams2html("capitals.Rmd")Le fichier ainsi créé peut être être visualisé avec n’importe quel navigateur, ce qui n’est pas le cas lorsqu’il y a des formules mathématiques : il faut alors choisir un navigateur permettant de lire du MathML [1], par exemple Firefox.
Une petite adaptation du code permet de produire plusieurs exemplaires aléatoires du QCM. Par exemple, 100 exemplaires aléatoires du QCM (nommés demo1.html, demo2.html...) sont ici créés dans le dossier courant :
setwd("C:/Users/couvrechef/Documents/qcm")
library("exams")
set.seed(403)
exams2html("capitals.Rmd", n=100, name="demo") Evaluez vos connaissances mathématiques !
A partir de divers exercices de démonstration pouvant être récupérés lors de l’installation de la librairie « exams », j’ai créé un petit quizz pour que les lecteurs puissent tester leurs connaissances mathématiques :
Après avoir évalué vos connaissances (et seulement après [3] !), vous pouvez regarder la solution...
Dans le zip ci-dessous, j’ai aussi mis les fichiers RMarkdown des questions et le code R ayant permis de créer le questionnaire.
C) A propos du plan de continuité pédagogique
Ma propre expérience
Mon « enseignement confiné » de bases de données ne m’a pas posé de difficulté particulière, même si j’ai dû remplacer les exercices que je posais habituellement : d’une part j’avais eu la chance de faire avant le confinement la partie qu’il aurait été délicat de « traiter efficacement » à distance (conception de bases de données) et, d’autre part, j’ai déniché une ressource en ligne adaptée à l’interrogation en langage SQL de bases de données en IUT [6]. Il y avait en effet, outre un cours et des exercices adaptés, surtout un environnement en ligne permettant d’interroger simplement à distance les bases de données des exercices.
A la limite, cela m’a presque arrangé de pouvoir faire cette partie à distance, car mes Tds (effectués habituellement sur papier dans une salle « traditionnelle ») ont pu s’effectuer sur machine : les étudiants avaient donc, outre leur séance hebdomadaire de travaux pratiques, une seconde séance sur ordinateur et pouvaient de ce fait vérifier directement la validité de leurs réponses et faire d’autres essais si nécessaires. Je n’ai pas remplacé le cours en amphi par une visio : je ne maîtrise pas cette technologie d’enseignement à laquelle je n’ai d’ailleurs jamais été formé, ne suis guère motivé pour m’y investir si près de la retraite, et remplacer ce cours magistral par une sorte de « classe inversée » était pédagogiquement satisfaisant (les élèves étaient invités à lire des passages du cours en ligne avant de chercher les exercices). Dans des séances où il n’a avait plus la traditionnelle répartition (cours, Tds et Tps), les élèves pouvaient poser leurs questions dans un salon sur Discord ou en « tchat » privé. Et, entre deux séances, je mettais en ligne des corrigés.
Cela me convenait donc très bien, mais pour des raisons circonstancielles (le type de connaissances enseignées et des étudiants réceptifs à un enseignement à distance car confinés) et pas pour une appétence de ce type d’enseignement. J’ajouterai, qu’au niveau du département d’IUT, nous avions décidé de réduire le volume horaire des étudiants (d’une à deux heures par jour) car c’est plus difficile de rester concentré à distance (en étant confiné de surcroît) qu’en présentiel. Concernant l’évaluation de cet enseignement, j’aurais de loin préféré pouvoir la faire en présentiel.
Le « coup de gueule » que j’ai relayé dans la section « à l’université » qualifie de « mauvaise farce » les « conseils » donnés pour les évaluations. Je pense exactement la même chose après avoir lu cette fameuse « fiche 5 », que je vais analyser brièvement.
Quizz en ligne avec des questions tirées aléatoirement et l’ordre des réponses proposées à chaque question également aléatoire (limitant énormément le risque d’aide en temps réel entre des étudiants distants).
Cela ne m’aide pas vraiment puisque ce n’est pas adapté à mon enseignement de bases de données. Mais ce n’est pas la peine de me narguer en me rappelant qu’il faut chercher au maximum à « limiter le risque d’aide en temps réel entre des étudiants distants » : je m’en doutais déjà tout seul ! Quant à trouver une autre solution limitant efficacement ce risque évident, je n’en vois pas à part celle adoptée à Hong-Kong, mais je ne crois pas que mon université soit en mesure de la rendre opérationnelle, sans oublier que je ne suis pas certain que cela soit compatible avec le droit français pour la « surveillance à domicile ».
Examens sur plateforme et avec une connexion simultanée dans une webconférence avec webcam (c’est une solution qui a été dernièrement utilisée en période de crise par l’université de Sciences et Technologie de Hong-Kong qui programmait des examens sur sa plateforme et en même temps surveillait les étudiants dans une webconférence sous la solution Zoom.
J’apprends également avec intérêt qu’il est possible de faire passer des épreuves orales par téléphone (!), mais cela ne correspond hélas pas à mes besoins. Heureusement, j’ai quand même pu entrevoir un début de solution quand j’ai lu ce conseil « avisé » : « Privilégier des épreuves qui montrent l’esprit critique, avec documents autorisés parce qu’il s’avère difficile d’éviter la recherche d’informations sur le web ».
Cela tombe bien, j’avais été suffisamment « avisé » en tant que responsable des emplois du temps pour tester « l’esprit critique » des étudiants avant d’avoir lu la « fiche 5 » : j’avais en effet lancé un galop d’essai en réservant le lundi de Pâques un créneau horaire pour une « vidéo notée à réaliser sur la chasse aux oeufs en chocolat ». L’idée était évidemment de les faire sourire et pas d’évaluer leur « esprit critique », mais il se trouve que cela a donné lieu à une tragi-comédie dont je garantis l’exactitude, même si elle paraît invraisemblable.
Pour la raconter, je vais donner une nouvelle fois la parole à mes deux personnages fictifs fétiches, Casquette d’informatique et Casquette de mathématiques :
Comme d’habitude, ils illustreront l’article en cours en caricaturant certaines incohérences du système éducatif afin de les dénoncer. Et on va voir à un moment donné que la réalité dépasse parfois la fiction…
Conclusion en images
L’efficacité du « plan de continuité pédagogique » nécessite un bon fonctionnement des infrastructures informatiques (serveurs pédagogiques et, pour les élèves, accès à internet), ce que n’avaient apparemment pas prévu ses rédacteurs. Je le résume avec ces quatre images que j’ai associées [7] après les avoir dénichées sur le net.
 |
 |
 |
 |
Et chacun a dû se débrouiller comme il a pu avec les moyens du bord, tout n’étant pas aussi simple à mettre en pratique pédagogiquement que les rédacteurs de ce discours incantatoire ont voulu le faire croire.
