Mathématice, intégration des Tice dans l'enseignement des mathématiques  
Sommaire > Articles à paraître dans les numéros à venir > Evaluations mathématiques confinées en (...)

Evaluations mathématiques confinées en IUT
Moteur de recherche

A) Introduction

Sur la liste de diffusion de mon département d’IUT, nous avons reçu un courriel envoyé par le premier collègue ayant dû faire une évaluation à distance pendant la période de confinement :

J’ai trouvé une solution pour réaliser les évaluations dans le contexte actuel. Elle est fondé sur le package R « exams ». L’idée principale est de créer des questions pour QCM dont les paramètres vont être perturbés aléatoirement. Le package R « exams » permet alors (par exemple) de créer autant de versions de l’examen qu’il y a d’étudiants (c’est ce que je vais faire). Les versions diffèrent de par l’ordre des questions, l’ordre des réponses possibles et les valeurs des paramètres. Cela veut dire qu’il n’y a pas deux examens identiques même si l’on ne tient pas compte de l’ordre des questions et des réponses. Cette solution est bien adaptée aux examens de math/stat et peut-être info.

Je n’ai pas pu mettre cette solution en œuvre pour mon « contrôle confiné » de bases de données, le domaine ne s’y prêtant pas, mais je l’ai étudiée attentivement à la fois par intérêt personnel pour R (par le passé, j’ai en effet effectué des enseignements de programmation R) et parce que la thématique (évaluations confinées en mathématiques) intéressera probablement de nombreux lecteurs de MathémaTICE.

Après la présentation de cette librairie R, j’en profiterai pour analyser et « égratigner » les consignes incantatoires du « plan de continuité pédagogique » : il vaut mieux en rire qu’en pleurer quand on cherche à trouver « la moins mauvaise solution possible » pour évaluer à distance ses étudiants sans risquer de les léser … tout en « limitant énormément le risque d’aide en temps réel entre étudiants » (une des incantations du plan) !

B) QCMs aléatoires avec la librairie R « exams »

Introduction

Dans le N°57 de MathemaTICE , Patrick Raffinat a présenté une librairie, RMarkdown, qui permet de créer simplement des documents (HTML, PDF…) dans lesquels on peut incorporer et exécuter du code R (lien). Patrick Raffinat y présente aussi brièvement le logiciel RStudio, un environnement multiplateforme (facilitant la saisie du code, son exécution, la visualisation des résultats…) qu’il est recommandé d’installer pour créer les QCMs interactifs, bien que seule l’installation de R soit nécessaire.

Grâce à la librairie « exams », on peut créer des QCMs aléatoires à partir de documents RMarkdown (un document par question), comme je vais le montrer dans cet article. Pour plus de renseignements, je renvoie les lecteurs vers le site officiel (lien).

Avant d’entrer dans les détails, voici le résumé de l’atelier consacré à « exams », lors de la réunion officielle annuelle des utilisateurs de R (lien) :

Modèles d’exercices de la documentation

Sur cette page de la documentation, on trouve une brève description de tous les modèles d’exercices livrés dans le package R « exams ». Les modèles d’exercices ainsi que leurs sorties PDF et HTML peuvent être téléchargés et examinés comme source d’inspiration pour de nouveaux exercices. Un code de démonstration pour la réplication est également inclus.

J’en illustre brièvement deux, sans pour l’instant me préoccuper de la façon de produire ces QCMs. Le premier, qui intéressera plus particulièrement les enseignants de collège, porte sur le calcul de la distance (euclidienne) entre deux points tirés au hasard en utilisant le théorème de Pythagore. En plus de la bonne solution, quatre fausses alternatives sont générées en fournissant deux erreurs communes ainsi qu’une plage et un delta minimal pour deux autres solutions aléatoires.

Le second, qui intéressera plus particulièrement les enseignants de lycée, porte sur le calcul de la dérivée première d’un produit de fonctions, avec deux facteurs et des paramètres tirés au hasard, en utilisant la règle du produit. En plus de la bonne solution, quatre fausses alternatives sont générées en fournissant deux erreurs communes ainsi qu’une plage et un delta minimal pour deux autres solutions aléatoires.

Exemple de programmation d’un exercice

Je limiterai mon exposé à un exercice très basique, qui porte sur les capitales dans les pays du monde avec 5 alternatives correctes et 6 fausses qui sont mélangées au hasard dans chaque version de l’exercice.

On commence par créer un document RMarkdown. Dans le cas présent, il est disponible dans le fichier « capitals.Rmd » qu’on récupère quand on télécharge la librairie « exam ». Je le reproduis partiellement, en ne mettant que deux des onze villes du questionnaire.

Les méta-informations permettent d’indiquer le type d’exercice (ici mchoice), les réponses aux questions (ici onze 0 ou 1 pour indiquer si c’est faux ou vrai) ainsi que le nombre de questions tirées au sort (ici 5). A partir de ce fichier, dont il faut préciser le répertoire dans lequel il est stocké, il n’y a plus qu’à exécuter ce programme R pour obtenir ici un exemplaire (au format html) du QCM :

setwd("C:/Users/couvrechef/Documents/qcm")
library("exams")
set.seed(403)
exams2html("capitals.Rmd")

Le fichier ainsi créé peut être être visualisé avec n’importe quel navigateur, ce qui n’est pas le cas lorsqu’il y a des formules mathématiques : il faut alors choisir un navigateur permettant de lire du MathML [1], par exemple Firefox.

Une petite adaptation du code permet de produire plusieurs exemplaires aléatoires du QCM. Par exemple, 100 exemplaires aléatoires du QCM (nommés demo1.html, demo2.html...) sont ici créés dans le dossier courant :

setwd("C:/Users/couvrechef/Documents/qcm")
library("exams")
set.seed(403)
exams2html("capitals.Rmd", n=100, name="demo")

Exemple de programmation d’un QCM complet

Un QCM n’est rien d’autre qu’une collection d’exercices, qu’on peut définir par un vecteur R regroupant les noms de chaque fichier RMarkdown (un fichier par exercice). Voici par exemple comment obtenir 100 exemplaires (au format html) d’un QCM comportant 3 questions (distances, dérivées et capitales) :

setwd("C:/Users/pcouvrechef/Documents/qcm")
library("exams")
set.seed(403)
qcm <- c("dist3.Rmd", "deriv.Rmd", "capitals.Rmd")
exams2html(qcm, n=100, name="examen")

Pour une épreuve écrite, il est possible de produire des QCMs au format pdf, à condition de disposer d’une installation LaTeX complète (comme TeXLive ou MikTeX) ou, sinon, de la librairie « tinytex » qui limite l’éventail des types d’exercices [2], en veillant à ne pas mettre le corrigé dans les énoncés proposés aux élèves : pour chaque exemplaire aléatoire du QCM, deux fichiers pdf sont créés (un pour l’épreuve, un pour le corrigé).

setwd("C:/Users/pcouvrechef/Documents/qcm")
library("exams")
set.seed(403)
qcm <- c("dist3.Rmd", "deriv.Rmd", "capitals.Rmd")
getID <- function(i) i
exams2pdf(qcm, n=100, template=c("exam","solution"),
         header = list(ID = getID, Date = Sys.Date()))

La fonction getID est introduite pour mettre un identifiant différent sur l’entête chaque copie.

Exportation dans une plateforme d’apprentissage en ligne

On peut aussi engendrer des fichiers permettant ensuite d’effectuer les évaluations dans une plateforme d’apprentissage en ligne (Moodle , OpenOLAT…) : voir lien. Dans le cas de Moodle, on produit un fichier xml (nommé ici « examen.xml ») en exécutant ce code R :

setwd("C:/Users/couvrechef/Documents/qcm")
library("exams")
qcm <- c("dist3.Rmd", "deriv.Rmd", "capitals.Rmd")
set.seed(403)
exams2moodle(qcm, n = 100, name = "examen")

Il reste ensuite ensuite à l’importer dans l’ENT, mais je n’ai pas testé cette dernière étape parce que je ne dispose pas de Moodle.

Evaluez vos connaissances mathématiques !

A partir de divers exercices de démonstration pouvant être récupérés lors de l’installation de la librairie « exams », j’ai créé un petit quizz pour que les lecteurs puissent tester leurs connaissances mathématiques :

PDF - 440.6 ko

Après avoir évalué vos connaissances (et seulement après [3] !), vous pouvez regarder la solution...

PDF - 531 ko

Dans le zip ci-dessous, j’ai aussi mis les fichiers RMarkdown des questions et le code R ayant permis de créer le questionnaire.

Zip - 2.8 Mo

C) A propos du plan de continuité pédagogique

Introduction

Lorsqu’il m’a fallu repenser mes enseignements à cause du confinement, j’avoue que je n’ai guère regardé les divers documents qui nous ont été adressés sur la « continuité pédagogique », à la fois par manque d’intérêt pour le blabla … et parce que l’ENT de l’université s’est révélé quasi inutilisable (au départ) car il y avait trop de connexions simultanées ! Cela a conduit nos étudiants à nous proposer une alternative non institutionnelle, la plateforme de jeux Discord, dont on peut par ailleurs noter qu’elle a été très utilisée par les enseignants confinés [4] pour pallier de nombreux dysfonctionnements … rendant caduques certaines préconisations du plan de continuité pédagogique !

J’ai plus tardivement été amené à m’intéresser de plus près aux divers documents reçus lorsqu’il s’est avéré que les enseignements en présentiel ne reprendraient pas avant Septembre 2020 et que, par conséquent, je ne pourrais pas organiser de contrôle en présentiel pour évaluer mes enseignements confinés. J’ai alors regardé de plus près la « fiche 5 » de ce document volumineux (77 pages pour sa version du 15 Avril), fiche intitulée « Diversifier les modalités d’examen ». Non seulement je n’y ai pas trouvé mon bonheur, mais son contenu m’a plutôt « agacé »...

A vrai dire, je m’y attendais car depuis quelque temps il y avait sur la liste de diffusion de l’université de nombreux courriels au sujet de l’organisation des examens prévus à mi-Mai. Je vais y revenir dans la section suivante car je crois que c’est assez instructif… Puis je poursuivrai l’exposé en relatant mon expérience personnelle de « l’enseignement confiné », avant de conclure en images.

A l’université

Dans mon département d’IUT, nous avons la chance d’avoir de petits effectifs (une cinquantaine d’étudiants par année d’étude) et une hiérarchie pragmatique (faites comme vous pouvez, nous vous faisons confiance). Cela n’est pas vraiment le cas de tout le monde à l’université, comme on peut le constater avec ce courriel intitulé « coup de gueule », qui a ensuite donné lieu à de nombreux débats de fond sur la liste de diffusion de l’université. J’en ai coupé certains passages car, comme le dit en préambule l’auteur du message, il peut « par moments user d’un langage susceptible de choquer les lectrices et lecteurs les plus sensibles ».

Mais c’est pas fini ce foutage de gueule ?!
Ça commence à me ... de lire nos prétendus responsables sembler se gargariser de ce « plan de continuité pédagogique » qui n’est qu’un slogan vide de sens (pléonasme), issu d’un « plan de communication » tout aussi creux (sinon dans ses éléments de langage) et qui n’a d’autre intérêt de paraître faire bien les choses. Alors ça vous permet peut-être de bien remplir des beaux tableaux pour faire croire que tout va bien, c’est peut-être bon pour votre image, votre carrière ou que sais-je encore dont je n’ai cure. Mais tout ça n’est qu’une triste plaisanterie qui va laisser sur le bord du chemin tous ceux qui sont en difficulté.
Il en va de même de cette mauvaise farce qui ose se prétendre « de cadrage » de l’évaluation à distance et qui ne cadre rien du tout, se contentant de faire un vague inventaire de ce qui serait possible en renvoyant tout à la responsabilité des équipes. Ah oui, alors il y a un joli tableau FFOM [5], plein de la bonne phraséologie sans doute bien tout comme il faut et de sigles pour incompréhensibles dont l’inanité cache bien mal la vacuité (et réciproquement).
Mais … vous avez embauché un publicitaire pour vos discours ou quoi ?

Les débats de fond (précarité numérique et/ou matérielle de certains étudiants, neutralisation ou non de certaines épreuves voire du second semestre entier…) ont été d’autant plus enflammés que l’échéance des examens était assez proche (mi-Mai) et qu’on ne savait pas encore si des examens en présentiel pourraient avoir lieu ou non.

Il est probable que les « examens confinés » en France donneront lieu à de nombreuses études pour en tirer des leçons. Cela a d’ailleurs déjà commencé, comme le montre cette enquête de Pierre Mercklé réalisée auprès des étudiant(e)s en sociologie de Grenoble (voir lien). Au passage, on voit voir qu’il y a une coïncidence amusante avec la thématique de la section B, puisque Pierre Mercklé évoque un enseignement à distance de ... R !

Il m’a pourtant très vite semblé qu’on mettait en quelque sorte la charrue avant les bœufs et qu’on essayait de mettre ainsi en œuvre cette « continuité pédagogique » de façon un peu désordonnée, sans se demander ni si c’était souhaitable, ni si c’était possible et à quelles conditions. Mes interrogations me venaient de mes propres difficultés : comme les autres, je cherchais des solutions, et dans mon cas particulier, j’avais beaucoup de mal à les trouver : comment faire, en effet, pour enseigner les méthodes quantitatives avec R à distance...

Et dans l’enseignement secondaire, on retrouve également de très nombreux témoignages allant dans ce sens…

Ma propre expérience

Mon « enseignement confiné » de bases de données ne m’a pas posé de difficulté particulière, même si j’ai dû remplacer les exercices que je posais habituellement : d’une part j’avais eu la chance de faire avant le confinement la partie qu’il aurait été délicat de « traiter efficacement » à distance (conception de bases de données) et, d’autre part, j’ai déniché une ressource en ligne adaptée à l’interrogation en langage SQL de bases de données en IUT [6]. Il y avait en effet, outre un cours et des exercices adaptés, surtout un environnement en ligne permettant d’interroger simplement à distance les bases de données des exercices.

A la limite, cela m’a presque arrangé de pouvoir faire cette partie à distance, car mes Tds (effectués habituellement sur papier dans une salle « traditionnelle ») ont pu s’effectuer sur machine : les étudiants avaient donc, outre leur séance hebdomadaire de travaux pratiques, une seconde séance sur ordinateur et pouvaient de ce fait vérifier directement la validité de leurs réponses et faire d’autres essais si nécessaires. Je n’ai pas remplacé le cours en amphi par une visio : je ne maîtrise pas cette technologie d’enseignement à laquelle je n’ai d’ailleurs jamais été formé, ne suis guère motivé pour m’y investir si près de la retraite, et remplacer ce cours magistral par une sorte de « classe inversée » était pédagogiquement satisfaisant (les élèves étaient invités à lire des passages du cours en ligne avant de chercher les exercices). Dans des séances où il n’a avait plus la traditionnelle répartition (cours, Tds et Tps), les élèves pouvaient poser leurs questions dans un salon sur Discord ou en « tchat » privé. Et, entre deux séances, je mettais en ligne des corrigés.

Cela me convenait donc très bien, mais pour des raisons circonstancielles (le type de connaissances enseignées et des étudiants réceptifs à un enseignement à distance car confinés) et pas pour une appétence de ce type d’enseignement. J’ajouterai, qu’au niveau du département d’IUT, nous avions décidé de réduire le volume horaire des étudiants (d’une à deux heures par jour) car c’est plus difficile de rester concentré à distance (en étant confiné de surcroît) qu’en présentiel. Concernant l’évaluation de cet enseignement, j’aurais de loin préféré pouvoir la faire en présentiel.

Le « coup de gueule » que j’ai relayé dans la section « à l’université » qualifie de « mauvaise farce » les « conseils » donnés pour les évaluations. Je pense exactement la même chose après avoir lu cette fameuse « fiche 5 », que je vais analyser brièvement.

Quizz en ligne avec des questions tirées aléatoirement et l’ordre des réponses proposées à chaque question également aléatoire (limitant énormément le risque d’aide en temps réel entre des étudiants distants).

Cela ne m’aide pas vraiment puisque ce n’est pas adapté à mon enseignement de bases de données. Mais ce n’est pas la peine de me narguer en me rappelant qu’il faut chercher au maximum à « limiter le risque d’aide en temps réel entre des étudiants distants » : je m’en doutais déjà tout seul ! Quant à trouver une autre solution limitant efficacement ce risque évident, je n’en vois pas à part celle adoptée à Hong-Kong, mais je ne crois pas que mon université soit en mesure de la rendre opérationnelle, sans oublier que je ne suis pas certain que cela soit compatible avec le droit français pour la « surveillance à domicile ».

Examens sur plateforme et avec une connexion simultanée dans une webconférence avec webcam (c’est une solution qui a été dernièrement utilisée en période de crise par l’université de Sciences et Technologie de Hong-Kong qui programmait des examens sur sa plateforme et en même temps surveillait les étudiants dans une webconférence sous la solution Zoom.

J’apprends également avec intérêt qu’il est possible de faire passer des épreuves orales par téléphone (!), mais cela ne correspond hélas pas à mes besoins. Heureusement, j’ai quand même pu entrevoir un début de solution quand j’ai lu ce conseil « avisé » : « Privilégier des épreuves qui montrent l’esprit critique, avec documents autorisés parce qu’il s’avère difficile d’éviter la recherche d’informations sur le web ». 

Cela tombe bien, j’avais été suffisamment « avisé » en tant que responsable des emplois du temps pour tester « l’esprit critique » des étudiants avant d’avoir lu la « fiche 5 » : j’avais en effet lancé un galop d’essai en réservant le lundi de Pâques un créneau horaire pour une « vidéo notée à réaliser sur la chasse aux oeufs en chocolat ». L’idée était évidemment de les faire sourire et pas d’évaluer leur « esprit critique », mais il se trouve que cela a donné lieu à une tragi-comédie dont je garantis l’exactitude, même si elle paraît invraisemblable.

Pour la raconter, je vais donner une nouvelle fois la parole à mes deux personnages fictifs fétiches, Casquette d’informatique et Casquette de mathématiques :

PDF - 630.5 ko

Comme d’habitude, ils illustreront l’article en cours en caricaturant certaines incohérences du système éducatif afin de les dénoncer. Et on va voir à un moment donné que la réalité dépasse parfois la fiction…

Conclusion en images

L’efficacité du « plan de continuité pédagogique » nécessite un bon fonctionnement des infrastructures informatiques (serveurs pédagogiques et, pour les élèves, accès à internet), ce que n’avaient apparemment pas prévu ses rédacteurs. Je le résume avec ces quatre images que j’ai associées [7] après les avoir dénichées sur le net.

Et chacun a dû se débrouiller comme il a pu avec les moyens du bord, tout n’étant pas aussi simple à mettre en pratique pédagogiquement que les rédacteurs de ce discours incantatoire ont voulu le faire croire.


notes

[1MathML (Mathematical Markup Language) est un langage basé sur XML permettant l’affichage de symboles mathématiques, notamment sur Internet (voir Wikipedia).

[2Voir installation.

[3Je suis hélas obligé de faire confiance aux lecteurs pour « l’évaluation à distance » de leurs compétences mathématiques car le « plan de continuité pédagogique » a oublié de me préciser comment faire pour « limiter énormément le risque d’aide en temps réel entre des lecteurs distants » !

[4Voir par exemple cet article dans « Le café pédagogique ».

[5L’analyse FFOM (forces, faiblesses, opportunités et menaces) un outil de stratégie d’entreprise permettant de déterminer les options offertes dans un domaine d’activité stratégique (voir Wikipedia).

[6J’ai utilisé https://fxjollois.github.io/cours-sql/ pour faire mon enseignement à distance en bases de données (requêtes SQL).

[7Je les ai transmises à Gérard Kuntz, qui les a reprises dans son article de synthèse sur la continuité pédagogique (lien). Et réciproquement, je lui ai « emprunté » l’image finale de mon article.

Réagir à cet article
Vous souhaitez compléter cet article pour un numéro futur, réagir à son contenu, demander des précisions à l'auteur ou au comité de rédaction...
À lire aussi ici
MathémaTICE est un projet
en collaboration avec
Suivre la vie du site Flux RSS 2.0  |  Espace de rédaction  |  Nous contacter  |  Site réalisé avec: SPIP  |  N° ISSN 2109-9197