DocEval et DocShare constituent les deux piliers de la web-application DocTools disponible en suivant ce lien.

J'ai programmé ces deux modules en essayant de les rendre le plus intuitif possible, tout en proposant sur le site une documentation de prise en main, par le biais de nombreux tutoriels vidéos.

Cet article n'a pas été pensé comme un deuxième mode d'emploi, aussi le lecteur n'y trouvera pas de renseignements techniques très précis, puisque de toutes façons il devrait pouvoir les consulter sur le site. Il s'agit donc plus ici de faire état de quelques réflexions qui m'ont conduit à faire des choix - quelquefois assez radicaux - en amont de la conception des DocTools.

Évaluateur et mesure

L'évaluation peut être vue comme l'action d'interpréter un résultat obtenu dans le cadre d'un processus de mesure du niveau d'apprentissage. La mesure peut faire partie du travail d'évaluation, mais évaluer consiste aussi plus largement à juger ce résultat au regard d'un référentiel, plutôt de nature institutionnel dans le cas qui nous intéresse.

Salvador Dali : "Tableau comparatif des valeurs d'après l'analyse dalinienne élaborée pendant dix ans"

Salvador Dali, dans son livre des 50 secrets magiques, propose une mesure du niveau de différents peintres suivant différents domaines de compétences. Jouons le jeu et supposons que la mesure est fiable. Un rapide coup d'oeil porté sur le tableau ci-dessus permet de supposer que les candidats Johannes Vermeer et Raphaël ne sont pas n'importe qui. Mais alors, parmi les critères retenus, lesquels sont prédominants ? Le mystère compte-t-il autant que la génialité ? L'authenticité que l'originalité ? Même si on ne peut pas grand chose pour le candidat Mondrian, on se rend compte qu'en adoptant un certain point de vue, Picasso pourrait tout de même s'en tirer avec tous les honneurs.

Quand on entend parler d'évaluation, le rôle de l'évaluateur semble très souvent effacé, faisant miroiter l'idée que l'évaluation est avant tout une pratique objective, vide d'humanité. La docimologie de son côté intervient parfois pour remettre l'humain au centre, mais toujours pour alerter l'institution et dénoncer la présence de moutons noirs dans les rangs. Il s'agit finalement de tout faire pour que l'évaluateur disparaisse, et ne vienne pas parasiter l'évaluation par son comportement déviant. De plus, l'émergence de cette "science" remonte à une époque où l'on tendait à confondre l'évaluation et la mesure.

"Dans une approche non radicale, le fait de différencier mesure et évaluation ne signifie pas exclure la mesure de l’évaluation. L’évaluation a en effet besoin de procédures et d’instruments rigoureux et fiables ; la mesure représente un instrument (une méthode avec ses propres règles et procédures) pouvant être utilisée parmi d’autres instruments possibles au regard des buts et intentions visées par les évaluateurs. Mais tout en pouvant englober la mesure, l’évaluation implique, quant à elle, un ensemble « d’opérations » que la mesure n’inclut pas, dont l’interprétation des résultats au regard d’un référentiel (qu’il s’agit d’établir), la communication des résultats et des interprétations aux différents partenaires concernés, les prises de décision en fonction des buts visés, des contextes sociaux, des moyens à disposition, et plus généralement des contraintes et des possibles."
Lucie Mottier Lopez,
De la mesure à l'évaluation collaborative en éducation - 2013

Quel que soit la typologie des mesures effectuées, l'évaluateur est au centre de commandes lorsqu'il s'agit de la pratique quotidienne d'un enseignant dans sa classe. Il prend lui-même les décisions en amont dans le choix des questions posées, leur formulation, les modalités de passation, et intervient en aval pour interpréter les résultats obtenus. Concernant cet aspect le numérique ne change rien à la donne : la suite de cet article, dans sa présentation de certains automatismes informatiques, n'est sûrement pas là pour suggérer que ceux-ci prennent le pas sur les choix et décisions de l'enseignant.

Par contre, lorsqu'on délègue les procédures de mesure à de bons outils numériques, le traitement de données peut atteindre un niveau de souplesse incomparable, avec lequel en tous cas le travail d'évaluation "à la main" ne peut rivaliser. Or, si l'on désire améliorer les environnements d'apprentissage de l'élève, il faut faire de nombreuses mesures, et par conséquent récupérer des données afin de les traiter le plus finement possible. C'est sur ce terrain que l'informatique devient de nos jours un outil incontournable.

"when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory kind"
Lord Kelvin - 1888

Je suis professeur de mathématiques en collège et pour la deuxième séance de l'année 2019-2020, j'ai réalisé avec mes 142 élèves de cinquième et quatrième une évaluation diagnostique sur leur connaissance des tables de multiplication. Cette séance était aussi l'occasion de leur apprendre à utiliser les tablettes ainsi que DocEval, une web-application qu'ils utiliseront souvent par la suite. Le test était réglé sur 5 min pour 20 questions, et voici la plus agressive d'entre-elles :

Cette information, récupérée immédiatement après le test dans une rubrique bilan, indique à l'enseignant que 73,9% des candidats (105 élèves) ont répondu correctement à cette question. Plus finement, et concernant les 37 réponses erronées, la console nous apprend aussi que 8 élèves n'ont pas répondu à cette question, 8 élèves aimeraient que le produit de 8 par 8 soit égal à 56, tandis que 7 autres préfèreraient qu'il soit égal à 63.

L'immédiateté et la finesse des bilans produits incite aussi l'enseignant à passer rapidement du diagnostic aux premiers soins d'urgence. Avant même d'envisager des remédiations personnalisées, on peut par exemple mener la discussion, avec le groupe classe et juste après l'épreuve, autour de la vidéoprojection des questions ayant le plus posé problème.

L'exemple du test ci-dessus, choisi pour sa simplicité, montre aussi qu'une même mesure réalisée entièrement "à la main" d'amont en aval, si elle est envisageable dans l'idée, ne l'est pas en pratique. On peut craquer un message encrypté par RSA sur 2048 bits : on "peut" le faire, tout est question de temps...

Le règne du QCM

Parmi les outils numériques de mesure dont on dispose depuis des décennies, certains ne semblent être en apparence qu'une simple transposition du papier vers l'écran. Le plus emblématique d'entre eux est sûrement le QCM, utilisé de manière exclusive dans de nombreux examens et concours. Le code de la route, premier examen de France avec plus d'un million de candidats par an, est un de ceux-là et se déroule entièrement sur tablette tactile depuis la réforme 2016.

Toutefois, dans un environnement numérique le QCM n'est pas un équivalent papier puisqu'il permet à l'évaluateur de rédiger en amont des items composés d'éléments multimédias tels que vidéos, sons, animations et autres illustrations. En aval, le traitement statistique des réponses est aussi énormément facilité par le numérique. Ce support peut aussi permettre des rétroactions après ou durant l'épreuve, et renvoyer instantanément de riches informations, tant au candidat qu'à l'évaluateur.

Les évaluations de début de sixième utilisent le QCM dans la grande majorité des questions posées, avec quelquefois l'utilisation d'une variante qui consiste à masquer provisoirement les distracteurs sous des menus déroulants comme ceci :

Question proposée dans les évaluations 2018

Cette variante du QCM n'a aucun équivalent papier dans sa forme stricte, et permet de clarifier considérablement la compréhension de l'énoncé dans le cas de phrases à trous. Son impact cognitif semble aussi moins perturbant puisqu'il permet au candidat de réfléchir en entrée de question sans distracteur sous les yeux. Sur cet exemple, ce qui pourrait en revanche perturber l'oeil de l'enseignant, c'est qu'un codage indique sur la perspective axonométrique que toutes les arêtes sont de même longueur, mais laissons ce détail de côté.

La technologie retenue par le ministère est la même que celle choisie depuis 2012 pour les tests PISA : TAO assessment platform est une solution open source qui ne permet pas, au moment d'écrire ces lignes, de gérer les entrées libres ou semi-libres.

Dans DocEval, en choisissant une entrée "Nombre entier" plutôt que QCM, la question ci-dessus pourrait devenir ceci :

La suite de l'article se propose d'apporter des précisions sur ce format d'item, dans lequel le candidat doit taper des caractères au clavier, sans qu'il soit tout à fait libre d'écrire n'importe quoi. Mais ici rien ne dit que les auteurs des évaluations nationales pourraient souhaiter de tels formats d'entrée, puisque les distracteurs correspondent à une réserve potentielle de données qui permettent ensuite de produire statistiques et interprétations dans les bureaux de la DEPP (Direction de l'évaluation, de la prospective et de la performance). Dans ce cas, il est assez confortable de rendre fini l'ensemble des réponses possibles, puisqu'on peut alors préparer des analyses a priori sur la source de certaines erreurs prévisibles. Par exemple, une des trois réponses proposées dans l'évaluation nationale pour cet Item est le nombre 4, réponse que pourrait donner un candidat qui pense de façon un peu littérale que les sommets sont en haut.

Réaliser un QCM nécessite beaucoup de réflexion quand il s'agit de choisir son ensemble de distracteurs, qui doivent être plausibles et représenter pour la plupart des erreurs fréquentes. Le concepteur d'un item doit, par le biais de ses distracteurs, permettre un bilan précis de ce qu'il a repéré comme autant d'erreurs antérieures des élèves.

Dans l'exemple de l'item ci-dessus, le bilan permettra de faire état du nombre d'élèves qui confondent inverse et opposé, qui inversent l'écriture des chiffres, ou qui composent les notions d'inverse et d'opposé.

La présentation de solutions erronées fait partie des inconvénients majeurs de l'outil QCM, puisqu'il peut orienter un candidat dont les connaissances existent mais sont fragiles vers l'une des mauvaises réponses. Selon la nature de l'item, le choix d'un distracteur trop convaincant peut même engendrer d'autres effets de bords :

De nombreuses études ont été réalisées autour de la question des QCM, dont certaines sont très poussées dans le domaine des sciences cognitives et des sciences de l'éducation. La plupart des articles produits sur ce sujet sont souvent très positifs, tout en établissant parfois une liste de certains inconvénients. Il ne s'agit pas ici de dénigrer cet outil, très performant dans bien des cas, mais de le compléter par d'autres types de fermeture que la visualisation de réponses fausses. DocEval fournit bien entendu la fonctionnalité QCM, mais la programmation de ce module d'évaluation s'est faite autour de l'idée que cela ne suffit pas.

Du QCM à la reconnaissance de motifs

Le QCM est le représentant emblématique d'une forme d'évaluation à questions dites fermées, par opposition au texte libre permettant la réponse à des questions dites ouvertes ou construites. On imagine tout de suite ce que représente cette seconde catégorie, les enseignants y étant souvent confrontés dans leur pratique quotidienne. Les tâches intermédiaires et les tâches à prise d'initiatives représentent de bons exemples d'activités qui rendent souvent le papier indispensable.

Concernant l'évaluation, le QCM ne s'arrête pourtant pas là où commence forcément le papier. Entre les deux, il existe un vaste terrain d'investigation à découvrir et à défricher, qui permet encore l'utilisation d'outils numériques, là où le QCM n'est plus ni pertinent, ni efficace. C'est dans cet espace que se positionne DocEval.

Tables de multiplication : QCM vs reconnaissance de motifs

On critique quelquefois le QCM sur le fait qu'il exhibe des distracteurs sous les yeux du candidat. Par contre, on relève moins souvent que l'affichage de la bonne réponse interroge aussi, dans certains cas, sur la capacité du QCM à tester la solidité des connaissances. Dans l'exemple ci-dessus, on peut légitimement mettre en doute l'idée que l'élève qui répond 64 dans le premier cas aurait forcément répondu 64 dans le second. La réciproque, elle, est nettement plus digne de foi.

La plupart des solutions numériques d'évaluation reliées à des bases d'utilisateurs utilisent exclusivement le QCM (Kahoot!, Plickers, Quizizz, ...) comme modalité d'entrée. DocEval est un module orienté vers l'évaluation en mathématiques, et se libère ainsi des contraintes liées à la nécessité d'offrir une solution généraliste. Les différents types d'entrée sont accessibles dans l'éditeur de questions, comme le montre l'animation ci-dessous :

Dans la plupart des cas, le candidat doit taper sa réponse dans un ensemble de cadres texte disposés de façon à rappeler les notations utilisées sur le papier. De plus, ce qui est entré dans chacun de ces cadres ne peut pas sortir d'un jeu de caractères et d'une syntaxe qui correspond au type attendu. Par exemple :

Dans ce contexte, la conception d'une question nécessite dans bien des cas une réflexion sur ce qu'on veut évaluer. Considérons par exemple la question suivante :

Quelle est le quotient de la division euclidienne de 27 par 5 ?

Ici le choix du mode de réponse "Entier relatif" n'est pas équivalent à celui de "Décimal relatif". Dans le premier cas, le candidat qui essaie de taper une virgule va recevoir une information invisible, une sorte de feedback par défaut de réaction qui lui indique qu'il ne peut pas entrer de décimal. Dans ce cas l'enseignant ne peut pas récupérer dans son bilan le nombre d'élèves qui calculent le quotient de 27 par 5, mais rien ne dit qu'un choix vaut mieux que l'autre : c'est à l'évaluateur de décider, en fonction de ce qu'il souhaite retenir comme critère d'évaluation.

Toutes les entrées numériques de DocEval sont basées sur la notion de reconnaissance de motifs (pattern matching) : de manière interne, un mécanisme d'expressions régulières vient placer le candidat sur des rails dont il ne peut sortir lorsqu'il tape au clavier. En dehors du rôle de guide pour l'élève, c'est aussi l'assurance pour le correcteur qu'aucune réponse juste ne sera invalidée par la présence de caractères tapés par mégarde.

Rédaction d'un item : le texte brut

Créer des évaluations sur diverses plateformes (comme Kahoot!, Quizizz ou Plickers) oblige le rédacteur à rester, lors de la conception des questions, sur les rails d'une interface graphique prédéfinie. Par soucis de simplicité d'utilisation, ces sites ne permettent donc pas de laisser libre cours à votre imagination concernant le design des items.

Interface de rédaction des questions sur Quizizz

Contrairement à Kahoot! et Plickers, Quizizz permet d'intégrer des formules mathématiques sans passer par des inclusions d'images, mais la présentation des items, sujette à de nombreuses contraintes, reste assez uniforme.

Pour permettre la liberté totale de création, DocEval utilise le texte brut comme unique moyen de rédiger des questions. Imposer ainsi l'utilisation d'un langage de description de page est un choix qui peut paraître risqué, puisqu'à priori on diminue considérablement l'intuitivité et l'ergonomie de la fonctionnalité. Pour pallier cette difficulté, le module de création de DocEval accompagne l'utilisateur, en lui proposant un mécanisme qui lui permet d'éviter la mémorisation d'une quelconque syntaxe (mis à part le TeX pour les formules: voir plus bas).

Plein texte sur DocEval

Rédiger un item se fait dans DocEval par l'intermédiaire d'un éditeur plein texte. Tout ce qui est affiché dans l'aperçu, y compris les images, est entré dans l'éditeur en texte brut.

Comme le montre l'animation ci-dessus, les formules mathématiques se tapent en TeX et doivent être entourées du double caractère $. L'aperçu réagit en temps réel, ce qui permet de vérifier la validité de son entrée texte au fur et à mesure de la frappe.

Plus troublant sans doute, les images sont aussi enregistrées sous forme de texte dans l'éditeur. L'animation ci-dessus montre comment se passe un glisser-déposer d'image, et sa représentation texte dans l'éditeur. Certains lecteurs devraient aussi reconnaître la syntaxe générée par l'inclusion de l'image, qui n'est autre que celle du HTML. C'est dans ce langage de description de pages web que tout se fait dans l'éditeur.

Il n'est bien sûr pas nécessaire de connaître le HTML pour rédiger des questions dans DocEval, mais il est clair aussi qu'un enseignant qui possède quelques bases dans ce domaine pourra inclure dans ses questions tout ce qu'on peut trouver dans n'importe quelle page web.

La plupart des plateformes de vidéo en ligne permettent l'intégration de vidéos sur des sites web, par copier/coller de code HTML. Intégrer une vidéo à une question DocEval est donc très simple, comme le montre l'animation ci-dessus.

Les QCM sont aussi représentés de manière interne par des chaînes de caractères. Chaque réponse doit être entourée d'un double &, et peut contenir du TeX, des images, des vidéos ou tout ce qui peut être affiché avec du HTML.

Production et partage

Dans un premier temps, j'ai programmé DocEval autour de l'idée qu'il était nécessaire de fournir un éditeur simple d'utilisation qui puisse aussi permettre la plus grande flexibilité concernant la rédaction de questions. Faciliter la production d'énoncés tout en laissant libre cours à l'imagination de l'auteur représente aussi, de mon point de vue, une probabilité assez élevée que de nombreuses évaluations puissent être rédigées en peu de temps sur DocEval.

Faire la part belle à la production n'était pas le seul objectif du cahier des charges de ce module, qui devait en même temps permettre aux collègues plus pressés de créer des énoncés en utilisant les travaux de la communauté.

La vidéo ci-dessus est un peu longue (3min37s) étant donné qu'elle se propose de rendre compte de façon assez détaillée du mécanisme retenu pour le partage des questions sur DocEval, aussi bien du côté "producteur" que "consommateur".

De nombreux énoncés sont d'ores et déjà partagés et disponibles sur la plateforme, et il est tout à fait naturel d'imaginer que dans un premier temps, les utilisateurs se servent, dans leurs propres énoncés, de ces questions rédigées par d'autres membres de la communauté. J'espère toutefois que les collègues qui consomment, au bout d'un moment, penseront aussi de temps en temps à produire et partager.

Des élèves en action

À l'occasion d'un concours de calcul mental organisé en deux manches et une finale, tous les élèves de 5°, 4° et 3° de mon établissement ont déjà passé, au moment d'écrire ces lignes, un premier test de 20 min pour 30 questions.

Deux collègues se sont chargées de la création des 3 sujets sur DocEval (merci Aude et Gwenaëlle !). Nous avons ensuite été cinq enseignants à faire passer ces tests sur DocEval dans nos classes, certains en utilisant des tablettes, d'autres les ordinateurs en salle informatique. Voici quelques photos d'élèves en action prises pendant l'épreuve du niveau 5° (cliquer ou taper dans l'image pour consulter la photo suivante) :

467 élèves ont au final passé cette première manche sur DocEval, sans rencontrer d'autres soucis que des soucis purement mathématiques.

Le temps que les moins de vingt ans...

Le document que l'on donne, la copie qu'on récupère, qu'on corrige et que l'on rend. Au bon vieux temps du tout papier, cet aspect récurrent de la relation didactique entre le maître et l'élève ne représentait pas dans sa forme une transaction très complexe. L'un comme l'autre savaient ce qu'ils devaient faire, comment le faire, et pourquoi le faire. Le numérique a sûrement quelque peu changé la donne sur la question du "comment".

Dès l'apparition des premiers claviers dans nos établissements, quelques enseignants motivés ont désiré reproduire le rituel sur la base, cette fois-ci, de documents dématérialisés issus de différents types de logiciels. Ici les choses commençaient à se compliquer.

En essayant de classer chronologiquement les multiples supports numériques possibles pour l'échange de documents - de l'antiquité jusqu'à nos jours - nous pourrions obtenir une liste non exhaustive comme celle-ci :

Principe de réalité

Dans tous les cas, à des degrés divers, il y a des manipulations techniques à effectuer du côté de l'enseignant comme de celui de l'élève. Ce dernier doit par exemple accéder au logiciel dans lequel il ouvre le document modèle, il crée ensuite un fichier qu'il doit souvent nommer correctement et enfin l'attacher, l'uploader ou le transférer suivant les cas.

"Stocker et organiser des données pour les retrouver, les conserver et en faciliter l’accès et la gestion (avec un gestionnaire de fichiers, un espace de stockage en ligne, des tags, des classeurs, des bases de données, un système d’information, etc.)."

Au regard du nouveau cadre de référence des compétences numériques, nos jeunes citoyens sont supposés se sortir vaillamment de toutes les embûches techniques liées à la correspondance de fichiers. Voilà pour la théorie.

Concernant la pratique, celles et ceux qui se sont déjà livrés à des activités de transfert et de récupération de documents dématérialisés au sein de la classe auront sans doute remarqué que nous ne vivons pas toujours, de ce point de vue, dans le meilleur des mondes possibles. Dans bien des cas, des problèmes techniques viennent parasiter l'activité mathématique et conduisent quelquefois à une situation dans laquelle des copies ne peuvent pas être rendues. Une situation que n'importe quel enseignant ne pourrait pas accepter dans le cadre d'un travail écrit sur papier.

Les 3 étapes de DocShare

Pour créer son document modèle sur DocShare, l'enseignant choisit sur le site le type de logiciel qu'il souhaite utiliser. Au moment d'écrire ces lignes, 10 logiciels sont gérés par la web-application :

Les 6 premiers de cette liste ont été modifiés de façon à implémenter et mettre en évidence un bouton "Enregistrer" sur le document de l'élève. Pour les 4 derniers, ce bouton n'est pas nécessaire puisque les outils google enregistrent le travail au fur et à mesure de façon transparente.

La vidéo ci-dessus montre comment utiliser DocShare pour créer un document modèle de type Scratch. La seule différence entre le logiciel d'origine et le rendu sur DocShare est la présence d'un bouton permettant d'ouvrir un fichier depuis son disque dur, ainsi qu'un autre pour enregistrer son modèle. Ce type d'interface se retrouvera à l'identique pour les 5 autres logiciels non google.

L'enseignant dispose ensuite dans DocTools d'un lien raccourci ou d'un QRCode qui permet à l'élève d'accéder à l'activité. Celui-ci n'a plus qu'à s'authentifier avec son nom d'utilisateur et son mot de passe pour entrer dans l'interface du logiciel et travailler à partir du modèle, comme John Doe le fait sur la vidéo ci-dessus.

C'est encore dans la rubrique DocShare de son espace personnel que l'enseignant doit se rendre pour consulter les travaux de ses élèves. Dans l'exemple ci-dessus, des élèves ont travaillé dans Scratch sur le tracé de polygones réguliers : leurs noms sont masqués sur la vidéo, mais ils apparaissent en clair aux yeux de l'enseignant. Dans cette même rubrique l'enseignant pourra aussi, s'il le souhaite, télécharger en un seul lot (archive zip) tous les documents qui correspondent à une activité donnée : les fichiers seront du type du logiciel d'origine et sont nommés par classe, nom et prénom de l'élève.

Le site DocTools a ouvert ses portes l'an dernier, après trois années de réflexion et d'essais sur la question de l'évaluation et du partage. Comme souvent lorsqu'il s'agit de productions logicielles, le travail n'est pas terminé, loin s'en faut...

Je dois d'une part améliorer l'existant, et rien ne vaut pour cela le retour des utilisateurs. L'équipe de Mathematice m'a proposé de publier le présent article (grand merci !), et je tiens à profiter de cette occasion pour demander aux lecteurs de me faire part de leurs remarques concernant l'utilisation des DocTools : surtout n'hésitez pas à me contacter (eric.hakenholz AT gmail.com) pour signaler des erreurs, des manques, ou des améliorations possibles.

D'autre part, je prépare un troisième module qui devrait être disponible à la rentrée 2020 (si tout va bien...) et qui sera dédié à l'entraînement : l'enseignant devrait pouvoir y créer simplement des activités sous forme de jeux en plusieurs niveaux, en accès libre, et basées sur la génération aléatoire de questions. Je fais ceci pour l'instant "à la main" sur un site personnel qui contient de nombreux exemples comme celui-ci.