NLDR : De la statistique à l’IA

Pour un statisticien de métier, a fortiori s’il a accumulé une certaine expérience, il y a de quoi être agacé par l’explosion actuelle de l’IA. Pour ne donner que deux exemples, la reconnaissance de caractères, ou la détection de fraudes à la carte bancaire, se pratiquent de longue date par des méthodes statistiques éprouvées, que l’on n’a songé que récemment à qualifier d’IA. Comme le dit Saporta (2023) « Tout algorithme ou toute méthode statistique se retrouve qualifiée d’IA, le plus souvent abusivement ». Des exposés sur les réseaux de neurones (le moteur théorique principal de l’IA), on en suivait dans les congrès de statistique dès les années 1980, parallèlement au développement de beaucoup d’autres méthodes de traitement de données. Doit-on pour autant nier la révolution à laquelle nous assistons depuis bientôt trois ans ? Allons-nous nous ridiculiser en chantant à tue-tête l’antienne du « rien de nouveau sous le soleil » ?

Vincent Brault est idéalement placé pour éclaircir le débat. Statisticien de formation, sa spécialité de recherche l’a amené à développer des méthodes de traitement des gros ensembles de données, en franglais les Big Data. Maître de conférences à l’IUT2 Grenoble dans le département Science des Données, il a été un des artisans de la création du Bachelor Universitaire de Technologie — Science des Données, et il est à l’origine du programme national sur les méthodes statistiques pour le Big Data. Il est donc à même d’appréhender la révolution de l’IA du point de vue informatique autant que statistique. De plus en tant qu’enseignant, il est confronté comme beaucoup, aux défis pédagogiques de l’utilisation de l’IA par ses étudiants, et il a bien l’intention de les relever.

Il aborde chacune de ses trois compétences, en autant d’articles qu’il présente à MathémaTICE.

• Si je ne comprends pas la réponse de ChatGPT, c’est que ça doit être vrai (celui-ci)
  
  L’article développe l’interrogation (en cours) de Vincent Brault sur sa pratique pédagogique : comment réagir face aux étudiants qui consomment du ChatGPT sans aucun esprit critique ? Comment continuer à enseigner des méthodes qui sont d’autant moins maîtrisées qu’elle restent opaques pour beaucoup ?

• Allons nous finir dans le film Matrix ?
  
  Pour tenter de dépasser les discours vainement alarmistes sur les dangers de l’IA, il faut comprendre quels sont les enjeux, quels sont les risques et d’où ils proviennent. Au travers de quelques exemples particulièrement parlants, Vincent Brault explique pourquoi les algorithmes de l’IA pourront toujours induire certains effets indésirables (voir)

• La statistique à l’ère de la Big Data
  
  Il est vain de prétendre que la statistique du siècle dernier est capable de traiter, sans autre évolution, les énormes ensembles de données générés actuellement. Vincent Brault explique, au travers de quelques exemples, quels sont les écueils et comment les méthodes statistiques doivent s’adapter pour y pallier. Convenablement aménagées, elles s’avèrent tout aussi efficaces, et moins énergivores que les Grands Modèles de Langages (LLM) de l’IA (voir).

Si je ne comprends pas la réponse de ChatGPT, c’est que ça doit être vrai

L’introduction de ChatGPT dans notre vie de tous les jours a pris de court beaucoup d’entre nous et nous a obligés à revoir notre façon d’enseigner. Dans ce billet, je vais essayer d’apporter mon témoignage sans aucune prétention que ce soit la vérité absolue mais pour donner quelques pistes de réflexions.

Mais tu vois bien que la réponse est absurde non ?

Reprenons depuis le début : ChatGPT fut accessible au grand public en novembre 2022 et a eu une croissance fulgurante de mon point de vue puisque des articles grands publics en parlaient déjà en janvier 2023 [1].

Pour ma part, j’avais d’autres problèmes à gérer et je n’y pris pas attention avant la rentrée 2023 lorsque j’ai réalisé que certains élèves posaient directement les questions de mes énoncés à ChatGPT avant même de réfléchir. Cette utilisation abusive fonctionnait en stage et avait permis à certains de cacher leurs lacunes et de paraître plus brillants qu’ils ne l’étaient au sein de leur entreprise.

Alors au début, cela nous a fait sourire. Nous avions connu Tay, le chatbot devenu raciste en une journée [2], et à cette époque, ChatGPT était nul pour faire des opérations jugées simples comme des additions (voir référence [a]). On essaye un peu, on regarde par-dessus l’épaule d’un élève les résultats aberrants recopiés et on se dit que ce dernier va s’en apercevoir. Mais non. On fait un premier examen en autorisant ChatGPT (en s’assurant avant que les réponses proposées par ce dernier ne soient pas cohérentes), on met du coup 6 sur 20 car les réponses ne sont pas bonnes et on se dit que ça servira de leçon. Toujours rien.

Alors pourquoi ? Pourquoi ces élèves ne comprennent-il pas que les réponses sont absurdes ?

N’étant pas un grand fan du passéisme [3], j’ai essayé de trouver un parallèle avec mon époque étudiante. Il y avait bien Wikipédia ou des sites avec des codes qui semblaient faire la même chose mais nous ne trouvions jamais pile poil le code que nous voulions et il fallait réfléchir à l’adaptation. Cherchons encore.

Do U spick anglais ?

En 2007, j’étais étudiant en mathématiques et j’étais heureux : des cours d’analyse, de géométrie, d’algèbre, de probabilités, d’équations différentielles. Je suivais des cours de maths, je mangeais maths, je rêvais même parfois maths ; bref, je faisais des maths tout le temps… enfin presque tout le temps. Le seul cours que nous avions en plus, c’était un cours d’anglais. Avec mon recul de vieux, je sais maintenant à quel point j’aurais dû être plus investi dans ces cours surtout que ma prof d’anglais était géniale ; mais tout le temps que je consacrais à l’anglais, c’était du temps que je ne pouvais pas consacrer aux maths. De plus, fort d’un retard accumulé depuis mon collège et malgré quelques tentatives de cours de soutien, j’étais hermétique à cette langue. Alors comment faire ? Comment rendre les mémoires, faire les présentations et autres devoirs sans y passer tout le week-end ?

C’est là que Google traduction est apparu. Et je serais le plus grand hypocrite si je jugeais mes élèves qui utilisent ChatGPT à tout va puisque j’ai moi-même fait du copier/coller de Google traduction. Evidemment que je savais que la traduction n’était pas bonne, je me doutais que le texte était peut-être faux voire complètement rempli d’incohérences, mais je n’avais pas les capacités de le voir car ce texte, j’aurais été incapable de l’écrire ; pire, bien que j’aie écrit la version française, j’aurais été incapable parfois de comprendre les phrases séparément.

Je ne suis pas venu·e ici pour souffrir OK ?

En écrivant cet article et en calquant ma propre expérience sur celles de mes élèves (attention, à ne pas faire tout le temps, ce billet est un billet exploratoire), je me rends compte à quel point il a été vain de faire comprendre que ChatGPT est mal utilisé.

De toute façon, certains de ces élèves auraient juste attendu la correction en s’attendant à ce que le prof peste sur le fait qu’ils n’avançaient pas (à tort ou à raison, je ne pourrais pas le dire). Au moins, ChatGPT donne l’impression que quelque chose a été fait et si le prof ne regarde pas de près, il ne viendra pas les embêter.

Et puis, pourquoi je chercherais par moi-même si la solution existe déjà ? En plus, il faudrait que je relise le cours, le comprenne, c’est du temps perdu ça. De toute façon, le cours, je ne l’ai déjà pas compris lorsque le prof l’a expliqué, pourquoi je le comprendrais mieux en le relisant ? Et puis, moi, de toute façon, ce que je préfère, c’est un autre cours…

Et c’est là, selon moi, la difficulté de l’introduction de ChatGPT : il faut que les élèves aient déjà une petite envie de réfléchir à la question, que la piste d’approche de la solution soit déjà présente dans leurs esprits pour que la tentation soit moins forte de simplement demander à ChatGPT. Et, toujours d’après moi, seuls deux éléments peuvent permettre de gagner cette course contre la montre : leur motivation et notre façon de stimuler cette motivation.

Si je caricature, nous avons toujours eu deux groupes (évidemment, nous avons toutes les nuances entre ces deux extrêmes) :

• les élèves qui comprennent que maîtriser la base les aidera à mieux faire les exercices voire leur permettra d’être plus à l’aise dans leurs boulots futurs. Ceux-là vont peut-être utiliser ChatGPT mais quand le résultat sera absurde, ils le verront, le corrigeront et pourront ainsi s’améliorer (un peu comme quand ils expliquent un point à leurs camarades).
• les élèves qui sont là pour viser le 10 parce qu’il faut bien avoir un diplôme et que, puisqu’ils se retrouvent dans cette formation, autant avoir celui-ci. Avant, à un moment, ceux là étaient obligés de travailler leur cours de gré ou de force, souvent la veille du contrôle. Éventuellement, en TP, ils essayaient de faire un ou deux trucs.

Maintenant, ChatGPT donne une solution qu’ils recopient. Cette solution est peut-être fausse mais, lorsqu’ils finissent par relire leurs codes la veille du contrôle, ils ne le verront pas voire l’apprendront par cœur.

Et du coup, on fait quoi ?

Au final, je n’arriverai pas à dire si ChatGPT est bon ou mauvais. Pour le moment, j’explore plusieurs pistes :

• Dans mes TPs, l’utilisation de ChatGPT est totalement interdite et je peux mettre une sanction si j’ai un doute. Je peux me permettre ceci car j’enseigne à chaque fois des nouvelles connaissances avec des codes qui ne sont pas censés avoir été faits avant.
• Par contre, je n’ai aucune règle pour les SAÉ (Situation d’Apprentissage et d’Évaluation) puisque ces dernières sont censées être des adaptations du cours et, si le travail a correctement été fait, les élèves pourraient être dégoûté·e·s de refaire tout le temps le même code.
• En revanche, je vais imposer la présence obligatoire dans les séances d’autonomie (alors que, jusqu’à présent, nous les laissions libres de travailler chez eux). Pourquoi ça ? Car j’ai reçu le témoignage d’élèves qui vont questionner ChatGPT pour tout avant leurs amis ou les personnes compétentes (même sur des questions de la vie privée par exemple, mais c’est un autre débat). En les mettant au même endroit, j’ai espoir (peut-être vain) qu’ils posent les questions à leurs collègues ou au moins qu’ils entendent les interrogations des autres groupes.
• Je reprends mes énoncés pour qu’il soit (encore) plus clair pour eux où aller chercher l’information dans le cours. Les encourager à relire d’abord telle ou telle partie (ce qu’ils auraient dû faire par eux-mêmes s’ils ne trouvaient pas) afin de susciter la petite étincelle d’intérêt.

Je ne sais pas encore si cela va fonctionner, ce sera l’objet du prochain article 😉

Bibliographie

[a] Chen, L., Zaharia, M., & Zou, J. (2024). How is ChatGPT’s behavior changing over time ? Harvard Data Science Review, 6 (2).