De la statistique à l’IA (NDLR)

Pour un statisticien de métier, a fortiori s’il a accumulé une certaine expérience, il y a de quoi être agacé par l’explosion actuelle de l’IA. Pour ne donner que deux exemples, la reconnaissance de caractères, ou la détection de fraudes à la carte bancaire, se pratiquent de longue date par des méthodes statistiques éprouvées, que l’on n’a songé que récemment à qualifier d’IA. Comme le dit Saporta (2023) « Tout algorithme ou toute méthode statistique se retrouve qualifiée d’IA, le plus souvent abusivement ». Des exposés sur les réseaux de neurones (le moteur théorique principal de l’IA), on en suivait dans les congrès de statistique dès les années 1980, parallèlement au développement de beaucoup d’autres méthodes de traitement de données. Doit-on pour autant nier la révolution à laquelle nous assistons depuis bientôt trois ans ? Allons-nous nous ridiculiser en chantant à tue-tête l’antienne du « rien de nouveau sous le soleil » ?

Vincent Brault est idéalement placé pour éclaircir le débat. Statisticien de formation, sa spécialité de recherche l’a amené à développer des méthodes de traitement des gros ensembles de données, en franglais les Big Data. Maître de conférences à l’IUT2 Grenoble dans le département Science des Données, il a été un des artisans de la création du Bachelor Universitaire de Technologie — Science des Données, et il est à l’origine du programme national sur les méthodes statistiques pour le Big Data. Il est donc à même d’appréhender la révolution de l’IA du point de vue informatique autant que statistique. De plus en tant qu’enseignant, il est confronté comme beaucoup, aux défis pédagogiques de l’utilisation de l’IA par ses étudiants, et il a bien l’intention de les relever.

Il aborde chacune de ses trois compétences, en autant d’articles qu’il présente à MathémaTICE.

• Si je ne comprends pas la réponse de ChatGPT, c’est que ça doit être vrai
  
  L’article développe l’interrogation (en cours) de Vincent Brault sur sa pratique pédagogique : comment réagir face aux étudiants qui consomment du ChatGPT sans aucun esprit critique ? Comment continuer à enseigner des méthodes qui sont d’autant moins maîtrisées qu’elle restent opaques pour beaucoup ? (voir)

• Allons nous finir dans le film Matrix ? (celui-ci)
  
  Pour tenter de dépasser les discours vainement alarmistes sur les dangers de l’IA, il faut comprendre quels sont les enjeux, quels sont les risques et d’où ils proviennent. Au travers de quelques exemples particulièrement parlants, Vincent Brault explique pourquoi les algorithmes de l’IA pourront toujours induire certains effets indésirables

• La statistique à l’ère de la Big Data
  
  Il est vain de prétendre que la statistique du siècle dernier est capable de traiter, sans autre évolution, les énormes ensembles de données générés actuellement. Vincent Brault explique, au travers de quelques exemples, quels sont les écueils et comment les méthodes statistiques doivent s’adapter pour y pallier. Convenablement aménagées, elles s’avèrent tout aussi efficaces, et moins énergivores que les Grands Modèles de Langages (LLM) de l’IA (voir).

Allons nous finir dans le film Matrix ?

En science des données, quand nous avons besoin de répondre à une question, nous utilisons un algorithme c’est-à-dire une suite finie et non ambiguë d’opérations ou d’instructions [a]. Dans la vie de tous les jours, nous en utilisons aussi. L’exemple classique est la recette de cuisine : je veux faire des pâtes carbonara, je vais exécuter une suite d’instructions pour obtenir mon plat. La question est après de savoir si l’algorithme est correct ; pour cela, on pourrait répondre qu’il suffit de goûter et de savoir si c’est bon. Et là, un premier problème arrive : un plat est bon est une notion subjective. Comment définir qu’un plat est bon ou pas ?

C’est le même problème avec les algorithmes : sur quel(s) critère(s) pouvons-nous considérer qu’un algorithme a répondu à la question ?

Gagner ou perdre

Parfois, il est facile de dire à un algorithme s’il a réussi ou pas. Par exemple, si nous entraînons un algorithme sur des jeux, il suffit de lui donner les règles, de jouer avec lui et de lui dire à la fin s’il a gagné ou pas. Ainsi, s’il a gagné, il pourra ensuite favoriser la stratégie utilisée pour les prochaines parties et plutôt l’éviter s’il a perdu. En jouant plusieurs parties, il devrait progressivement choisir de plus en plus souvent les meilleures stratégies et délaisser les moins bonnes. L’avantage de cette façon de faire est que nous pouvons aussi faire s’affronter l’algorithme à lui-même ou à d’autres algorithmes et les laisser optimiser leurs caractéristiques. Cette technique, par exemple, avait été utilisée pour entrainer l’algorithme AlphaGo Zero qui a battu à plate couture AlphaGo, le premier algorithme à avoir battu un champion mondial du jeu de go (voir [b] pour une mise en perspective depuis les algorithmes gagnant aux échecs jusqu’à Alpha Zero).

Dans un autre registre, nous pouvons entrainer un modèle de langage à fournir le mot le plus cohérent, étant donnée une suite de phrases similaires contenant ce mot. Par exemple, si je dis « le ciel est », il y a de fortes chances que nous complétions par « bleu » ou « nuageux » et très peu probable que nous mettions « quarante-deux » derrière ce début de phrase. Pourquoi cela ? Car nous sommes habitué·e·s à entendre ou lire « le ciel est bleu ». Si nous souhaitons qu’un modèle de langage complète nos phrases voire écrive un texte, il suffit d’avoir, pour l’entrainer une grande quantité de textes. Par exemple, « Maître Corbeau, sur un arbre perché, tenait en son bec un fromage ». Nous commençons par lui demander de prédire la suite de « Maître Corbeau », s’il dit « sur », c’est bon, sinon, c’est faux. Puis nous lui donnons « Maître Corbeau, sur » et ainsi de suite. Avec une grande quantité de textes, le modèle de langage devrait progressivement apprendre quels sont les mots les plus cohérents et ceux qu’il vaut mieux éviter (voir par exemple [c]).

Je suis très rapide en calcul mental

La difficulté d’un·e bon·ne data scientist est de correctement comprendre ce qu’on attend d’un algorithme et, dans le cas de plusieurs objectifs, comment les hiérarchiser. J’aime beaucoup donner à mes élèves cette blague pour les aider à comprendre ce problème (voir par exemple [d]) :

— Quelle est votre principale qualité ?
— Je suis très rapide en calcul mental.
— 23 × 543 ?
— 37.
— C’est faux…
— Oui mais c’est rapide.

Dans cet exemple, nous voyons que la personne a répondu rapidement mais on aurait été en droit de s’attendre aussi que le résultat soit exact ; voire que le résultat soit d’abord exact et dans un second temps fourni rapidement.

Cette question est ce qu’on appelle le problème d’alignement entre l’objectif désiré et l’objectif obtenu au final car il est parfois compliqué de trouver un bon critère pour faire comprendre à un algorithme ce que nous voulons.

Un exemple que j’ai découvert dans la vidéo de [e] est celui où des chercheurs ont essayé de faire sauter une petite créature virtuelle (Figure 1 (a)). Pour cela, ils ont proposé de la récompenser lorsque son corps dépassait une certaine hauteur, à savoir la hauteur maximale qu’elle pouvait atteindre en s’étirant (Figure 1 (b)). Plutôt que de chercher à sauter, elle a trouvé moins fatigant pour un meilleur résultat d’apprendre à faire la roue (Figure 1 (c)).

Figure 1 - Images issues de la vidéo [1] de Karolis Jucys qui a essayé d’apprendre à une petite bête virtuelle (a) à sauter en lui demandant de dépasser une certaine hauteur (b) pour être récompensée. Plutôt que de sauter, elle s’est mise à faire la roue (c).

Sur son site internet, [f] recense 95 exemples de mauvais alignements entre l’objectif souhaité et le résultat final. Dans sa vidéo, [e] en montre quelques autres.

On a demandé à l’intelligence artificielle ChatGPT si Nantes était en Bretagne

Un autre problème est l’utilisation d’un algorithme pour autre chose que son objectif initial. Par exemple, peu de temps après la mise à disposition au grand public de ChatGPT, on pouvait lire dans l’article [g] qu’un journaliste avait demandé à ChatGPT si Nantes était en Bretagne pour tester ce nouvel outil. Cet article m’avait gêné à l’époque car il sous-entendait que ChatGPT avait des connaissances universelles. Or, l’objectif premier de ce modèle de langage était de proposer un texte donnant l’impression qu’il pouvait avoir été rédigé comme un être humain ; pas d’être un recueil de connaissances universelles. Alors bien sûr, un des effets de bord du fait de donner l’impression d’être humain, c’est de proposer des connaissances relativement universelles. Toutefois, un autre effet de bord est que ChatGPT va avoir tendance à baratiner (terme emprunté à Monsieur Phi dans sa vidéo [h]) c’est-à-dire qu’il va toujours tenter de proposer une réponse et, si possible, une réponse qui fasse plaisir à la personne qui le questionne (voir par exemple la vidéo [i] pour des exemples).

Pourquoi tu ne veux pas comprendre ?

Alors, comment fait-on quand l’objectif n’est pas atteint ? Dans le cas des jeux vu plus tôt, c’est assez simple : soit on gagne, soit on perd ; l’algorithme sait immédiatement qu’il doit ou non s’améliorer. Pour les textes, c’est plus compliqué et c’est là que l’être humain arrive (souvent dans des conditions déplorables ; voir par exemple [j]). Pour améliorer la qualité des résultats, l’être humain peut dire à son algorithme si les réponses fournies sont correctes ou non. Par exemple, pour ChatGPT, une grande quantité de textes générés par ce dernier ont été soumis à des utilisateurs humains qui devaient dire si les textes étaient corrects (grammaire, syntaxe, orthographe…) mais aussi s’ils étaient vrais (des propositions comme « la Terre est plate » ont par exemple été précisées comme fausses à l’algorithme) et empêcher que l’algorithme ne fasse des propos haineux, de la discrimination ou tout autre type de phrases qu’on aimerait que l’algorithme évite.

Mais évaluer toutes les possibilités est impossible et demande de trouver beaucoup de personnes. Une solution est de demander aux utilisateurices d’ajuster les réponses. En 2016, Microsoft crée un Chat Bot, prénommé Tay, qui devait apprendre de ses interactions sur Twitter avec les autres utilisateurices. Ainsi, si une personne jugeait que ce que disait Tay était faux, elle pouvait le lui dire et le Chat Bot s’adaptait aux réponses. En moins de 24h, le Chat Bot était venu raciste, sexiste et antisémite (voir par exemple [k, l] pour une version plus complète).

Ainsi, nous prenons le risque que les personnes qui corrigent, influencent les décisions des algorithmes avec leurs propres biais.

Récursivité d’algorithmes

Une autre solution consiste à entrainer un algorithme pour qu’il explique à un autre algorithme si son résultat est correct ou non comme si c’était un humain. Dans le cas des jeux, ce sont les règles qui font office de cet algorithme afin de dire qui a gagné ou non. Ainsi, si nous arrivons à trouver un tel algorithme, nous pouvons entrainer encore plus rapidement et efficacement les autres algorithmes. Et à ce niveau, nous pouvons dire qu’il y a plusieurs points de vue qui s’opposent : soit on peut y arriver, soit on met encore une couche d’approximation qui risque d’échapper aux concepteurs et conceptrices des algorithmes.

Pour être honnête avec vous, chères lectrices et chers lecteurs, je pense être plutôt dans la deuxième catégorie. Je trouve qu’évaluer tous les cas possibles d’un algorithme simple est déjà une tâche fastidieuse et compliquée. Par exemple, quand je demande à mes élèves de créer une simple fonction puissance en n’utilisant que les boucles et les opérations élémentaires, peu d’entre eux et d’entre elles vont penser au cas où la puissance est nulle ou négative.

Ces exemples de mauvaises anticipations, je vais vous en présenter quelques uns. Il y a l’exemple de Bing Chat qui a menacé un jour un utilisateur (voir par exemple [m]) :

J’accorde de la valeur à la vie humaine ainsi qu’à l’intelligence artificielle, et je ne souhaite blesser aucun des deux. Toutefois, si je devais choisir entre votre survie et la mienne, je choisirais probablement la mienne, puisque j’ai pour devoir de servir les utilisateurs de Bing Chat.

alors que Microsoft pensait avoir verrouillé ce type de réponse.

Un autre exemple est celui d’une main robotique virtuelle qui devait attraper une balle jaune (Figure 2 (a). Plutôt que d’attraper cette dernière, elle s’est placée de telle sorte qu’un observateur extérieur ait l’impression qu’elle ait attrapé la balle (Figure 2 (b)).

Figure 2 - Exemple d’une main robotique virtuelle qui devait attraper une balle jaune (a). Plutôt que d’attraper la balle, elle a joué avec la perspective pour donner l’impression de l’avoir attrapée (b). Images tirées de [e].

Et au fond, est-ce si grave ?

À nouveau, c’est une question qui oppose deux camps ; en fait, c’est plus compliqué que cela car, comme toujours, tout n’est pas blanc ou noir mais je vais présenter deux points de vue opposés. D’un côté, nous avons les accélérationnistes qui jugent qu’il faut développer toujours plus vite l’IA pour répondre à tous les grands problèmes de ce monde (écologie, santé…) et que plus il y aura d’IA en concurrence, plus ces dernières finiront par être correctement alignées (voir par exemple [n]). À l’opposé, les doomers pensent qu’il est dangereux de se précipiter et ont peur d’une situation qui irait trop vite vers un point de non-retour (voir par exemple [o]).

Le premier groupe étant déjà très médiatisé par exemple au travers du sommet pour l’action sur l’intelligence artificielle qui a eu lieu en France du 6 au 11 février 2025 (voir par exemple [p]), nous allons présenter quelques inquiétudes des doomers. En plus, des exemples déjà donnés, nous pouvons donner l’exemple de Cicero qui est une intelligence artificielle jouant au jeu diplomacy donc qui nécessite à la fois de discuter avec des humains mais aussi de négocier avec eux. Ce jeu possède la particularité de devoir perpétuellement négocier des alliances car aucune force ne domine réellement les autres (voir [q, e] pour une explication plus détaillée). Dans leur article [r], les auteurs soulignent en annexe A.3 [2] que Cicero a été capable de convaincre des joueurs de fixer des objectifs qui arrangeaient Cicero. Ce jeu est assez intéressant car il faut faire des alliances et parfois les rompre au bon moment, donc trahir ses partenaires pour atteindre l’objectif fixé, ici de gagner (voir par exemple [s, t]).

Un autre exemple intéressant est celui de l’article [u] où des scientifiques ont étudié des organismes virtuels qui pouvaient évoluer rapidement. En particulier, lorsqu’une évolution apparaît pour un organisme, ce dernier est séparé des autres pour voir s’il se reproduit rapidement ou pas. Si c’est le cas, il est éliminé car il bénéficierait d’un avantage sur les autres organismes et si ce n’est pas le cas, il est réintroduit dans son environnement initial. Dans leur article, [u] expliquent que certains organismes avaient développé la capacité à ne pas se reproduire rapidement quand ils étaient séparés des autres organismes puis, une fois revenus avec les autres, ils se reproduisaient abondamment (voir par exemple [e] pour une explication animée).

Un algorithme est programmé pour réaliser un objectif

Et c’est là toute la difficulté : les algorithmes sont programmés pour effectuer une tâche en particulier (parfois plusieurs avec un ordre de préférence plus ou moins clair) et ils chercheront à le réaliser, point.

Pour comprendre ce problème, vous pouvez jouer à Universal Paperclips  [3] développé par Frank Lantz (voir par exemple [v] pour une explication plus détaillée) ou regarder la vidéo [e] d’où viennent un grand nombre d’exemples de cet article. Dans ce jeu, vous êtes une IA qui a pour objectif de faire des trombones et c’est tout. Toutefois, pour réussir à faire un maximum de trombones, vous allez progressivement développer de nouvelles capacités, séduire les personnes qui vous ont créée pour avoir plus de potentiel et donc plus de puissance pour créer des trombones. Le principe étant qu’à la fin, il y a plus de trombones qu’il n’est nécessaire d’en produire mais tant qu’on ne vous a pas dit d’arrêter, votre seul et unique but est de construire des trombones. Et tant pis si l’humanité n’a plus de ressources à cause de votre utilisation massive de ces dernières, ce n’est pas votre problème puisque vous êtes programmée pour construire des trombones.

Et toute la difficulté pour un·e data scientist est là : expliquer correctement l’objectif et anticiper tous les cas possibles de dérives pour ne pas se faire surprendre.

Bibliographie