La phrase n'est pas fausse. Elle est simplement inutile pour comprendre ce qui se joue vraiment.

Alors aujourd'hui, on va creuser un peu plus loin — sans jargon incompréhensible, mais sans non plus vous prendre pour des idiots. Promis, à la fin de cet article, vous en saurez plus que 90 % des gens qui donnent leur avis sur l'IA à l'apéritif.

Le mythe du perroquet statistique

Reprenons depuis le début. Un modèle comme ChatGPT, Claude ou Mistral a effectivement appris, en avalant des quantités astronomiques de textes, à deviner quel mot a le plus de chances de suivre les précédents. C'est vrai au sens technique du terme, littéralement, mécaniquement.
 

Mais voici le tour de passe-passe :

Pour deviner correctement le mot suivant dans une phrase comme "Le traité de Versailles a été signé en...", il ne suffit pas de connaître des statistiques de fréquence. Il faut, d'une certaine manière, avoir "compris" — ou du moins encodé — des notions d'Histoire, de géographie et de chronologie.

Pour terminer correctement des millions de phrases différentes sur des millions de sujets différents, le système a dû construire, à l'intérieur de lui-même, quelque chose qui ressemble furieusement à des représentations du monde.
 

C'est un peu comme si on demandait à quelqu'un de terminer sans arrêt des dominos, mais que pour y arriver chaque fois, sans exception, sur des millions de plateaux différents, il devait finir par comprendre les règles du jeu, la géométrie, et même un peu de stratégie.

À force de deviner le mot suivant, la machine a été obligée de développer des capacités qui dépassent largement la simple prédiction.
 

Ce qu'il faut retenir : la prédiction du mot suivant est la tâche d'entraînement, pas la compétence obtenue. C'est le prétexte, pas le résultat.

Ce qui se passe vraiment : des idées transformées en chiffres

Voici le concept qui va vous faire passer, en dix minutes, du café du commerce au dîner en ville : les embeddings (on pourrait dire "plongements" ou "représentations vectorielles", mais convenons que ça ne mange pas de pain d'utiliser le mot anglais, tout le monde le fait).
 

Une IA ne "lit" pas les mots comme vous et moi. Elle transforme chaque mot, chaque phrase, chaque idée en une longue série de nombres — parfois plus de mille. Chacun de ces nombres représente une nuance :
 

➤ est-ce plutôt technique ?

➤ ou plutôt poétique ? 

➤ Est-ce lié à la colère ou à la joie ? 

➤ Est-ce proche de la notion de "chat" ou de celle de "voiture" ?

Le résultat est fascinant : dans cet espace mathématique à mille dimensions (qu'on ne peut évidemment pas dessiner, mais qu'on peut imaginer comme une carte géante), les concepts qui se ressemblent se retrouvent physiquement proches les uns des autres.

Le mot "roi" se trouve près de "reine", "trône" et "couronne" — mais aussi, plus subtilement, dans une relation mathématique précise avec "homme" et "femme" (c'est l'exemple devenu classique : roi - homme + femme = reine, et ça fonctionne vraiment).
 

Ce n'est plus du tout de la statistique de surface. C'est une véritable cartographie du sens. Et c'est cette cartographie qui permet à l'IA de saisir que "voiture" et "automobile" parlent de la même chose, que "il pleut des cordes" n'a rien à voir avec de la corde, et que votre question alambiquée sur un sujet pointu ressemble, quelque part dans cet espace géant, à tel document précis de votre entreprise plutôt qu'à tel autre.

Le talon d'Achille : une mémoire de poisson rouge

Voilà pour la prouesse. Passons maintenant au défaut, car il y en a un de taille, et il explique la moitié des reproches légitimes qu'on adresse à l'IA aujourd'hui.
 

Un modèle comme ChatGPT a été entraîné à un moment donné, sur des données arrêtées à une date donnée. Une fois cet entraînement terminé, il ne retient plus rien de nouveau. Vous pouvez lui expliquer pendant une heure les subtilités de votre entreprise, il l'aura totalement oublié dès la conversation suivante. C'est un peu comme discuter avec quelqu'un d'extrêmement cultivé, mais frappé d'amnésie antérograde depuis un accident : brillant sur tout ce qu'il savait avant l'accident, incapable de retenir quoi que ce soit depuis.
 

Pire : quelqu’un qui ne sait pas ne dit pas toujours "je ne sais pas". Il a tendance, comme un bon élève pris de court à l'oral, à improviser une réponse plausible plutôt que d'admettre son ignorance. On appelle cela, dans le jargon, une hallucination — un terme un peu pompeux pour désigner, tout simplement, une réponse inventée de toutes pièces, mais formulée avec l'assurance tranquille d'un expert.
 

Demandez à une IA généraliste le contenu précis d'un contrat que vous n'avez jamais partagé avec elle, et il y a de fortes chances qu'elle vous réponde avec aplomb... n'importe quoi de vraisemblable.

Comment on répare ça : donner une bibliothèque à l'amnésique

C'est là qu'intervient une technique qui a le mérite d'être à la fois ingénieuse et étonnamment simple dans son principe, même si sa mise en œuvre technique est complexe : le RAG, pour Retrieval-Augmented Generation, ce qu'on pourrait traduire par "génération augmentée par la recherche documentaire".
 

L'idée est d'une élégance presque enfantine. Plutôt que de demander à l'IA de tout savoir par cœur — ce qui reviendrait à réentraîner entièrement le modèle, une opération aussi coûteuse que de refaire les fondations d'un immeuble pour changer une ampoule — on lui donne simplement accès à une bibliothèque au moment où elle en a besoin.
 

Concrètement, cela se passe en trois temps :
 

D'abord, on découpe vos documents en petits morceaux digestes, et on les transforme — vous l'avez deviné — en ces fameuses coordonnées mathématiques dont on parlait plus haut. On les range ensuite dans une sorte de bibliothèque très particulière, capable de retrouver instantanément les passages dont le "sens" se rapproche le plus de n'importe quelle question posée.
 

Ensuite, quand vous interrogez le système, votre question elle-même est convertie dans ce même langage de coordonnées, ce qui permet de repérer en une fraction de seconde les passages de vos documents les plus pertinents — un peu comme un bibliothécaire capable de retrouver, sans jamais se tromper, le bon chapitre du bon livre parmi dix mille ouvrages, en se fiant uniquement au sens de votre demande.
 

Enfin, on transmet ces extraits pertinents à l'IA, en lui donnant une consigne simple : réponds en te basant uniquement sur ces documents, et si l'information n'y figure pas, dis-le clairement plutôt que d'inventer.
 

Le résultat, c'est une IA qui ne récite plus de vagues souvenirs approximatifs, mais qui cite, sourcé et vérifiable, ce qui se trouve réellement dans vos textes.
 

Petite mise en garde utile : le RAG n'est pas une baguette magique. Un système mal réglé peut très bien retrouver des passages hors sujet, ou continuer d'halluciner malgré tout. Les meilleures IA actuelles savent aujourd'hui reformuler une question mal posée, vérifier leur propre réponse, ou recommencer la recherche si le premier essai est décevant. On est loin, très loin, du simple jeu de "devine le mot suivant".

Alors, l'IA, c'est quoi finalement ?

Ni un dieu, ni un gadget. Une IA moderne, c'est un empilement de plusieurs mécanismes distincts qui travaillent ensemble : une capacité brute à modéliser le langage (acquise par l'entraînement sur des masses de textes), une cartographie fine du sens des mots et des idées (les fameux embeddings), et de plus en plus souvent, des dispositifs comme le RAG pour aller chercher, en temps réel, des informations fraîches ou privées qu'elle n'a jamais apprises par cœur.
 

C'est infiniment plus riche que la caricature du "perroquet qui devine le mot suivant". Mais c'est aussi, il faut le dire sans complaisance, infiniment moins fiable qu'on ne voudrait le croire. Une IA ne "sait" rien au sens où vous et moi savons les choses. Elle manipule des probabilités et des proximités sémantiques avec un talent stupéfiant, mais sans la moindre once de conscience de ce qu'elle raconte.
 

C'est un outil extraordinairement puissant, à condition de garder l'esprit critique en alerte — exactement comme on ne croit pas sur parole le premier interlocuteur venu, aussi brillant qu'il puisse paraître.

L'électricité n'a pas rendu obsolète le bon sens. L'intelligence artificielle non plus.
 

Et maintenant, l'IA qui prend son temps
 

Il reste une évolution récente qu'on ne peut pas passer sous silence, tant elle bouscule tout ce qu'on vient d'expliquer. Jusqu'à récemment, une IA répondait à peu près comme un élève qui balance sa réponse à l'oral sans réfléchir : premier mot, deuxième mot, troisième mot, à toute vitesse, sans jamais revenir en arrière. Efficace pour du bavardage, catastrophique pour un problème de mathématiques ou une question qui demande plusieurs étapes de raisonnement.
 

Les modèles les plus récents — on parle ici de ce qu'on appelle des IA "de raisonnement" — fonctionnent différemment. 
 

Avant de vous donner leur réponse finale, ils génèrent, en coulisses, une sorte de brouillon interne : ils décomposent le problème, envisagent plusieurs pistes, vérifient leur propre logique, éliminent les fausses pistes, et parfois même reviennent sur un raisonnement qu'ils viennent d'établir parce qu'il ne tient pas la route. 
 

Tout cela se produit avant que le moindre mot de la réponse finale ne s'affiche à l'écran.
 

C'est un peu comme la différence entre répondre du tac au tac à une question piège en soirée, et prendre le temps, sur une feuille de brouillon, de poser le problème, de faire un schéma, de vérifier son calcul, puis seulement à ce moment-là, de rendre sa copie. 
 

Les résultats sont remarquables sur les tâches complexes, telles que la logique, les mathématiques, le codage informatique et la réflexion en plusieurs étapes, là où la précédente génération d'IA, malgré son talent pour rédiger des phrases élégantes, échouait souvent.
 

Cela ne règle pas tout, loin de là : ce "brouillon" reste lui-même une suite de déductions générées par la machine, avec ses propres limites et ses propres angles morts. Mais c'est indéniablement un changement de nature, pas seulement de degré. 
 

On passe d'une IA qui parle vite pour avoir l'air intelligente, à une IA qui accepte, enfin, de faire l'effort de réfléchir avant d'ouvrir la bouche.

 

N.D.L.R
 

Ce matin, j'avais écrit une autre version de cet article, plus technique, mais peut-être moins intéressante pour un public de non-spécialistes.

Pour cette version définitive, je l'ai écrite en collaboration avec Claude Sonnet 5 en mode API, pour ce qui me concerne. 
 

Effectivement, il n'y a pas de photo.  Pour ce genre de tâche et pour beaucoup d'autres, Claude Sonnet 5 est vraiment actuellement l'intelligence artificielle la plus performante.

Pour ceux qui souhaiteraient une version plus technique, je les renvoie à l'excellente vidéo de la chaîne "Projets IA " dont vous trouverez ci-dessous l'URL. Elle est extrêmement pédagogique et entre dans vraiment tous les détails, ce qui n'est pas le cas du présent article.

La vidéo de Justine Morin sur le même sujet

​