Comment fonctionne une IA générative ? Le modèle de langage expliqué

Par Olivier Mazerand · Publié le

Bloc de cartes de calcul à radiateurs ailetés et tubes de cuivre, ventilateur éclairé de bleu, sur un établi sous une lampe

Vous posez une question, et une réponse s’écrit devant vous, mot après mot, avec l’aplomb d’un expert. On imagine volontiers une immense base de données que le programme consulterait. Ce n’est pas ainsi que cela marche : un grand modèle de langage ne cherche pas une réponse, il calcule, morceau par morceau, la suite de texte la plus probable. Voici les pièces du mécanisme, de l’entraînement jusqu’à la réponse, et la raison pour laquelle il se trompe parfois avec autant d’assurance qu’il a raison.

Des morceaux de mots et des probabilités

Le glossaire de la CNIL définit un modèle de langage comme un modèle statistique de la distribution des unités d’une langue : lettres, sons ou mots. Concrètement, il peut prédire le mot suivant dans une suite de mots. Les grands modèles actuels ne manipulent pas des mots entiers mais des jetons, en anglais tokens : selon le cours d’apprentissage automatique de Google, un jeton peut être un mot, un morceau de mot ou un seul caractère. Ce découpage est purement statistique ; il ne suit pas les racines et les préfixes que nous retraçons en expliquant d’où viennent les mots français.

À chaque étape, le modèle attribue une probabilité à chacun des jetons possibles, en retient un, l’ajoute au texte, puis recommence avec ce texte allongé. Le choix n’est pas toujours celui du jeton le plus probable : le système peut tirer au sort parmi les candidats les plus vraisemblables, ce qui explique qu’une même question ne produise pas toujours la même réponse.

Ce que l’entraînement fabrique

Ces probabilités ne sont écrites par personne. Elles résultent d’un entraînement. La synthèse de l’Office parlementaire d’évaluation des choix scientifiques et technologiques, publiée en novembre 2024 par cet organe commun aux deux assemblées dont nous décrivons le travail législatif, rappelle que ces modèles reposent sur l’apprentissage profond : des réseaux de neurones artificiels empilés en couches, chaque neurone étant une petite unité de calcul. Leur essor des années 2010 tient à trois ingrédients : ces algorithmes, des corpus de données d’une taille inédite grâce à internet, et une puissance de calcul en croissance rapide.

En 2017, un article intitulé « Attention Is All You Need » a proposé une architecture nouvelle, le transformeur, fondée uniquement sur des mécanismes d’attention. Pour chaque jeton, ce mécanisme pondère les autres jetons du passage selon leur utilité : c’est ce meilleur traitement du contexte, souligne l’Office, qui a fait la différence, car le contexte permet par exemple de savoir si « orange » désigne un fruit ou une couleur. Les modèles qui en sont issus mobilisent, selon l’Office, des centaines de milliards, voire des milliers de milliards de paramètres. Ces paramètres, ou poids, sont des nombres réglés pendant l’entraînement : le modèle lit d’immenses quantités de textes, tente d’en prédire la suite, et chaque erreur corrige légèrement les poids. La CNIL précise que ces données viennent de sources variées, comme internet, des contenus sous licence ou des données synthétiques.

Ce calcul se fait sur des supercalculateurs et dans de vastes centres de données, des salles de serveurs comparables à celles qui hébergent les pages web dont nous suivons le trajet jusqu’à votre écran.

Du modèle brut à l’assistant qui répond

À ce stade, on obtient un modèle de fondation, capable de prolonger n’importe quel texte, mais qui ne suit pas encore fidèlement une consigne. L’Office décrit une étape supplémentaire : un réglage fin par apprentissage supervisé, suivi d’une phase dite d’alignement. Un article publié en mars 2022, « Training language models to follow instructions with human feedback », détaille la méthode : des annotateurs rédigent des exemples de bonnes réponses, puis classent plusieurs réponses du modèle de la meilleure à la moins bonne, et ces classements servent à l’affiner par apprentissage par renforcement. Résultat frappant : les évaluateurs humains y préféraient les réponses d’un modèle de 1,3 milliard de paramètres ainsi réglé à celles d’un modèle brut de 175 milliards.

Pourquoi il peut se tromper avec aplomb

La CNIL le résume dans ses questions-réponses sur l’IA générative : ces systèmes obéissent à une logique probabiliste et ne sont pas des bases de connaissances. Ils peuvent produire des résultats inexacts mais plausibles, les « hallucinations », en particulier lorsqu’on les interroge sur des informations absentes de leurs données d’entraînement. Pour y remédier, on peut les relier à une base documentaire où ils puisent des extraits avant de répondre : c’est ce que l’Office appelle la génération augmentée de récupération.

Quant à l’effet de ces outils sur la croissance, la direction générale du Trésor, citée par l’Office, juge trop tôt pour le chiffrer : rien ne permet encore de le lire dans la progression du produit intérieur brut.

Une réponse fluide n’est donc pas une réponse vérifiée : quand un chiffre ou une date compte, retrouvez-le dans la source qui l’a publié, car un modèle qui n’est relié à aucune base documentaire n’a rien consulté : il a calculé.

Cet article a été rédigé avec l'aide d'une intelligence artificielle.
Politique éditoriale et usage de l'intelligence artificielle