La définition technique d’un LLM : un grand modèle de langage est un réseau de neurones Transformer entraîné sur de vastes corpus de textes pour modéliser la probabilité du token suivant à partir de tout ce qui précède. Brown et al. (2020) ont montré qu’à une échelle suffisante, ce seul objectif produit des modèles capables d’accomplir de nombreuses tâches pour lesquelles ils n’ont jamais été explicitement entraînés, simplement à l’aide d’un prompt : c’est l’apprentissage en contexte (in-context learning), le comportement qui définit le LLM moderne.
ChatGPT, Claude, Gemini et Grok reposent tous sur des LLM. Ils se distinguent par leurs données d’entraînement, leur échelle, leur alignement et leurs outils, ce qui explique pourquoi leurs réponses à une même question peuvent diverger.
Qu’est-ce qu’un LLM ? La signification en termes simples
Dans la vie courante, la signification de LLM est simple : un grand modèle de langage est un programme qui a lu une énorme quantité de texte et en a appris les régularités statistiques. « Grand » désigne à la fois ces données d’entraînement et la taille du modèle : les LLM modernes comptent des milliards de paramètres, voire davantage, c’est-à-dire les poids ajustables qui stockent ce qui a été appris. La plupart des laboratoires ne publient plus la taille exacte de leurs modèles phares.
Lorsque vous posez une question à un LLM, il ne va pas chercher la réponse. Il rédige sa réponse un token à la fois, en choisissant chaque fois une suite probable de tout ce qui précède. C’est pourquoi les LLM sont fluides et polyvalents, et aussi pourquoi ils peuvent paraître sûrs d’eux tout en se trompant.
Comment un grand modèle de langage est entraîné
L’entraînement se déroule généralement en plusieurs étapes, chacune s’appuyant sur la précédente :
- 1Pré-entraînement. La prédiction du token suivant sur d’immenses collections de textes enseigne au modèle la langue, des faits et des schémas de raisonnement.
- 2Entraînement en tant qu’assistant. L’instruction tuning, une forme d’affinage (fine-tuning) sur des exemples de conversations, transforme le prédicteur brut en un assistant qui répond aux demandes.
- 3
Ce que les LLM savent faire et ne savent pas faire
Les LLM prennent en charge un large éventail de tâches liées au langage :
- Rédiger, corriger et réécrire des textes dans n’importe quel ton
- Résumer de longs documents et traduire d’une langue à l’autre
- Répondre à des questions et expliquer des notions étape par étape
- Écrire, relire et expliquer du code
- Résoudre des problèmes de raisonnement en plusieurs étapes
Leurs limites comptent tout autant : ils peuvent halluciner des faits, leurs connaissances intégrées s’arrêtent à une date limite d’entraînement, et ils ne peuvent prendre en compte que la quantité de texte qui tient dans leur fenêtre de contexte. La recherche augmentée (RAG), la recherche web et la vérification croisée des réponses avec un second modèle permettent de pallier ces trois limites.
Pourquoi c’est important chez MultipleChat
Aucun LLM n’excelle dans tous les domaines. MultipleChat exécute ChatGPT, Claude, Gemini, Grok et Perplexity côte à côte sur le même prompt : vous pouvez ainsi comparer leurs réponses et laisser les points forts d’un modèle compenser les angles morts d’un autre. Découvrez comment fonctionne la comparaison.