Qu'est-ce qu'un LLM ? Les grands modèles de langage expliqués (2026)

Un grand modèle de langage (LLM, pour « large language model ») est un réseau de neurones entraîné sur d'énormes volumes de texte pour prédire le prochain token d'une séquence. Ce seul objectif explique tout ce qu'un chatbot sait faire : répondre à des questions, écrire du code, résumer des documents ou traduire. Des outils comme ChatGPT, Claude ou Gemini reposent sur des modèles de ce type.

Ce guide passe en revue les briques de base dans l'ordre : les tokens, l'entraînement, les paramètres, les fenêtres de contexte, les hallucinations, puis la distinction entre modèles ouverts et fermés. Les noms des modèles, leurs prix et leurs limites évoluent rapidement. Les chiffres ci-dessous sont donc datés : consultez la documentation officielle des éditeurs pour les données actuelles.

Qu'est-ce qu'un LLM, et pourquoi dit-on « grand » ?

Le qualificatif « grand » renvoie à deux réalités. La première est le volume des données d'entraînement. La seconde est le nombre de valeurs internes ajustables, appelées paramètres. Pour donner une idée de l'échelle, Meta a indiqué en avril 2024 que Llama 3 avait été entraîné sur plus de 15 000 milliards de tokens.

Presque tous les LLM modernes reposent sur l'architecture Transformer. Des chercheurs de Google l'ont présentée dans l'article « Attention Is All You Need », publié en juin 2017. Son idée centrale est l'auto-attention, qui permet au modèle d'évaluer la pertinence de chaque élément du texte par rapport aux autres lorsqu'il traite chacun d'eux.

Que sont les tokens dans un LLM ?

Les modèles ne lisent pas des mots. Ils lisent des tokens, des fragments de mots produits par des algorithmes comme le byte-pair encoding (BPE). Un mot courant peut correspondre à un seul token, tandis qu'un mot rare est découpé en plusieurs morceaux.

Selon la règle empirique d'OpenAI pour l'anglais, un token correspond à environ quatre caractères, soit à peu près les trois quarts d'un mot. Sur cette base, 100 tokens représentent environ 75 mots.

Le rapport varie selon la langue. Les langues agglutinantes comme le turc, où de longs mots se construisent par l'ajout de nombreux suffixes, sont généralement découpées en davantage de tokens qu'un texte anglais de même sens. Des travaux comme ceux de Petrov et al. (2023) ont documenté ce type d'inégalité des tokenizers entre les langues, même si les tokenizers récents ont réduit l'écart.

Les tokens comptent, car l'usage des API est généralement facturé au million de tokens en entrée et en sortie, la sortie étant plus chère que l'entrée. Plus il y a de tokens, plus le coût augmente et plus la fenêtre de contexte se remplit vite. Les prix changent souvent : consultez les pages tarifaires d'OpenAI, d'Anthropic ou de Google pour les tarifs actuels.

Comment les grands modèles de langage sont-ils entraînés ?

L'entraînement se déroule généralement en plusieurs étapes. La première est le pré-entraînement. Le modèle y apprend à prédire le token suivant sur des milliers de milliards de tokens tirés du web, de livres et de code, selon une méthode d'apprentissage auto-supervisé. Le résultat comprend la langue, mais il ne se comporte pas encore comme un assistant.

Vient ensuite le fine-tuning, ou ajustement aux instructions, au cours duquel le modèle est exposé à des exemples de bonnes réponses. Puis intervient l'alignement. La méthode la plus connue est l'apprentissage par renforcement à partir de retours humains (RLHF), popularisée par l'article InstructGPT d'OpenAI publié en 2022. La méthode Constitutional AI d'Anthropic, également de 2022, en est une variante.

Depuis environ la fin 2024, les modèles de raisonnement sont venus compléter le tableau. Parmi eux figurent OpenAI o1 et DeepSeek-R1, sorti en janvier 2025. Ces modèles sont entraînés par apprentissage par renforcement à raisonner sur un problème avant de répondre, et ils consomment davantage de calcul au moment de la réponse pour y parvenir.

Les coûts d'entraînement sont difficiles à établir. Les grands entraînements de pointe seraient facturés des dizaines à des centaines de millions de dollars, mais il s'agit d'estimations et non de chiffres officiels. Le chiffre largement cité d'environ 5,6 millions de dollars pour DeepSeek V3 ne couvre que les heures de GPU du dernier entraînement, et non les coûts totaux, et il est contesté.

Que sont les paramètres, et plus grand signifie-t-il meilleur ?

Les paramètres sont les poids numériques qu'un modèle apprend pendant l'entraînement. Quelques repères : GPT-2 en comptait 1,5 milliard en 2019, et GPT-3 en comptait 175 milliards en 2020. Llama 3.1 de Meta, sorti en juillet 2024, existait en versions de 8B, 70B et 405B.

Certains modèles utilisent une architecture à mélange d'experts (MoE, pour Mixture-of-Experts), dans laquelle seule une partie du réseau est activée pour chaque token. DeepSeek-V3 compte 671 milliards de paramètres au total, mais seuls environ 37 milliards sont actifs par token.

OpenAI, Anthropic et Google ne divulguent pas le nombre de paramètres de leurs modèles phares. Des chiffres comme « GPT-4 compte 1,76 billion de paramètres » sont des fuites non confirmées.

La taille n'est pas tout, car la qualité des données et les méthodes d'entraînement comptent énormément. L'étude « Chinchilla » de 2022 a montré qu'un entraînement optimal au regard du calcul utilise environ 20 tokens par paramètre. Les modèles actuels sont délibérément entraînés bien au-delà de ce ratio.

Qu'est-ce qu'une fenêtre de contexte ?

La fenêtre de contexte correspond au nombre maximal de tokens qu'un modèle peut prendre en compte simultanément. Elle comprend votre prompt, la conversation en cours et la réponse du modèle. Il faut la voir comme une mémoire de travail, et non comme une mémoire à long terme.

Les fenêtres se sont considérablement agrandies. GPT-3 gérait 2 048 tokens, et la version initiale de GPT-4 proposait des variantes de 8K et 32K. Les versions suivantes annonçaient 200K pour Claude (jusqu'à 1M dans certaines versions), 1 à 2 millions pour Gemini 1.5 et 2.x, et 1 million pour GPT-4.1. En avril 2025, Meta a annoncé 10 millions de tokens pour Llama 4 Scout. Ces chiffres changent à chaque nouvelle version : vérifiez la documentation en vigueur.

Une fenêtre annoncée très large ne garantit pas que le modèle en exploite bien toute la capacité. L'étude « Lost in the Middle » de Liu et al., publiée en 2023, a montré que la précision peut chuter pour les informations situées au milieu de longs textes.

Pourquoi les LLM hallucinent-ils ?

Une hallucination est une réponse qui paraît fluide mais qui est fausse ou inventée, par exemple de fausses citations, des faits erronés ou des décisions de justice inexistantes. Le phénomène se produit parce que le modèle génère un texte plausible au lieu de vérifier des faits. Un article d'OpenAI de septembre 2025 soutient que l'entraînement et l'évaluation récompensent la supposition plutôt que l'aveu d'incertitude.

Un cas célèbre est l'affaire Mata c. Avianca (États-Unis, 2023). Des avocats y ont été sanctionnés pour avoir déposé des références de jurisprudence inventées par ChatGPT, et de nombreux incidents similaires ont suivi.

La génération augmentée par récupération (RAG), l'ancrage sur la recherche web, les citations et les modèles de raisonnement réduisent tous le problème, sans l'éliminer. La fiche système d'OpenAI pour o3 et o4-mini, publiée en avril 2025, rapporte même des taux d'hallucination plus élevés pour certains modèles de raisonnement sur son test PersonQA. Ces taux varient selon les benchmarks et sont contestés : méfiez-vous donc des affirmations reposant sur un seul chiffre.

LLM ouverts ou fermés : quelle différence ?

Avec les modèles fermés, ou propriétaires, les poids ne sont pas publiés : on ne peut les utiliser que via une application ou une API. La série GPT d'OpenAI, Claude d'Anthropic, Gemini de Google et Grok de xAI appartiennent à cette catégorie. xAI a toutefois publié les poids de certaines anciennes versions de Grok.

Les modèles à poids ouverts peuvent être téléchargés, exécutés localement et affinés. Parmi eux figurent Llama de Meta, Mistral, DeepSeek, Qwen d'Alibaba, Gemma de Google et gpt-oss d'OpenAI, sorti en août 2025 sous licence Apache 2.0.

Poids ouverts ne signifie pas open source. La Open Source Initiative (OSI) a publié en octobre 2024 sa définition de l'IA open source, version 1.0, qui exige une ouverture bien plus large, y compris sur les données d'entraînement. L'OSI estime que la licence de Llama ne répond pas à la définition de l'open source.

En pratique, les modèles à poids ouverts offrent la confidentialité, un contrôle local et la personnalisation. Les modèles fermés ont généralement pris l'avantage sur les performances brutes, même si l'écart s'est réduit en 2025. Les classements comme LMArena changent d'un mois à l'autre.

La réglementation rattrape également le secteur. En vertu de l'AI Act européen, les obligations applicables aux modèles d'IA à usage général s'appliquent depuis le 2 août 2025. Le droit de la protection des données, comme la loi turque KVKK, couvre toujours les données personnelles que vous collez dans un prompt.