Un LLM, pour Large Language Model, est un programme informatique entraîné sur des volumes massifs de texte pour prédire le mot suivant dans une séquence. Cette capacité de prédiction, répétée à grande échelle, lui permet de générer des phrases cohérentes, de répondre à des questions ou de résumer des documents entiers.
Tokenisation et embeddings : comment un LLM lit le texte
Un LLM ne lit pas des mots comme un humain. Avant tout traitement, le texte d’entrée passe par une étape de tokenisation : chaque mot, voire chaque fragment de mot, est découpé en unités appelées tokens. Le mot « apprentissage », par exemple, peut être scindé en deux ou trois tokens selon le vocabulaire du modèle.
A lire également : Est-ce que Chatgpt conserve vos fichiers ?
Chaque token est ensuite converti en un vecteur numérique, appelé embedding. Ce vecteur positionne le token dans un espace mathématique où les mots au sens proche se retrouvent proches. « Chat » et « félin » auront des vecteurs voisins, tandis que « chat » et « béton » seront éloignés.
Cette représentation vectorielle est le socle de tout ce qui suit. Sans elle, le modèle ne manipulerait que des chaînes de caractères sans aucune notion de sens ou de proximité sémantique.
A lire également : Quel est l'ordinateur le plus puissant en 2026 ?
Architecture Transformer : le moteur du LLM
L’architecture qui sous-tend la quasi-totalité des LLM actuels s’appelle le Transformer. Introduite en 2017, elle a remplacé les réseaux récurrents grâce à un mécanisme clé : l’attention.
Le mécanisme d’attention permet au modèle, pour chaque token traité, de pondérer l’importance de tous les autres tokens de la séquence. Dans la phrase « Le chat dort sur le canapé parce qu’il est fatigué », le modèle apprend que « il » se rapporte à « chat » et non à « canapé ». Cette capacité à relier des éléments distants dans une phrase change radicalement la qualité du langage produit.
Un Transformer empile des dizaines, voire des centaines, de couches d’attention. Chaque couche affine la compréhension du contexte. Les premières couches captent la syntaxe de base, les couches profondes gèrent des relations sémantiques complexes. C’est cette profondeur qui distingue un LLM performant d’un modèle de langage rudimentaire.
Entraînement d’un LLM : du pré-training à l’alignement humain
L’entraînement d’un modèle de langage se déroule en plusieurs phases distinctes, chacune avec un objectif propre.
Pré-entraînement sur corpus massif
Le modèle ingère des milliards de tokens issus de livres, d’articles, de pages web et de code source. Sa tâche est simple : prédire le token suivant. À force de répétitions, il capture la grammaire, le vocabulaire, des faits factuels et même des raisonnements élémentaires.
Fine-tuning et RLHF
Le pré-entraînement seul produit un modèle brut, capable de compléter du texte mais pas de suivre des instructions. Le fine-tuning sur des exemples de questions-réponses lui apprend à adopter un format conversationnel. L’étape suivante, le RLHF (Reinforcement Learning from Human Feedback), utilise des évaluations humaines pour que le modèle privilégie les réponses utiles, précises et non nuisibles.
Ces trois phases – pré-training, fine-tuning, alignement – expliquent pourquoi deux LLM construits sur la même architecture peuvent produire des réponses très différentes. GPT, Llama ou Mistral partagent le socle Transformer, mais divergent sur les données d’entraînement, le fine-tuning et les choix d’alignement.
Cas d’usage concrets du LLM en entreprise
La génération de texte est l’application la plus visible, mais elle ne représente qu’une fraction des usages réels.
- L’analyse et le résumé de documents longs : contrats juridiques, rapports financiers, documentation technique. Un LLM peut extraire les clauses clés d’un bail de plusieurs dizaines de pages en quelques secondes.
- La génération et la révision de code : des modèles spécialisés assistent les développeurs pour écrire, déboguer ou documenter du code dans plusieurs langages de programmation.
- Le traitement multilingue : traduction, adaptation de ton, localisation de contenu marketing. Les LLM gèrent le contexte bien mieux que les outils de traduction statistique classiques.
- L’aide à la décision par analyse de données non structurées : retours clients, tickets de support, avis en ligne. Le modèle catégorise et synthétise des milliers de messages pour en extraire des tendances.
Chaque cas d’usage repose sur la même mécanique : le modèle traite du langage naturel et produit une sortie structurée ou textuelle adaptée à la tâche demandée.
LLM et AI Act européen : des obligations concrètes pour les entreprises
Depuis l’entrée en application progressive de l’AI Act européen, les LLM sont directement concernés par une réglementation dédiée. Les fournisseurs de modèles doivent fournir une documentation technique, publier un résumé des données d’entraînement et démontrer le respect du droit d’auteur. Cette obligation vaut pour tout modèle généraliste distribué dans l’Union européenne.
La réglementation va plus loin pour les modèles qualifiés de « risque systémique ». Ceux-ci doivent faire l’objet de tests adversariaux, d’une analyse des risques systémiques et d’un suivi des incidents graves. Des mesures de cybersécurité renforcées s’ajoutent à ces exigences.
Un point souvent négligé : l’AI Act distingue le fournisseur du modèle et l’entreprise qui le déploie. L’entreprise qui intègre un LLM dans un produit ou un processus peut devoir assurer la supervision humaine, surveiller le fonctionnement du système et conserver des journaux d’utilisation, selon le niveau de risque du cas d’usage. Utiliser un LLM via une API ne dispense donc pas de responsabilités réglementaires.
Limites techniques d’un modèle de langage
Un LLM prédit des séquences probables de tokens. Il ne « comprend » pas au sens humain et ne vérifie pas ses affirmations. Quand il produit une information fausse mais formulée avec assurance, on parle d’hallucination. Ce phénomène reste fréquent, en particulier sur des sujets de niche ou des données récentes absentes du corpus d’entraînement.
La fenêtre de contexte constitue une autre contrainte. Chaque modèle a une capacité maximale de tokens qu’il peut traiter en une seule passe. Au-delà de cette limite, les informations en début de séquence perdent en influence sur la réponse générée.
Des techniques comme le RAG (Retrieval-Augmented Generation), qui couple le LLM à une base de données externe interrogée en temps réel, atténuent ces deux problèmes sans les résoudre totalement. Le choix d’un LLM pour une tâche donnée reste un arbitrage entre capacité du modèle, coût d’inférence et tolérance aux erreurs du cas d’usage visé.
