Les grands modèles de langage - Introduction

Bienvenue dans le Module 10 ! Ici Darwin, avec les grands modèles de langage (LLM) - la technologie d'IA la plus puissante !

Pendant tout le Module 9, nous avons entraîné des modèles qui faisaient une seule chose : reconnaître une espèce ou prédire une population. Chaque nouvelle tâche demandait un nouveau jeu de données et un nouvel entraînement. Les grands modèles de langage fonctionnent autrement : un seul modèle répond aux questions, écrit du code et traduit des textes, et tu lui décris la tâche en langage courant.

Analogie Safari : un LLM est comme un guide de Safari avisé qui a lu tous les livres sur la faune et peut répondre à n'importe quelle question, écrire des histoires et aider dans les tâches ! Il a pourtant un défaut : quand il ne sait pas quelque chose, il peut raconter une histoire inventée avec un aplomb total.

Que sont les grands modèles de langage ?

Les LLM sont des modèles d'IA entraînés sur d'immenses quantités de texte. Ils savent comprendre et générer le langage humain.

Voici la liste des tâches pour lesquelles on les met le plus souvent au travail :

1# Un LLM peut :
2# - Répondre à des questions
3# - Écrire du code
4# - Traduire des langues
5# - Analyser du texte
6# - Aider à la programmation

Ce n'est pas du code à exécuter, juste un aide-mémoire en commentaires. Le modèle accomplit toutes ces tâches avec la même méthode : seule change l'instruction que tu lui envoies, le prompt.

Les modèles de LLM populaires

Le marché évolue tous les quelques mois, alors considère les noms ci-dessous comme une photo prise pendant l'expédition, pas comme une carte éternelle. Tu trouveras toujours la liste à jour dans la documentation du fournisseur.

OpenAI GPT

• GPT-5, GPT-5 mini
• Les modèles commerciaux les plus populaires
• Excellents pour une grande variété de tâches

GPT-5 est un modèle de raisonnement, et OpenAI publie déjà des générations plus récentes.

Anthropic Claude

• Claude Haiku 4.5, Sonnet 5, Opus 5.5 (auparavant, entre autres, Sonnet 4.6 et Opus 4.8)
• Une IA sûre et utile
• Contexte long (de 200k à 1M tokens, selon le modèle)

Open Source

• Llama (Meta)
• Mistral
• Falcon

Plus précisément, on parle de modèles open-weight : tu peux télécharger leurs poids et les faire tourner sur ton propre matériel, mais la licence, comme dans le cas de Llama, peut imposer des conditions.

Concepts fondamentaux

Tokens

Un modèle ne lit ni des lettres ni des mots entiers, mais des tokens : des morceaux de texte découpés par un tokenizer :

1# Les tokens sont des "morceaux" de texte
2# "Hello world" = ["Hello", " world"] = 2 tokens
3
4# Limites de tokens (fenêtre de contexte, exemples) :
5# - GPT-5 : 400k tokens
6# - Claude : 200k-1M tokens (selon le modèle)
7# - Llama 3.1 : 128k tokens

Remarque que l'espace fait partie du token " world". Un texte en polonais consomme généralement plus de tokens que le même texte en anglais, et dans l'API tu paies au token : c'est donc un vrai coût.

Temperature

À chaque étape, le modèle choisit le token suivant parmi de nombreux candidats. La température décide avec quelle audace il va chercher les moins probables. Pour faire un appel, il nous faut un client de la bibliothèque openai, qui lit la clé d'API dans la variable d'environnement OPENAI_API_KEY :

1# Contrôle la "créativité" des réponses
2# temperature=0 - presque déterministe, réponses très reproductibles
3# temperature=1 - plus créatif et varié
4
5from openai import OpenAI
6
7client = OpenAI()
8
9response = client.chat.completions.create(
10    model="gpt-4.1-mini",
11    messages=[{"role": "user", "content": "Écris un poème"}],
12    temperature=0.7  # Créativité modérée
13)

messages est une liste de messages avec un rôle et un contenu, et tu lis le texte de la réponse via response.choices[0].message.content. Même avec temperature=0, personne ne garantit des réponses identiques, elles sont seulement très reproductibles. Chez OpenAI, la plage va de 0 à 2, chez Anthropic de 0 à 1. Piège important : les modèles de raisonnement comme GPT-5 refusent toute température autre que la valeur par défaut 1, c'est pourquoi l'exemple utilise gpt-4.1-mini. Pour l'extraction de données et le code, je te conseille une température basse, pour le brainstorming une plus élevée.

Context Window

La fenêtre de contexte est la limite de tokens que le modèle embrasse d'un coup : ta question, l'historique de la conversation et sa réponse :

1# Combien de texte le modèle "mémorise" dans une seule conversation
2# GPT-5 : 400k tokens
3# Claude : 200k-1M tokens (des livres entiers !)
4
5# Contexte plus long = meilleure mémoire de la conversation

La "mémoire" est ici une image. Entre deux appels d'API, le modèle ne retient rien : c'est ton application qui renvoie à chaque fois toute la conversation jusque-là. Quand elle dépasse la fenêtre, il faut raccourcir ou retirer les messages les plus anciens.

Comment fonctionnent les LLM ?

Sous le capot, chaque réponse naît en quatre étapes :

1# Modèle de fonctionnement simplifié :
2# 1. Tokenisation - texte -> tokens
3# 2. Embedding - tokens -> vecteurs numériques
4# 3. Transformer - traitement par attention
5# 4. Génération - prédiction du token suivant
6
7# Les LLM ne comprennent PAS le texte comme les humains
8# Ce sont de très bonnes "machines à prédiction"

Le mécanisme d'attention permet au modèle de peser, à chaque token, quels mots précédents comptent. L'étape 4 se répète token après token jusqu'à la fin de la réponse. C'est de là que viennent les hallucinations : le modèle produit un texte probable, pas vérifié, donc vérifie toujours les faits importants.

Applications des LLM

En programmation

• Génération de code
• Débogage
• Revue de code
• Documentation

En entreprise

• Chatbots de service client
• Analyse de documents
• Automatisation de rapports

Dans le travail créatif

• Rédaction de textes
• Brainstorming
• Traductions

Dans la prochaine leçon, nous nous connecterons à l'API et enverrons notre première vraie requête, puis nous apprendrons au modèle à utiliser des outils.

Retiens : un LLM est un guide cultivé qui prédit le mot suivant - écoute-le volontiers, mais vérifie la carte toi-même.