Le modèle : un simple algorithme

Oui, le terme peut sembler compliqué à première vue. Algorithme. Mais en réalité, un algorithme, ça peut être juste ça :

C'est la différence avec 0 + 10 : là, vous vous êtes naturellement imaginé, même pendant une fraction de seconde, une accumulation de 1 additionnés l'un après l'autre.

L'IA est constituée d'un ou plusieurs algorithmes pour atteindre son objectif. Cela peut être vous trouver le plus court chemin pour aller au restaurant (votre GPS), vous générer un compte-rendu, produire une vidéo, faire des simulations dans la recherche… En gros, une IA, ce n'est qu'un système de calcul si complexe que vous y voyez de l'intelligence, et parfois vous la personnifiez.

Mais en réalité, ChatGPT n'a pas conscience que c'est une IA, ni de ce qu'est le réel, ni de ce qu'est du texte.

Bref, revenons à nos moutons, enfin, à nos IA. Qui dit différentes sortes d'IA dit « il y a des IA meilleures que d'autres dans certains domaines ». Par exemple, si vous voulez un système totalement explicable, peu gourmand en calcul et déterministe (qui ne change pas d'avis quand vous lui demandez deux fois la même chose) pour votre application GPS, ce n'est pas un LLM que vous allez prendre, mais plutôt un algorithme de résolution de graphes, de l'IA symbolique, comme vos systèmes experts.

L'IA symbolique

Ah, la Good Old-Fashioned AI (un terme inventé en 1985, c'était déjà plus très cool ^^) ! Et pourtant, elle est bien plus présente dans votre quotidien que vous ne le croyez.

Bon, je vais être un peu biaisé sur cette partie : j'ai travaillé 7 ans chez Golem.ai (maintenant Miralia), dont l'origine était mon projet de fin d'études. La boîte fait de l'analyse de texte via un algorithme symbolique, ce qui permet notamment de classifier des messages.

L'IA symbolique (ou IA classique) repose sur l'idée que l'intelligence humaine s'explique par la manipulation explicite de symboles, de concepts et de règles logiques.

Contrairement au machine learning, qui repose sur un entraînement statistique à partir de données, l'IA symbolique s'appuie sur des connaissances directement modélisées par des experts humains, sous forme de faits, d'ontologies et de règles (« Si… Alors… »). Son fonctionnement est donc déterministe et transparent : face à un problème, un système symbolique utilise un moteur d'inférence ou un algorithme d'exploration pour déduire logiquement la solution en combinant les règles données.

Le principal avantage de cette approche est son explicabilité totale : on peut retracer exactement chaque étape du raisonnement qui a mené à une conclusion, sans effet « boîte noire ». Extrêmement pratique quand on a un besoin d'auditabilité.

Elle excelle dans les domaines exigeant une rigueur absolue. Le calcul d'itinéraires (théorie des graphes) en est un très bon exemple : vos personnages de jeux vidéo qui vont d'un point A à un point B sans se perdre sont généralement pilotés par un algorithme symbolique nommé A*, qu'on peut résumer par « explore le trajet dans à peu près la bonne direction pour trouver le meilleur chemin ».

En contrepartie, cette famille d'IA est très rigide : elle peine à traiter la nuance, le bruit dans les données ou l'imprévu, et devient extrêmement complexe à maintenir à mesure que la base de règles grandit.

C'est pour cela qu'il y a pas mal de discussions autour de la possibilité de combiner l'agilité des algorithmes génératifs avec les algorithmes symboliques. D'ailleurs, les développeurs en ont un exemple fonctionnel récurrent sans s'en rendre compte : quand votre Claude Code (ou un concurrent) génère un script Python qu'il exécute pour transformer de la donnée, d'un Excel vers une base de données, par exemple, c'est un peu l'idée. Il ne réécrit pas avec des tokens une immense requête contenant toutes les modifications : il écrit un petit script qui fait la tâche.

Le machine learning

Le machine learning (ou apprentissage automatique) est l'approche inverse de l'IA symbolique : au lieu de programmer explicitement des règles de décision (« Si… Alors… »), on donne à un ordinateur de grandes quantités de données et un objectif, puis on le laisse découvrir seul les motifs et les règles sous-jacentes. Plutôt que d'être dicté par un humain, le comportement du programme est déduit à partir des exemples qu'il a analysés.

Son fonctionnement repose sur la statistique et le réglage progressif de paramètres internes (notamment les « poids », dans le cas des réseaux de neurones). Lors de la phase d'entraînement, le modèle fait des prédictions, mesure son erreur par rapport à la réalité, puis s'ajuste pour réduire cette erreur. Plus on lui fournit de données représentatives, plus ses prédictions deviennent précises.

• ▸L'apprentissage supervisé. On donne des données avec leurs réponses (étiquettes). Exemple : 100 000 photos de chats et de chiens avec le label « chat » ou « chien ». Le modèle apprend à distinguer les deux.
• ▸L'apprentissage non supervisé. On donne des données brutes sans étiquettes, et le modèle cherche des structures cachées. Exemple : regrouper des clients en segments selon leurs habitudes d'achat, sans prédéfinir les catégories.
• ▸L'apprentissage par renforcement. Un agent interagit avec un environnement et reçoit des récompenses ou des pénalités. Exemple : une IA qui apprend à jouer aux échecs ou à faire voler un drone en essayant des actions et en apprenant de ses erreurs.

Le deep learning

Sans trop rentrer dans les détails techniques, le deep learning est une sous-branche du machine learning basée sur des réseaux de neurones profonds (des empilements de couches de calcul).

La grande différence ? Contrairement au machine learning classique, le deep learning est capable d'analyser directement des données très brutes (des images, du son ou du texte) et de comprendre tout seul quels détails sont importants pour prendre une décision, sans qu'un humain ait besoin de lui mâcher le travail.

Génial pour corréler… beaucoup moins pour expliquer

Concrètement, le machine learning est génial pour trouver des corrélations dans des données complexes, et pour gérer des cas où l'on n'a pas réellement de règles définies. Prenons un exemple.

Et voilà : vous comprenez pourquoi l'approche statistique, avec un grand nombre d'exemples, est nécessaire.

Théoriquement, cela devient plus performant avec une plus grande quantité de données, même si en réalité, bien d'autres facteurs entrent en jeu, à commencer par la qualité de l'information fournie. Le problème, c'est que le machine learning a de gros défauts. Outre le coût en calcul et en énergie : sa dépendance aux données de départ, et le fait qu'il soit humainement impossible de comprendre au détail près comment le modèle prend une décision. On ne peut qu'en faire une interprétation.

Reprenons l'analyse d'images avec cet exemple publié en 2016 par le chercheur Marco Tulio Ribeiro et son équipe pour présenter LIME (Local Interpretable Model-agnostic Explanations), un outil conçu pour ouvrir les « boîtes noires ».

L'expérience « Husky vs Loup »

Les chercheurs ont entraîné un modèle de classification d'images pour distinguer les huskies des loups.

• ▸Les résultats sur le papier. Le modèle affichait une excellente précision (autour de 90 %). Sur la plupart des images de test, il ne se trompait jamais.
• ▸L'erreur suspecte. Le modèle a classé un husky innocent comme étant un loup.

En utilisant LIME pour afficher la zone exacte de l'image sur laquelle le modèle concentrait ses calculs (les pixels décisifs), les chercheurs ont découvert que le modèle n'analysait ni les oreilles, ni la couleur du pelage, ni la forme des yeux de l'animal. Il regardait uniquement l'arrière-plan :

• ▸Présence de neige → loup
• ▸Pas de neige (herbe, terre, intérieur) → husky

Parce que dans le jeu de données d'entraînement, toutes les photos de loups avaient été prises en hiver dans la neige, alors que les photos de huskies étaient prises dans des jardins ou sur du gazon !

D'accord, cette problématique ne semble pas si grave, d'autant qu'avec LIME, on a pu « expliquer » le problème. Mais en réalité, la solution proposée ici est très limitée.

Quand l'enjeu devient déterminant : le cas Amazon

Que se passe-t-il quand on aborde un sujet plus déterminant ? Quand le problème vient des données initiales et qu'on ne se pose pas les bonnes questions ?

L'objectif initial d'Amazon était le rêve de tout service RH : créer un algorithme capable de lire 100 CV et de sortir automatiquement les 5 meilleurs profils, avec une note de 1 à 5 étoiles.

1. La cause : un jeu de données biaisé dès le départ

Pour entraîner ce modèle, les ingénieurs d'Amazon lui ont fourni les CV soumis à l'entreprise sur une période de 10 ans, accompagnés des décisions d'embauche de l'époque.

Le modèle a fait exactement ce pour quoi le machine learning est conçu : trouver des corrélations statistiques récurrentes dans les succès passés pour prédire les succès futurs.

2. L'effet boîte noire et la dérive misogyne

Plutôt que d'évaluer les compétences réelles (code, diplômes, projets), l'algorithme a appris tout seul à utiliser le genre comme critère de prédiction le plus fort. Concrètement :

• ▸Pénalisation directe. L'outil retirait des points si le mot « women's » apparaissait dans le CV, par exemple « capitaine de l'équipe féminine d'échecs » ou « présidente du club des femmes ingénieures ».
• ▸Dégradation de diplômes. L'algorithme a baissé la note des candidates issues de deux universités privées non mixtes réservées aux femmes.
• ▸Vocabulaire favorisé. L'outil a privilégié des verbes d'action statistiquement plus présents dans les CV masculins, comme executed ou captured.

3. Pourquoi la correction a échoué

Quand les ingénieurs ont réalisé la dérive, ils ont tenté de corriger le problème. Mais avec du machine learning complexe, interdire un mot ne suffit pas : ils ont interdit à l'algorithme de lire le mot « women's », et le modèle a immédiatement trouvé des variables de substitution (proxy variables). Il détectait le genre à travers d'autres indices indirects : les activités extra-scolaires, les tournures de phrases, le choix de certains mots.

En 2017, constatant qu'ils n'arrivaient ni à garantir la neutralité de l'outil, ni à comprendre l'intégralité des micro-décisions internes du modèle, Amazon a définitivement abandonné et dissous le projet.

Mais ne vous ai-je pas dit que les LLM appartenaient à cette même famille ? Et devinez quoi : les CV sont de plus en plus analysés par de l'IA. Alors que font les candidats ? Ils adaptent leur CV pour que l'IA devienne clémente avec eux.

Vous comprenez alors qu'il est important d'anticiper les problèmes potentiels d'un algorithme qui ne peut pas s'expliquer, et surtout de bien maîtriser les données d'entraînement pour éviter des biais néfastes. Ou alors…

Les LLM

1. La révolution du Transformer (2017)

Pendant longtemps, pour traiter du texte, les IA lisaient les mots un par un, de gauche à droite. Problème : arrivées à la fin d'un long paragraphe, elles avaient déjà « oublié » le début.

En 2017, des chercheurs de Google ont inventé une nouvelle architecture de réseau de neurones qui a tout changé : le Transformer. Son arme secrète ? Le mécanisme d'attention (self-attention). Grâce à lui, l'IA ne lit plus mot à mot : elle regarde toute la phrase d'un coup et comprend le contexte global.

Exemple : dans « L'avocat a mangé un avocat », l'IA comprend instantanément que le premier est un juriste et le second un fruit, grâce aux mots autour.

À l'origine, cette IA fonctionnait avec deux blocs de construction, car elle était pensée pour la traduction. L'encodeur (la « compréhension ») lisait toute la phrase d'un coup pour en saisir le sens profond ; le décodeur (la « génération ») prenait ce sens et écrivait la traduction mot à mot.

2. Le virage décisif : pourquoi on a jeté l'encodeur

En voulant créer des IA capables de tout faire (discuter, coder, résumer, raisonner), les chercheurs ont réalisé un truc génial : on n'a plus besoin de l'encodeur. Aujourd'hui, les modèles comme ChatGPT, Llama ou Mistral sont des architectures décodeur seul (decoder-only).

• 01Continuer du texte, c'est déjà avoir compris. Pour un décodeur, tout est une histoire à compléter. Si vous lui donnez une question, la suite logique est la réponse. Si vous lui donnez un texte en français, la suite logique peut être sa traduction. On n'a plus besoin de séparer la « compréhension » et la « création ».
• 02La simplicité avant tout. En ne gardant qu'un seul bloc, il est devenu beaucoup plus simple d'entraîner des modèles géants sur des milliers de milliards de données.

Comment ça marche en pratique ? Le masque causal

C'est ici que réside la vraie finesse technique. Puisqu'il n'y a plus d'encodeur pour lire tout le texte à l'avance, le décodeur utilise ce qu'on appelle un masque causal. C'est une règle mathématique stricte : l'IA avance à l'aveugle vers le futur. Elle n'a le droit de regarder QUE les mots passés pour deviner le mot suivant.

Si le modèle doit écrire « Le chat dort sur le canapé » :

• 01Il voit [début] → il prédit « Le »
• 02Il voit Le → il prédit « chat »
• 03Il voit Le chat → il prédit « dort »
• 04Il voit Le chat dort → il prédit « sur »…

Chaque mot produit est immédiatement réinjecté dans son champ de vision pour prédire le suivant. C'est ce qu'on appelle le fonctionnement autorégressif.

Et pour l'image, la vidéo ou la musique ? C'est pareil !

On a beaucoup parlé du texte, mais qu'en est-il des IA génératives d'images (Midjourney, DALL·E) ou de musique (Suno, Udio) ? À un détail près, la logique sous-jacente reste exactement la même. Pour un ordinateur, tout est mathématique : un texte est une suite de mots, une image une grille de pixels, un morceau de musique une suite de fréquences audio.

• 01Pour la musique. L'IA applique exactement la même recette que pour le texte. Au lieu de prédire le mot suivant dans une phrase, elle apprend à prédire la note ou le bout de son suivant le plus logique.
• 02Pour l'image (les modèles de diffusion). L'IA apprend d'abord à détruire une image en y ajoutant du « bruit » (comme de la neige sur un vieil écran TV). Ensuite, son réseau de neurones apprend à faire le chemin inverse : retirer le bruit étape par étape pour faire apparaître une image nette à partir du chaos, en se guidant sur votre texte (prompt).

Quand la mémoire est influencée

Bon, c'était théorique mais intéressant. Maintenant, parlons de choses moins drôles. Rappelez-vous le constat : un LLM ne réfléchit pas et ne cherche pas la « vérité ». Il reflète simplement les statistiques des textes sur lesquels il a été entraîné… avec toutes leurs qualités, mais aussi leurs préjugés et leurs orientations idéologiques.

C'est pour cela que Yann LeCun, notamment, insiste sur le fait que les LLM ne sont que des sortes de grosses mémoires. Mais que se passe-t-il quand cette mémoire est… influencée ?

En juin 2026, la Direction générale du Trésor (à Bercy) testait un outil interne baptisé HéphAIstos pour aider une centaine de hauts fonctionnaires dans leurs tâches administratives et d'analyse économique. Le modèle choisi sous le capot était Qwen, un LLM très performant développé par le géant chinois Alibaba.

• 01Des réponses orientées. Lors des tests, plusieurs agents ont signalé que l'IA donnait des réponses biaisées ou alignées sur la doctrine politique de Pékin dès qu'ils posaient des questions touchant à la Chine, aux enjeux commerciaux internationaux ou à la géopolitique.
• 02Arrêt immédiat. Après seulement trois semaines d'expérimentation, le Trésor a stoppé net l'utilisation de Qwen.
• 03Bascule souveraine. Le lendemain même, l'administration l'a remplacé par un modèle développé par la start-up française Mistral AI.

Maintenant, nous avons des élections qui se rapprochent, et nous savons que des Français demanderont leur avis aux IA. Qu'est-ce que cela représente pour la démocratie ?

Les hallucinations

Puisque le LLM ne fait que calculer le mot suivant le plus probable, il ne sait pas s'il dit la vérité. Si une information lui manque, il va inventer des faits, des lois ou des citations historiques avec une assurance parfaite.

Le vol de données et le droit d'auteur

Pour entraîner ces modèles, les entreprises ont aspiré des milliards de pages web sans demander l'avis des auteurs, des artistes ou des médias. Cela pose un problème éthique et juridique majeur sur la propriété intellectuelle.

Open Weight n’est pas Open Source

Aujourd'hui, des entreprises comme Meta (avec Llama) ou des pépites françaises comme Mistral AI mettent leurs modèles à disposition « gratuitement » pour tout le monde. On dit souvent dans les médias qu'ils sont Open Source. Sauf que c'est faux ! En réalité, ils sont Open Weight (à « poids ouverts »). Et la nuance change absolument tout sur le plan éthique et juridique.

Dans un réseau de neurones, les poids (weights) sont les milliards de chiffres ajustés pendant l'entraînement. Ce sont les réglages mathématiques finaux du modèle.

• ▸Ce qu'on vous donne en Open Weight : la « boîte noire » terminée. Vous pouvez la télécharger, l'installer sur votre serveur et la faire tourner gratuitement.
• ▸Ce qu'on vous cache : la recette de cuisine, c'est-à-dire la base de données exacte utilisée pour l'entraîner (les fichiers bruts aspirés du web), et le code précis de l'algorithme d'entraînement.

Pourquoi les géants gardent-ils les données secrètes ?

• 01Le risque juridique (droits d'auteur). Pour entraîner ces modèles géants, des pétaoctets de livres payants, d'articles de presse, d'images et de code ont été aspirés sans autorisation. Rendre le jeu de données public, ce serait donner aux ayants droit les preuves matérielles pour les attaquer en justice.
• 02Le secret industriel. La vraie valeur d'un LLM aujourd'hui ne réside pas seulement dans l'architecture du réseau de neurones, mais dans le nettoyage et le tri des données. Révéler le jeu de données, c'est offrir son travail d'orfèvre à ses concurrents.
• 03Le risque de sécurité. Un modèle 100 % ouvert permettrait à n'importe qui de voir exactement comment lever les barrières de sécurité, par exemple comment l'empêcher d'expliquer la fabrication d'une arme ou de générer des contenus malveillants.

Il existe néanmoins des cas de véritable open source. Pour le projet Nemotron (avec les familles Nemotron-3 ou Nemotron-CC), NVIDIA ne s'est pas contenté de partager le modèle final à télécharger. Ils ont ouvert les trois piliers :

• 01Les poids du modèle (model weights) : le cerveau de l'IA terminé et prêt à l'emploi.
• 02Le code et les recettes d'entraînement (training recipes) : les algorithmes, les configurations et le code source qui permettent de réentraîner ou de modifier le modèle exactement de la même façon qu'eux.
• 03Les jeux de données (open datasets) : NVIDIA a publié sur Hugging Face des trillions de tokens d'entraînement, comprenant des textes bruts, du code et des données de filtrage de sécurité.

Alors pourquoi ouvrir, si ce n’est pas tout ouvrir ?

C'est en réalité assez simple, et cela reste mon interprétation. Dans le cas des GAFAM, l'objectif est généralement de rattraper ses concurrents et d'imposer son standard sur des marchés particuliers. C'est pour cela que même OpenAI (avec un succès très discutable, mais je pense que c'était fait exprès) avait sorti son modèle Open Weight gpt-oss. Mais c'est aussi, à l'échelle des nations, un moyen d'asphyxier le marché : comprenez que la Chine, arrivée après les modèles américains, a tout à gagner à ce que les gens utilisent des modèles chinois plutôt que de payer des entreprises américaines.

Et pour l'open source ? Nemotron, c'est NVIDIA… qui n'est pas un éditeur de logiciel cherchant à vous vendre un abonnement à ChatGPT. Son business, c'est de vendre des puces graphiques. Plus la communauté a de données et de code pour créer des IA, plus les entreprises achèteront des serveurs NVIDIA pour les faire tourner. En donnant des jeux de données d'entraînement d'une qualité immense (très bien nettoyés) à tout le monde, NVIDIA devient le standard sur lequel toute la recherche mondiale travaille. Et si plus de gens utilisent des modèles… cela fait plus de puces vendues ;)

Attention, je ne dis pas cyniquement qu'il n'y a pas de gens qui pensent sincèrement faire de l'open source pour des raisons de transparence et de valeurs. Mais voici mon interprétation de la situation actuelle. Ce qui fait qu'il est embêtant de n'avoir qu'un seul acteur sur le continent européen, mais rassurant, dans un sens, de savoir que ce « combat » nous assure l'émergence presque continue de modèles Open Weight : tant que l'écart entre le premier et le deuxième ne sera pas stratosphérique, les seconds voudront toujours essayer d'asphyxier les premiers ;)

Petit bonus : les algorithmes évolutifs

Les algorithmes évolutifs sont la preuve que la nature avait déjà inventé la meilleure méthode d'optimisation bien avant l'arrivée des ordinateurs. Pour comprendre cette IA, il suffit de regarder les pinsons des îles Galápagos observés par Darwin : ces oiseaux n'ont jamais « décidé » de changer la forme de leur bec pour mieux casser des graines. La nature a simplement généré des variations au hasard, éliminé sans pitié ceux qui ne pouvaient pas se nourrir, et laissé les survivants transmettre leur bec avantageux à la génération suivante. Un algorithme évolutif fait exactement la même chose, mais à la vitesse de millions de calculs par seconde.

Concrètement, l'algorithme commence par créer une « population » de milliers de solutions complètement absurdes, générées aléatoirement. Il les soumet ensuite à une pression environnementale, une fonction de score qui élimine instantanément les pires candidats. Les rares survivants sont alors « croisés » entre eux, leurs codes sont mélangés, et une pincée de mutations aléatoires est injectée pour explorer de nouvelles pistes. C'est une IA qui progresse sans comprendre : elle ne cherche pas à analyser les causes d'un problème, elle se contente d'accumuler les petits succès du hasard.

Un des exemples les plus frappants de ce « darwinisme numérique » reste la conception de l'antenne satellite ST5 de la NASA. Les ingénieurs ont laissé un algorithme évolutif tordre des fils de fer virtuels sur des milliers de générations. Résultat ? L'IA a accouché d'une forme complètement tordue et asymétrique, ressemblant à un trombone déformé qu'aucun humain n'aurait eu l'idée de dessiner, mais dont les performances électromagnétiques ont surpassé tout ce que la logique d'ingénieur classique avait pu produire.

Et en pratique ?

Super, nous avons vu toute la théorie — mais qu'en est-il de la pratique ? Nous rentrerons dans le détail quand nous aurons fait le tour des composants ; je veux juste que l'on ait une base de compréhension avant de continuer.

Mais pour vous donner quelques « billes », sachez que quand vous travaillez avec de l'IA, vous travaillez avec un outil qui ne marche que X fois sur 100, à cause de son approche statistique et, généralement, de la nature des données que vous lui fournissez. Pour un ordinateur, « bonjour ça va ? » et « bonjour comment allez-vous ? » sont des données différentes, qui peuvent donner des résultats différents. De la même manière, dites bonjour deux fois à votre ChatGPT : vous verrez que vous n'aurez pas exactement la même réponse.

Pour gérer cette situation, les ingénieurs en IA utilisent des unités de mesure qui déterminent la fiabilité de leur solution. On utilise généralement un score nommé F1, ou une de ses déclinaisons. Je ne vous l'explique pas maintenant, mais comprenez que l'on cherche à déterminer le pourcentage de fois où l'IA va se tromper, et la gravité de son erreur.