Hallucination des IA 2026 : « je ne sais pas » ou inventer

En juin 2023, un avocat new-yorkais a déposé devant un tribunal fédéral six décisions de justice qui n’existaient pas. ChatGPT les avait inventées, citations internes comprises, et lui avait affirmé qu’elles figuraient bien dans Westlaw et LexisNexis. Le juge a sanctionné l’avocat de 5 000 dollars (Mata v. Avianca, tribunal fédéral du district sud de New York, 2023).

Le cas n’est pas une anomalie. Interrogés sur des questions juridiques précises, les grands modèles généralistes produisent une réponse fausse mais plausible dans 58 à 88 % des cas selon le modèle (Stanford RegLab, 2024). Le vrai enjeu n’est donc pas qu’une IA se trompe parfois : c’est qu’elle invente avec aplomb au lieu de reconnaître qu’elle ne sait pas. Sur un dossier, une réponse fausse présentée comme sûre coûte plus cher qu’un « information non trouvée ». Une IA branchée sur vos documents et conçue pour s’abstenir quand la réponse n’y figure pas règle cette différence.

Cet article explique pourquoi une IA généraliste invente au lieu de s’abstenir, pourquoi brancher un modèle sur vos documents réduit le problème sans l’éliminer seul, pourquoi « je ne sais pas » vaut mieux qu’une réponse inventée, et comment reconnaître un système qui n’invente pas sur vos dossiers.

Pourquoi une IA généraliste invente-t-elle au lieu de dire qu’elle ne sait pas ?

Une IA généraliste invente parce qu’elle est construite pour produire le mot le plus probable, pas pour vérifier un fait. Un modèle de langage prédit la suite d’un texte à partir de son entraînement. Quand il ignore la réponse, la continuation la plus fluide reste une phrase plausible, jamais un aveu d’ignorance. Rien dans son objectif ne récompense l’abstention. Il comble donc le vide avec assurance, et l’étude de Stanford montre que ces modèles surestiment systématiquement leur certitude, surtout sur les cas complexes.

Cette étude, « Large Legal Fictions » (Dahl, Magesh, Suzgun et Ho, Stanford RegLab, janvier 2024), a soumis plus de 200 000 requêtes à chacun des modèles testés. Le taux d’hallucination va de 58 % pour GPT-4 à 69 % pour GPT-3.5 et 88 % pour Llama 2. Le point le plus révélateur n’est pas le taux brut, c’est le comportement : les modèles manquent de conscience de leurs propres erreurs et renforcent des hypothèses fausses au lieu de les signaler.

C’est exactement ce mécanisme qui rend risqué le réflexe d’utiliser ChatGPT en douce sur des documents internes. L’outil ne connaît pas votre dossier, il connaît la forme d’une réponse à votre question. La fluidité de la sortie n’a aucun rapport avec sa véracité. C’est cette limite qui sépare un assistant généraliste d’une infrastructure conçue pour ne répondre que sur vos sources, comme le détaille le comparatif entre ChatGPT Enterprise et un RAG souverain.

Le RAG suffit-il à supprimer les hallucinations ?

Non. Brancher un modèle sur une base documentaire, technique appelée RAG (retrieval-augmented generation), réduit fortement l’invention, mais ne l’annule pas à lui seul. Une étude de Stanford portant sur des outils juridiques spécialisés, pourtant construits autour du RAG, mesure encore un taux d’erreur de plus de 17 % pour l’un et de plus de 34 % pour un autre (Stanford RegLab, 2024). Le grounding documentaire est nécessaire, il n’est pas suffisant : encore faut-il que le système s’abstienne quand le bon passage n’est pas récupéré.

Cette étude, menée par le RegLab de Stanford sur les principaux outils de recherche juridique, distingue deux formes d’erreur. La réponse incorrecte, qui décrit le droit ou les faits de travers. Et la réponse mal fondée, plus insidieuse : la citation existe, mais elle ne soutient pas ce que l’IA lui fait dire. Une source affichée n’est donc pas une preuve de fiabilité si personne ne vérifie qu’elle dit vraiment ce qu’on lui prête.

Même sur la tâche la plus favorable au RAG, résumer un document fourni, le résidu ne tombe jamais à zéro tout seul : le classement public de Vectara (avril 2025) situe les meilleurs modèles entre 0,8 et 2 % d’invention, et les moins bons sous 15 %. Autrement dit, le RAG déplace le problème de « le modèle invente à partir de rien » vers « le modèle invente quand le contexte récupéré est insuffisant ». La différence entre un RAG ordinaire et un système qui n’invente pas tient à deux choses : la qualité de la récupération, et la consigne d’abstention quand la base ne contient pas la réponse. C’est ce point qui sépare la technique brute de ce qu’est précisément un RAG souverain.

Pourquoi « je ne sais pas » vaut-il mieux qu’une réponse inventée sur un dossier ?

Parce que le coût des deux erreurs n’est pas symétrique. Un « information non trouvée » envoie l’utilisateur chercher ailleurs, sans dommage. Une réponse inventée, elle, se glisse dans un mémoire, un contrat ou un diagnostic, franchit toutes les relectures parce qu’elle est bien formulée, et se découvre trop tard. L’affaire Mata v. Avianca tient entière dans cet écart : six décisions fabriquées, déposées au tribunal, une sanction. L’abstention n’est pas une faiblesse du système, c’est sa garantie. Cette doctrine dépasse le seul RAG : elle vaut pour tout agent IA mis en production, qui doit préférer un trou honnête au flou.

Sur les métiers où chaque affirmation engage, juridique, santé, finance, la réactivité d’une IA compte moins que sa capacité à tracer une ligne nette entre « je l’ai lu dans vos sources » et « je ne l’ai pas trouvé ». Un assistant qui répond toujours quelque chose est un assistant qu’on doit vérifier à chaque fois, ce qui annule le gain de temps recherché. Un assistant qui refuse de répondre hors de ses sources concentre la vérification sur les seuls cas où il a effectivement trouvé une réponse.

Si vous voulez voir concrètement comment un agent affiche « source non trouvée » plutôt que d’inventer sur vos propres documents, prenons le temps d’en discuter sur votre cas.

Comment reconnaître une IA qui n’invente pas sur vos documents ?

Une IA qui n’invente pas répond uniquement à partir des documents fournis, cite la source exacte de chaque affirmation (document, page, date), et dit explicitement quand l’information n’est pas dans la base. Trois signes concrets la distinguent : chaque réponse est vérifiable en un clic, le système refuse de répondre hors de ses sources, et le modèle s’exécute localement pour qu’aucune donnée ne parte vers un cloud tiers. C’est le principe de ragify, l’agent RAG souverain d’Agify.

Le comportement se lit dans le détail de la réponse.

Comportement	IA généraliste cloud	RAG souverain conçu pour s’abstenir
Source de la réponse	Son entraînement général	Vos documents, uniquement
Si l’information manque	Invente une réponse plausible	Répond que l’information n’est pas trouvée
Vérifiabilité	Aucune source, ou source inventée	Document, page et date cités
Circulation des données	Vers un cloud tiers	Reste sur une infrastructure maîtrisée

L’exécution locale du modèle n’est pas un détail d’hébergement, c’est ce qui rend l’abstention crédible : un système qui ne lit que vos sources et n’appelle aucun modèle externe ne peut pas compléter un trou avec des connaissances glanées ailleurs. La souveraineté et la discipline anti-invention sont la même propriété d’architecture, détaillée dans le guide de l’IA souveraine en entreprise. Une réponse fondée sur vos documents, tracée jusqu’à la page, ou un aveu franc d’ignorance : entre les deux, il n’y a pas de zone grise où le système improvise.

Questions fréquentes

Qu’est-ce qu’une hallucination d’IA, au juste ?

Une hallucination est une réponse fausse mais formulée avec assurance, produite parce que le modèle prédit un texte plausible plutôt qu’un fait vérifié. Elle ne vient pas d’un bug, mais du fonctionnement normal d’un modèle de langage interrogé hors de ce qu’il connaît. La fluidité de la phrase ne dit rien de sa véracité.

Un RAG souverain peut-il quand même se tromper ?

Oui, le risque zéro n’existe pas, mais la nature de l’erreur change. Un RAG bien conçu ne comble pas un trou avec des connaissances générales : quand le passage pertinent n’est pas récupéré, il répond qu’il ne sait pas plutôt que d’inventer. L’erreur résiduelle relève alors de la qualité de la recherche, pas d’une invention libre du modèle.

Comment un système sait-il qu’il doit dire « je ne sais pas » ?

Il compare la question aux passages effectivement récupérés dans la base. Si aucun passage ne couvre la question avec un score de pertinence suffisant, la consigne du système est de signaler l’absence plutôt que de générer une réponse. L’abstention est un choix de conception, pas une capacité spontanée du modèle.

Peut-on mesurer le taux d’hallucination d’une IA ?

Oui, des classements publics comme celui de Vectara évaluent la fidélité des modèles sur une tâche de résumé documentaire, en comparant chaque réponse aux sources fournies. Ils donnent un ordre de grandeur utile, mais restent une approximation : un taux mesuré sur du résumé de presse ne préjuge pas du comportement sur vos dossiers métier.

Zéro hallucination, est-ce vraiment atteignable ?

L’expression désigne un objectif d’architecture, pas une garantie absolue de perfection. Ce qui est atteignable et vérifiable, c’est un système qui ne répond que sur des sources fournies, cite ses références, et s’abstient quand la base ne contient pas la réponse. La barre déplacée n’est pas « ne jamais se tromper », mais « ne jamais inventer sans le signaler ».

Ce qu’il faut retenir

La sécurité d’une IA sur un dossier ne se mesure pas à sa capacité à toujours répondre, mais à sa capacité à s’arrêter quand elle ne sait pas. Trois points structurent le sujet. Un modèle généraliste invente par construction, et le fait avec d’autant plus d’assurance qu’il a tort. Le RAG réduit fortement le problème sans le supprimer seul : la récupération et la consigne d’abstention font le reste. Et sur un dossier, un « je ne sais pas » honnête vaut mieux qu’une réponse fabriquée, parce que le coût d’une invention non signalée se paie toujours en aval. Pour voir ce comportement appliqué à vos propres documents, échangeons sur votre contexte lors d’un premier appel.

Cet article a été écrit par l’équipe Agify, qui déploie ragify, un agent RAG souverain hébergé en France, pour les organisations qui exploitent leur connaissance interne sans laisser leurs données quitter leur infrastructure.