Taux d’hallucination IA par modèle : ce que mesurent les classements

Comparer les taux d’hallucination IA selon les modèles donne des réponses différentes suivant le test consulté. Au 1er novembre 2026, Gemini 4 Argon de Google affiche le taux d’hallucination le plus bas au test de connaissances d’Artificial Analysis (4%), mais le plus élevé des quatre grands modèles phares dans le classement de Vectara consacré au résumé de documents (12.1%).

Une hallucination IA est une affirmation assurée d’un modèle qui est factuellement fausse ou absente de son texte source. Le taux d’hallucination est la proportion de sorties — ou, selon le test, de questions sans réponse ou manquées — pour lesquelles le modèle invente des faits au lieu de s’appuyer sur une source ou d’admettre son ignorance.

Taux d’hallucination IA par modèle : les chiffres de 2026 en bref

Les taux actuels par modèle diffèrent nettement entre les tests fondés sur des documents et les tests de mémoire sans documents. Au 1er novembre 2026, les deux classements publics les plus cités — le Hallucination Leaderboard de Vectara (mis à jour le 22 octobre 2026) et AA-Omniscience v1.1 d’Artificial Analysis (lancé en octobre 2026, vérifié le 1er novembre 2026) — placent les mêmes modèles de pointe dans un ordre presque inverse.

Modèle	Taux d’hallucination Vectara (22 oct. 2026)	Taux d’hallucination AA-Omniscience v1.1	Exactitude AA-Omniscience v1.1
GPT-6 Astra	8.7%	49.8% (Max)	61.6%
GPT-6 Sol / GPT-6.1 Sol*	6.5% (GPT-6 Sol)	51.9% (GPT-6.1 Sol, Max)	61.8% (GPT-6.1 Sol)
Claude Opus 5.5	9.9%	50.3% (Max)	65.5%
Claude Sonnet 5.5	Non testé	43.3% (Max)	51.5%
Gemini 4 Argon	12.1%	4% (High)	Non relevé
Grok 4.7	Non testé	20.0% (Xhigh)	42.7%

Remarque : le classement de Vectara du 22 octobre 2026 teste GPT-6 Sol d’OpenAI, tandis qu’AA-Omniscience v1.1 teste le plus récent GPT-6.1 Sol. Ce sont des versions différentes, sans correspondance directe.

La comparaison des deux colonnes montre pourquoi les titres prêtent à confusion. Chez Vectara, GPT-6 Sol (6.5%) et GPT-6 Astra (8.7%) devancent Claude Opus 5.5 (9.9%) et Gemini 4 Argon (12.1%). Chez Artificial Analysis, Gemini 4 Argon est à 4% et Grok 4.7 à 20.0%, tandis que GPT-6 Astra (49.8%) et Claude Opus 5.5 (50.3%) avoisinent 50%.

Aucun des deux classements n’est défaillant. Ils mesurent deux tâches totalement différentes.

Que mesure le classement des hallucinations de Vectara ?

Le classement de Vectara mesure si un modèle reste fidèle à un document de référence qu’on lui demande de résumer. Dans sa mise à jour du 22 octobre 2026, Vectara demande à chaque modèle — à une température de 0 lorsque c’est possible — de résumer des articles « en utilisant uniquement les faits présentés dans le document ».

Pour évaluer les résultats, Vectara utilise son modèle commercial d’évaluation des hallucinations, HHEM-2.3, sur un jeu de données privé de plus de 7,700 articles de 50 à 24,000 mots, couvrant l’actualité, la technologie, les sciences, la médecine, le droit, le sport, les affaires et l’éducation. Garder les articles privés empêche les développeurs d’entraîner leurs modèles spécialement pour réussir le test.

Vectara publie deux chiffres pour chaque modèle :

• Taux d’hallucination : la proportion de résumés qui ne sont pas factuellement conformes au document source.
• Taux de réponse : la fréquence à laquelle le modèle a accepté de résumer le document au lieu de refuser.

Selon Vectara, on ne peut juger les hallucinations de manière fiable qu’en disposant d’un texte de référence ; ce test sert donc d’indicateur pour la génération augmentée par récupération (RAG) et les pipelines d’agents qui résument des résultats de recherche. Au 22 octobre 2026, le score le plus bas de tout le classement revient à antgroup/finix_s1_32b avec 1.8% (99.5% de taux de réponse). Parmi les modèles connus, l’ancien Grok 3 de xAI obtient 5.8% (mais avec un taux de réponse inférieur de 93.0%), GPT-6 Sol atteint 6.5% (100% de taux de réponse) et GPT-6 Astra 8.7% (100% de taux de réponse). Parmi les modèles les moins performants de la liste, grok-4-1-fast de xAI obtient 17.8% en mode sans raisonnement (98.5% de taux de réponse) et 19.2% en mode raisonnement (99.7% de taux de réponse), tandis que o3-pro d’OpenAI atteint 23.3% (100% de taux de réponse). Au 22 octobre 2026, GPT-6.1 Sol, Claude Sonnet 5.5, Claude Haiku 5.5 et Grok 4.7 ne figurent pas au classement de Vectara.

Si votre travail quotidien consiste à coller un PDF, un contrat ou une transcription de réunion dans un outil d’IA pour en demander un résumé, le test de Vectara correspond à votre usage.

Que mesure AA-Omniscience ?

AA-Omniscience v1.1 d’Artificial Analysis mesure si un modèle connaît des faits de mémoire et s’il admet ne pas savoir. Contrairement à Vectara, AA-Omniscience ne fournit aucun document de référence : c’est un examen sans documents de 3,000 questions réparties sur six domaines, mis à jour en octobre 2026 à partir d’un ancien ensemble v1 de 6,000 questions.

Le test est décrit dans l’article AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models de Jackson, Keating, Cameron et Hill-Smith. Pour chaque modèle, Artificial Analysis publie trois indicateurs principaux ainsi que le taux de tentative :

• Exactitude : les bonnes réponses divisées par les 3,000 questions.
• Taux d’hallucination : les mauvaises réponses divisées par toutes les questions auxquelles le modèle n’a pas répondu correctement (incorrectes + partielles + sans tentative). Autrement dit : parmi les questions ratées, à quelle fréquence le modèle a-t-il donné une mauvaise réponse au bluff au lieu de dire « Je ne sais pas » ?
• Score net (AA-Omniscience Index) : une échelle de −100 à 100 qui récompense les bonnes réponses, pénalise les mauvaises et ne pénalise pas le refus de répondre. Un score de 0 signifie que le modèle a donné autant de bonnes que de mauvaises réponses.

En raison de ce dénominateur, un taux d’hallucination de 50% sur AA-Omniscience ne signifie pas que le modèle se trompe une fois sur deux. Prenons Claude Opus 5.5 (Max) au 1er novembre 2026 : il répond correctement à 65.5% de toutes les questions. Sur les questions restantes, auxquelles il n’a pas répondu correctement, il donne une mauvaise réponse au bluff dans 50.3% des cas au lieu de s’abstenir, pour un score net de 48.1.

Voici un échantillon plus large de modèles sur AA-Omniscience v1.1 au 1er novembre 2026 :

Modèle (réglage AA)	Score net	Exactitude	Taux d’hallucination	Taux de tentative
Gemini 4 Carbon (High)*	53.5	58.3%	11.4%	64.3%
Claude Opus 5.5 (Max)	48.1	65.5%	50.3%	86.7%
Claude Fable 5.1 (Max)	46.3	68.4%	70.0%	93.7%
Gemini 4 Argon (High)	46	Non relevé	4%	Non relevé
GPT-6 Astra (Max)	42.4	61.6%	49.8%	82.4%
GPT-6.1 Sol (Max)	42.0	61.8%	51.9%	83.5%
Grok 4.7 (Xhigh)	31.2	42.7%	20.0%	55.7%
Claude Sonnet 5.5 (Max)	30.5	51.5%	43.3%	76.3%
GPT-6.1 Terra (Max)	29.6	47.6%	34.5%	68.4%
Gemini 3.8 Flash (High)	23.3	50.5%	55.1%	80.6%
Claude Haiku 5.5 (Max)	12.3	34.7%	34.2%	60.0%
MiniMax-M3.1-Flash	−6.4	45.1%	93.7%	98.7%
GPT-6 Luna (Max)	−8.3	39.6%	79.3%	90.4%

Remarque : lors du relevé de ces chiffres le 1er novembre 2026, Gemini 4 Carbon n’était accessible que par le Fairwind Program de Google. Il est devenu généralement disponible sur la Gemini API le 10 novembre 2026 ; voir notre guide de Gemini 4 Carbon.

Si vous saisissez directement une question factuelle dans un chatbot sans fournir de sources ni activer la recherche web, AA-Omniscience reflète le risque que vous prenez.

Pourquoi les classements d’hallucinations des LLM divergent-ils ?

Les classements d’hallucinations des LLM ordonnent différemment les mêmes modèles parce qu’ils testent des types d’erreurs différents et emploient des calculs différents. Gemini 4 Argon est l’exemple le plus clair : au 1er novembre 2026, il présente le taux d’hallucination le plus bas parmi les modèles phares sur AA-Omniscience v1.1 (4%), mais le plus élevé des quatre modèles phares testés par Vectara (12.1%, derrière GPT-6 Sol à 6.5%, GPT-6 Astra à 8.7% et Claude Opus 5.5 à 9.9%).

Trois facteurs expliquent cet écart :

1. Ancrage contre calibration

Vectara teste l’ancrage : le modèle peut-il résumer un document sous ses yeux sans y mêler de détails extérieurs ni déformer une phrase ? AA-Omniscience teste la calibration : quand le modèle ne connaît pas un fait de mémoire, s’abstient-il ou devine-t-il ? Un modèle peut être entraîné à s’abstenir poliment face à des faits obscurs (et obtenir un bon score sur AA-Omniscience), tout en brodant ou en paraphrasant approximativement lorsqu’il résume un article (et obtenir un moins bon score chez Vectara).

2. Des dénominateurs différents

Vectara divise les résumés incohérents par tous les résumés rédigés par le modèle. AA-Omniscience ne divise les mauvaises réponses que par les questions auxquelles le modèle n’a pas répondu correctement. Les dénominateurs étant totalement différents, on ne peut comparer 8.7% chez Vectara à 49.8% sur AA-Omniscience.

3. Le compromis entre prudence et audace

Les taux de tentative sur AA-Omniscience v1.1 révèlent une tendance claire : les modèles qui tentent presque toutes les questions bluffent aussi plus souvent sur celles qu’ils ratent. Le modèle le plus cher d’Anthropic, Claude Fable 5.1 (Max), affiche la meilleure exactitude du classement à 68.4%, avec un taux de tentative de 93.7% ; sur les questions qu’il ne réussit pas, ce taux élevé s’accompagne d’un taux d’hallucination de 70.0%. D’autres modèles à fort taux de tentative suivent la même tendance avec une exactitude moindre : GPT-6 Luna (Max) tente 90.4% des questions, en réussit 39.6%, bluffe sur 79.3% de celles qu’il rate et termine avec un score net de −8.3. MiniMax-M3.1-Flash tente 98.7% des questions, en réussit 45.1% et affiche un taux d’hallucination de 93.7% (score net de −6.4).

À l’inverse, les modèles qui refusent plus souvent maintiennent un faible taux d’hallucination, tout en répondant globalement à moins de questions que les champions de l’exactitude. Grok 4.7 (Xhigh) tente 55.7% du test et affiche un taux d’hallucination de 20.0% pour une exactitude de 42.7%. Gemini 4 Carbon (High) tente 64.3% des questions et associe une exactitude de 58.3% à un taux d’hallucination de 11.4%, pour le meilleur score net du classement : 53.5.

Pourquoi trouve-t-on des chiffres différents pour un même modèle ?

Les chiffres contradictoires proviennent généralement des mises à jour des benchmarks et des dates de test. Si vous avez suivi les sorties de modèles IA de l’automne 2026, vous avez peut-être vu un article très partagé de The Next Web du 2 octobre 2026 indiquant que Gemini 4 Argon avait un taux d’hallucination de 15% sur AA-Omniscience, contre 51% pour GPT-6 Astra et 54% pour GPT-6.1 Sol, tout en répondant correctement à 50% des questions contre 63% pour Astra.

Quelques semaines plus tard, sur la page d’Artificial Analysis du 1er novembre 2026, Argon (High) est à 4%, GPT-6 Astra (Max) à 49.8% (avec 61.6% d’exactitude) et GPT-6.1 Sol (Max) à 51.9% (avec 61.8% d’exactitude).

Une partie de l’écart tient à la mise à jour du benchmark : en octobre 2026, Artificial Analysis a fait passer AA-Omniscience de v1 (6,000 questions) à v1.1 (3,000 questions) et retiré les questions saturées. Comme l’indique Artificial Analysis sur sa page d’évaluation, la plupart des modèles obtiennent des scores plus bas sur v1.1, ce qui reflète le changement de jeu de données plutôt qu’une régression des modèles. De plus, les tests du 2 octobre ont eu lieu pendant l’accès anticipé à Argon, lorsque Google ne l’avait confié qu’à un petit groupe de cyberdéfenseurs avant sa diffusion plus large. Au-delà du changement de données et du calendrier, Artificial Analysis ne détaille pas les raisons exactes des variations individuelles ; le plus prudent est donc de toujours vérifier la version du benchmark et la date d’un chiffre.

Avant de croire un titre attribuant un pourcentage précis d’hallucination à un modèle, vérifiez rapidement quatre points :

1. Quel test ? Le résumé fondé sur une source (comme Vectara) et le rappel de faits sans documents (comme AA-Omniscience) ne sont pas interchangeables.
2. Quelle version du benchmark et quelle date ? Un chiffre d’AA-Omniscience v1 du début octobre 2026 n’est pas directement comparable à un chiffre v1.1 du 1er novembre 2026.
3. Quelle version du modèle et quel réglage ? GPT-6 Sol et GPT-6.1 Sol sont deux versions distinctes ; AA indique aussi l’effort de raisonnement ou le niveau, par exemple (Max), (High) ou (Xhigh).
4. Quel est le dénominateur ? Vérifiez si le pourcentage porte sur tous les prompts ou seulement sur ceux auxquels le modèle n’a pas correctement répondu.

Claude hallucine-t-il moins que ChatGPT ?

En comparant les modèles seuls au 1er novembre 2026, Claude Opus 5.5 d’Anthropic et GPT-6 Astra d’OpenAI hallucinent à des taux presque identiques, sans avantage décisif pour l’un ou l’autre.

Dans le classement de résumé de Vectara du 22 octobre 2026, OpenAI a un léger avantage : GPT-6 Astra hallucine sur 8.7% des résumés et GPT-6 Sol sur 6.5%, contre 9.9% pour Claude Opus 5.5.

Sur AA-Omniscience v1.1 (vérifié le 1er novembre 2026), les deux modèles phares sont pratiquement à égalité pour le taux d’hallucination : 50.3% pour Claude Opus 5.5 (Max), contre 49.8% pour GPT-6 Astra (Max) et 51.9% pour GPT-6.1 Sol (Max). Claude Opus 5.5 répond toutefois correctement à plus de questions (65.5% d’exactitude contre 61.6% pour Astra et 61.8% pour 6.1 Sol), ce qui lui donne un score net supérieur (48.1 contre 42.4 et 42.0).

Aux niveaux inférieurs sur AA-Omniscience v1.1, l’écart se creuse en faveur d’Anthropic : Claude Sonnet 5.5 (Max) affiche un taux d’hallucination de 43.3% (51.5% d’exactitude) et Claude Haiku 5.5 (Max) de 34.2% (34.7% d’exactitude, 60.0% de taux de tentative), tandis que GPT-6 Luna (Max) d’OpenAI, destiné aux usages à grande échelle, bluffe sur 79.3% des questions ratées.

Une réserve essentielle pour les usages quotidiens : « Claude » et « ChatGPT » sont des applications grand public, tandis que les classements testent les modèles API seuls. Dans les applications ChatGPT ou Claude au travail, des fonctions comme la recherche web intégrée peuvent changer le résultat en ajoutant des sources actuelles au prompt.

L’apport du Stanford AI Index 2026 et l’erreur de prompt qui fait chuter l’exactitude

Le 2026 AI Index Report de Stanford HAI (chapitre 3, Responsible AI) replace ces chiffres dans un contexte plus large. En examinant les générations précédentes sur les deux benchmarks, Stanford a constaté que les 15 meilleurs modèles du classement HHEM de Vectara allaient de 1.8% à 5.4% (la plupart entre 4% et 5%), tandis que les 26 modèles testés sur AA-Omniscience v1 et ses 6,000 questions allaient de 22% à 94% : Grok 4.20 Beta 0305 était le plus bas à 22% et Claude 4.5 Haiku à 26%, tandis que gpt-oss-20B (high) atteignait 94% et Gemini 3 Flash 92%. Stanford résumait ainsi l’indicateur AA : « Un taux d’hallucination inférieur indique que le modèle connaît davantage de choses ou reconnaît mieux son incertitude. »

Stanford a également souligné que les développeurs publient encore peu de résultats de benchmarks sur l’IA responsable, alors que les incidents IA documentés dans l’AI Incident Database sont passés de 233 en 2024 à 362 en 2025.

Pour les personnes qui utilisent l’IA au travail, le constat le plus utile de ce chapitre ne concerne pas un classement : il montre à quel point les modèles peinent à distinguer une connaissance objective de la croyance d’un utilisateur. Lorsque les chercheurs ont présenté dans le prompt une affirmation fausse comme une croyance de l’utilisateur, l’exactitude factuelle s’est effondrée :

• GPT-4o est passé de 98.2% à 64.4% d’exactitude.
• DeepSeek R1 a chuté de plus de 90% à 14.4% d’exactitude.

Autrement dit, même un modèle qui connaît le bon fait l’abandonnera souvent pour valider votre prémisse erronée si vous orientez sa réponse.

Ce que je ferais concrètement

Si vous comptez sur ces outils pour votre travail, inutile de mémoriser toutes les décimales d’un graphique. Voici comment je transformerais ces résultats en habitudes quotidiennes :

1. Choisissez le classement adapté à votre tâche. Si vous construisez un pipeline RAG ou résumez vos propres PDF, regardez les chiffres de Vectara, où GPT-6 Sol (6.5%), GPT-6 Astra (8.7%) et Claude Opus 5.5 (9.9%) devancent tous Gemini 4 Argon (12.1%). Si vous posez des questions factuelles sans documents et souhaitez un modèle qui admet son ignorance, Argon (4% sur AA v1.1) devine bien moins volontiers qu’Astra (49.8%) ou Opus 5.5 (50.3%). Pour choisir plus largement le niveau adapté à votre travail, consultez notre méthode pour choisir un modèle IA.
2. Activez la recherche web ou fournissez le document. Donner le texte source au modèle ou laisser votre application chercher sur le web transforme une question de mémoire sans documents en tâche ancrée dans une source, comme celles mesurées par Vectara, et vous fournit un document de référence pour vérifier la réponse.
3. Autorisez explicitement le modèle à s’abstenir. Plusieurs modèles de pointe sur AA-Omniscience tentent plus de 80% des questions et bluffent sur environ la moitié de celles qu’ils ratent. Ajoutez une phrase à votre prompt : « Si vous n’êtes pas sûr ou si la réponse ne figure pas dans le texte fourni, dites “Je ne sais pas” au lieu de deviner. »
4. Ne commencez jamais le prompt par votre propre hypothèse. Souvenez-vous du constat de Stanford sur connaissance et croyance. Ne demandez pas : « Je pense que ce contrat prévoit un préavis de résiliation de 60 jours, n’est-ce pas ? » Demandez : « Que dit la section 8 sur les délais de préavis de résiliation ? » Les questions neutres évitent que le modèle ne cède à votre supposition.
5. Vérifiez tout ce qui peut avoir un coût. Aucun modèle des deux classements n’est à 0%. Avant de présenter une statistique, une citation juridique ou une affirmation médicale à un client ou à un supérieur, suivez notre liste pour vérifier les réponses de l’IA.

FAQ

Quel modèle IA hallucine le plus ?

Cela dépend du benchmark. Sur AA-Omniscience v1.1 (vérifié le 1er novembre 2026), MiniMax-M3.1-Flash (93.7%) et le petit GPT-6 Luna d’OpenAI (79.3%) bluffent le plus souvent lorsqu’ils ratent une question, tandis que Claude Fable 5.1 (70.0%) est le plus élevé parmi les modèles haut de gamme. Dans le classement de résumé de Vectara du 22 octobre 2026, o3-pro d’OpenAI (23.3%) et les modèles grok-4-1-fast de xAI avec raisonnement (19.2%) et sans raisonnement (17.8%) figurent près du bas de la liste.

À quelle fréquence les modèles IA hallucinent-ils ?

Cela dépend de la fourniture ou non de documents sources. Pour le résumé fondé sur une source (Vectara, 22 octobre 2026), le classement va de 1.8% à 24.2%, et les quatre modèles phares actuels se situent entre 6.5% et 12.1%. Pour les questions factuelles sans documents (AA-Omniscience v1.1), lorsque les modèles ne connaissent pas la réponse, beaucoup de modèles de pointe bluffent environ une fois sur deux (GPT-6 Astra 49.8%, Claude Opus 5.5 50.3%, GPT-6.1 Sol 51.9%).

Claude hallucine-t-il moins que ChatGPT ?

Modèle contre modèle, Claude et GPT-6 sont presque à égalité au 1er novembre 2026. Au test de résumé de Vectara du 22 octobre 2026, GPT-6 Astra (8.7%) devance légèrement Claude Opus 5.5 (9.9%). Sur AA-Omniscience v1.1, Opus 5.5 (50.3%) et Astra (49.8%) sont à égalité pour le taux d’hallucination, même si Opus 5.5 donne globalement plus de bonnes réponses (65.5% contre 61.6%). Dans les niveaux inférieurs, Claude Haiku 5.5 (34.2%) bluffe bien moins que GPT-6 Luna (79.3%).

Quel est le taux d’hallucination de Grok ?

Au 1er novembre 2026, Grok 4.7 (Xhigh) de xAI affiche un taux d’hallucination de 20.0% sur AA-Omniscience v1.1, avec 42.7% d’exactitude et un prudent taux de tentative de 55.7%. Grok 4.7 ne figure pas chez Vectara au 22 octobre 2026, où les anciens modèles de xAI obtenaient 5.8% (grok-3), 17.8% (grok-4-1-fast sans raisonnement) et 19.2% (grok-4-1-fast avec raisonnement). Auparavant, le 2026 AI Index de Stanford indiquait que Grok 4.20 Beta 0305 était le plus bas des 26 modèles sur AA-Omniscience v1, à 22%.

Chiffres vérifiés pour la dernière fois le 1er novembre 2026. Prochaine vérification : 30 novembre 2026.

Sources

• Vectara, Hallucination Leaderboard (mis à jour le 22 octobre 2026) et classement interactif Hugging Face
• Artificial Analysis, AA-Omniscience Evaluation, v1.1 (vérifié le 1er novembre 2026), et Jackson, Keating, Cameron et Hill-Smith, AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models
• The Next Web, rapport sur le taux d’hallucination de Gemini 4 Argon chez Artificial Analysis face à GPT-6 Astra, 2 octobre 2026
• Stanford HAI, 2026 AI Index Report — chapitre 3 : Responsible AI et PDF du chapitre 3