モデル別AIの幻覚率：ハルシネーションのランキングは何を測るのか

モデルごとのAIの幻覚率を比較すると、どのテストを見るかによって答えが分かれます。2026年11月1日時点で、GoogleのGemini 4 ArgonはArtificial Analysisの知識テストで最も低いハルシネーション率（4%）を記録していますが、Vectaraの文書要約ランキングでは主要な4つのフラッグシップモデルの中で最も高くなっています（12.1%）。

AIのハルシネーションとは、モデルが自信を持って述べた内容が事実と異なる、または元の文章に存在しないことです。幻覚率とは、モデルが根拠に基づいて回答するか、わからないと認める代わりに事実を作り出した出力の割合です。テストによっては、正解できなかった問題や回答しなかった問題を対象に算出します。

モデル別AIの幻覚率：2026年の数字を一覧

現在のモデル別幻覚率は、文書を根拠とするテストと資料なしの記憶テストで大きく異なります。2026年11月1日時点で、最も多く引用される2つの公開ランキング、VectaraのHallucination Leaderboard（最終更新2026年10月22日）とArtificial AnalysisのAA-Omniscience v1.1（2026年10月開始、2026年11月1日確認）は、同じ最先端モデルをほぼ逆の順序に並べています。

モデル	Vectara幻覚率（2026年10月22日）	AA-Omniscience v1.1幻覚率	AA-Omniscience v1.1正答率
GPT-6 Astra	8.7%	49.8% (Max)	61.6%
GPT-6 Sol / GPT-6.1 Sol*	6.5% (GPT-6 Sol)	51.9% (GPT-6.1 Sol, Max)	61.8% (GPT-6.1 Sol)
Claude Opus 5.5	9.9%	50.3% (Max)	65.5%
Claude Sonnet 5.5	未テスト	43.3% (Max)	51.5%
Gemini 4 Argon	12.1%	4% (High)	未取得
Grok 4.7	未テスト	20.0% (Xhigh)	42.7%

注：2026年10月22日のVectaraのランキングはOpenAIのGPT-6 Solをテストし、AA-Omniscience v1.1はより新しいGPT-6.1 Solをテストしています。異なるモデルバージョンであり、直接1対1で比較できません。

2つの列を並べると、見出しが混乱を招く理由がわかります。VectaraではGPT-6 Sol（6.5%）とGPT-6 Astra（8.7%）がClaude Opus 5.5（9.9%）とGemini 4 Argon（12.1%）を上回ります。Artificial AnalysisではGemini 4 Argonが4%、Grok 4.7が20.0%である一方、GPT-6 Astra（49.8%）とClaude Opus 5.5（50.3%）は50%に近い値です。

どちらのランキングも誤っているわけではありません。まったく異なる2つの仕事を測っています。

Vectaraのハルシネーションランキングは何を測る？

Vectaraのハルシネーションランキングは、要約を依頼されたモデルが参照文書に忠実であるかを測ります。2026年10月22日の更新では、Vectaraは各モデルに、可能な場合はtemperatureを0にして、「文書に示された事実のみを使って」記事を要約するよう指示しています。

結果の評価には、Vectaraの商用ハルシネーション評価モデルHHEM-2.3を使います。対象はニュース、技術、科学、医療、法律、スポーツ、ビジネス、教育の分野にわたる、50〜24,000語の7,700本以上の記事からなる非公開データセットです。記事を非公開にすることで、開発者がこのテストに特化してモデルを訓練するのを防いでいます。

Vectaraはモデルごとに2つの数値を報告します。

• 幻覚率： 元の文書と事実関係が一致しない要約の割合。
• 回答率： モデルが文書の要約を拒否せず、引き受けた頻度。

Vectaraは、参照テキストが手元にある場合にのみハルシネーションを信頼性高く判定できると主張しています。そのため、このテストは検索拡張生成（RAG）や検索結果を要約するエージェントのパイプラインの代用指標になります。2026年10月22日時点で、ランキング全体の最低値はantgroup/finix_s1_32bの1.8%（回答率99.5%）です。著名なモデルでは、xAIの旧モデルGrok 3が5.8%（ただし回答率はより低い93.0%）、GPT-6 Solが6.5%（回答率100%）、GPT-6 Astraが8.7%（回答率100%）です。掲載モデルの成績が低い側では、xAIのgrok-4-1-fastが非推論モードで17.8%（回答率98.5%）、推論モードで19.2%（回答率99.7%）、OpenAIのo3-proが23.3%（回答率100%）です。2026年10月22日時点で、GPT-6.1 Sol、Claude Sonnet 5.5、Claude Haiku 5.5、Grok 4.7はVectaraのランキングに載っていません。

日々の仕事でPDFや契約書、会議の議事録をAIツールに貼り付け、要約を依頼するなら、Vectaraのテストがその作業に相当します。

AA-Omniscienceは何を測る？

Artificial AnalysisのAA-Omniscience v1.1は、モデルが事実を記憶から知っているか、知らない場合にそれを認めるかを測ります。Vectaraとは異なり、AA-Omniscienceは参照文書を提供しません。6分野の3,000問からなる資料なしの試験で、以前の6,000問のv1から2026年10月に更新されました。

このテストはJackson、Keating、Cameron、Hill-Smithによる論文 AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models で説明されています。Artificial Analysisは各モデルについて、回答試行率に加えて3つの主要指標を報告します。

• 正答率： 正解数を全3,000問で割った値。
• 幻覚率： 不正解数を、モデルが正解しなかった全問題数（不正解＋部分正解＋未回答）で割った値。つまり、正解できなかった問題のうち、「わからない」と言わずに誤答をでっち上げた頻度です。
• ネットスコア（AA-Omniscience Index）： 正解に加点し、誤答に減点し、回答拒否には減点しない−100〜100の尺度。0は正解と不正解が同数だったことを意味します。

この分母の仕組みにより、AA-Omniscienceの幻覚率50%は、モデルが半分の確率で間違うことを意味しません。 2026年11月1日時点のClaude Opus 5.5 (Max)を例に取ると、全問題の65.5%に正解しています。残りの正解できなかった問題では、回答を控える代わりに50.3%の頻度で誤答をでっち上げ、ネットスコアは48.1になります。

2026年11月1日時点のAA-Omniscience v1.1で、より幅広いモデルを見ると次のようになります。

モデル（AA設定）	ネットスコア	正答率	幻覚率	回答試行率
Gemini 4 Carbon (High)*	53.5	58.3%	11.4%	64.3%
Claude Opus 5.5 (Max)	48.1	65.5%	50.3%	86.7%
Claude Fable 5.1 (Max)	46.3	68.4%	70.0%	93.7%
Gemini 4 Argon (High)	46	未取得	4%	未取得
GPT-6 Astra (Max)	42.4	61.6%	49.8%	82.4%
GPT-6.1 Sol (Max)	42.0	61.8%	51.9%	83.5%
Grok 4.7 (Xhigh)	31.2	42.7%	20.0%	55.7%
Claude Sonnet 5.5 (Max)	30.5	51.5%	43.3%	76.3%
GPT-6.1 Terra (Max)	29.6	47.6%	34.5%	68.4%
Gemini 3.8 Flash (High)	23.3	50.5%	55.1%	80.6%
Claude Haiku 5.5 (Max)	12.3	34.7%	34.2%	60.0%
MiniMax-M3.1-Flash	−6.4	45.1%	93.7%	98.7%
GPT-6 Luna (Max)	−8.3	39.6%	79.3%	90.4%

注：2026年11月1日にこれらの数字を取得した時点では、Gemini 4 CarbonはGoogleのFairwind Programを通じてのみ利用可能でした。2026年11月10日にGemini APIで一般提供が始まりました。Gemini 4 Carbonガイドをご覧ください。

ソース資料を貼り付けたりウェブ検索を有効にしたりせず、チャットボットに直接事実に関する質問を入力する場合、AA-Omniscienceはそのリスクを反映します。

LLMのハルシネーションランキングはなぜ一致しない？

LLMのハルシネーションランキングで同じモデルの順位が異なるのは、異なる失敗の種類をテストし、異なる計算方法を使うためです。最も明確な例がGemini 4 Argonです。2026年11月1日時点でAA-Omniscience v1.1ではフラッグシップモデル中の幻覚率が最低（4%）ですが、Vectaraでテストされた4つのフラッグシップでは最高です（12.1%。GPT-6 Solの6.5%、GPT-6 Astraの8.7%、Claude Opus 5.5の9.9%より高い値）。

この違いには3つの要因があります。

1. 根拠への忠実さとキャリブレーション

Vectaraが試すのは根拠への忠実さです。モデルは目の前の文書を、外部の詳細を混ぜたり文章をゆがめたりせずに要約できるでしょうか。一方、AA-Omniscienceが試すのはキャリブレーションです。モデルは記憶から事実がわからないとき、回答を控えるでしょうか、それとも推測するでしょうか。モデルは、あまり知られていない事実を問われたときに丁寧に回答を控えるよう訓練されていても（AA-Omniscienceでは好成績）、記事の要約時には話を膨らませたり大まかに言い換えたりすることがあります（Vectaraでは成績が下がります）。

2. 分母の違い

Vectaraは不一致の要約数をモデルが書いたすべての要約数で割ります。AA-Omniscienceは誤答数を、モデルが正解できなかった問題数だけで割ります。分母がまったく異なるため、Vectaraの8.7%とAA-Omniscienceの49.8%は比較できません。

3. 慎重さと大胆さのトレードオフ

AA-Omniscience v1.1の回答試行率を詳しく見ると、明確な傾向が浮かびます。ほぼすべての問題に答えようとするモデルは、正解できなかった問題でもより頻繁に誤答をでっち上げます。Anthropicの最も高価なモデルClaude Fable 5.1 (Max)は、ランキング最高の正答率68.4%と回答試行率93.7%を記録しています。そして正解できなかった問題では、この高い試行率に70.0%の幻覚率が伴います。試行率の高い他のモデルでも、正答率は低いものの同じ傾向が見られます。GPT-6 Luna (Max)は問題の90.4%に回答を試み、39.6%に正解し、正解できなかった問題の79.3%で誤答をでっち上げ、ネットスコアは−8.3です。MiniMax-M3.1-Flashは98.7%に回答を試み、45.1%に正解し、幻覚率は93.7%です（ネットスコア−6.4）。

逆に、回答を控えることが多いモデルは幻覚率を低く保ちますが、正答率上位のモデルより全体の回答数は少なくなります。Grok 4.7 (Xhigh)はテストの55.7%に回答を試み、正答率42.7%、幻覚率20.0%を記録しています。Gemini 4 Carbon (High)は64.3%の問題に回答を試み、正答率58.3%と幻覚率11.4%を組み合わせ、ランキング最高のネットスコア53.5を獲得しています。

同じモデルの数字が異なるのはなぜ？

同じモデルの幻覚率が食い違う主な理由は、ベンチマークの更新とテスト日の違いです。2026年秋のAIモデル発表を追っていた方は、2026年10月2日のThe Next Webの広く共有された報道を見たかもしれません。そこではAA-OmniscienceでのGemini 4 Argonの幻覚率が15%、GPT-6 Astraが51%、GPT-6.1 Solが54%で、正答率はArgonが50%、Astraが63%と報じられました。

数週間後の2026年11月1日にArtificial Analysisのページを見ると、Argon (High)は4%、GPT-6 Astra (Max)は49.8%（正答率61.6%）、GPT-6.1 Sol (Max)は51.9%（正答率61.8%）と記載されています。

差の一部はベンチマークの更新によるものです。2026年10月、Artificial AnalysisはAA-Omniscienceをv1（6,000問）からv1.1（3,000問）に移行し、飽和した問題を取り除きました。Artificial Analysisが評価ページで述べているように、ほとんどのモデルのスコアはv1.1で下がりますが、これはモデルの性能低下ではなくデータセットの変更を反映しています。また、10月2日のテストはArgonの早期アクセス期間中に行われました。当時Googleは、より広く公開する前に、少数のサイバー防衛担当者にのみモデルを提供していました。データセットの変更と時期以外について、Artificial Analysisは個々のスコア変動の正確な理由を詳述していません。そのため、数字の出典となるベンチマークのバージョンと日付を常に確認するのが最も確実です。

モデルの幻覚率を特定の割合で示す見出しを読んだら、信じる前に次の4点を手早く確認しましょう。

1. どのテストか？ 根拠に基づく要約（Vectaraなど）と資料なしの記憶による回答（AA-Omniscienceなど）は同じではありません。
2. ベンチマークのバージョンと日付は？ 2026年10月初めのAA-Omniscience v1の数字は、2026年11月1日のv1.1の数字と直接比較できません。
3. モデルのバージョンと設定は？ GPT-6 SolとGPT-6.1 Solは異なるバージョンです。AAは(Max)、(High)、(Xhigh)など、推論の労力や階層の設定も表示します。
4. 分母は何か？ 割合がすべてのプロンプトを対象とするのか、モデルが正解できなかったプロンプトだけを対象とするのか確認しましょう。

ClaudeはChatGPTよりハルシネーションが少ない？

2026年11月1日時点でモデル自体を比較すると、AnthropicのClaude Opus 5.5とOpenAIのGPT-6 Astraの幻覚率はほぼ同じで、どちらかが圧倒的に優位ということはありません。

2026年10月22日のVectaraの要約ランキングではOpenAIがわずかに優勢です。GPT-6 Astraは要約の8.7%、GPT-6 Solは6.5%でハルシネーションを起こし、Claude Opus 5.5は9.9%です。

AA-Omniscience v1.1（2026年11月1日確認）では、フラッグシップの幻覚率は実質的に互角です。Claude Opus 5.5 (Max)が50.3%に対し、GPT-6 Astra (Max)が49.8%、GPT-6.1 Sol (Max)が51.9%です。ただし、Claude Opus 5.5はより多くの問題に正解しており（正答率65.5%、Astraは61.6%、6.1 Solは61.8%）、Opus 5.5のネットスコアはより高くなります（48.1に対し42.4と42.0）。

AA-Omniscience v1.1の小さい階層ではAnthropicに有利な差が広がります。Claude Sonnet 5.5 (Max)の幻覚率は43.3%（正答率51.5%）、Claude Haiku 5.5 (Max)は34.2%（正答率34.7%、回答試行率60.0%）ですが、大量利用向けのOpenAIのGPT-6 Luna (Max)は正解できなかった問題の79.3%で誤答をでっち上げます。

日常の利用者にとって重要な注意点があります。「Claude」と「ChatGPT」は一般向けアプリですが、ランキングがテストするのはAPIのモデル自体です。仕事でChatGPTやClaudeのアプリを使うときは、組み込みのウェブ検索などの機能が最新の情報源をプロンプトに取り込み、結果を変えることがあります。

Stanford AI Index 2026が示すことと、正答率を急落させるプロンプトの間違い

Stanford HAIの2026 AI Index Report（第3章、Responsible AI）は、これらの数字をより広い文脈に位置づけています。両ベンチマークで以前の世代のモデルを調べたStanfordによると、VectaraのHHEMランキング上位15モデルは1.8%〜5.4%（大半は4%〜5%）でした。一方、6,000問のAA-Omniscience v1でテストされた26モデルは22%〜94%で、Grok 4.20 Beta 0305が最低の22%、Claude 4.5 Haikuが26%、gpt-oss-20B (high)が94%、Gemini 3 Flashが92%でした。StanfordはAA指標について「幻覚率が低いほど、モデルの知識が豊富か、不確かなときをよりよく認識できることを示す」とまとめています。

Stanfordはまた、モデル開発者による責任あるAIのベンチマーク報告が依然として少ないと指摘しました。その一方で、AI Incident Databaseに記録されたAI関連の事故は2024年の233件から2025年には362件に増えました。

仕事でAIを使う人にとって、この章で最も実践的な発見はランキングのスコアではありません。モデルが客観的な知識とユーザーの思い込みを区別するのに、いかに苦労するかという点です。研究者が誤った主張をユーザーの信じていることとしてプロンプトに記載すると、事実に関する正答率が急落しました。

• GPT-4oの正答率は**98.2%から64.4%**に低下しました。
• DeepSeek R1の正答率は**90%超から14.4%**に急落しました。

つまり、正しい事実を知っているモデルでも、誘導されるとそれを捨て、ユーザーの誤った前提を肯定することがよくあります。

私なら実際にこうする

これらのツールを実際の仕事で頼りにするなら、グラフの小数点以下をすべて覚える必要はありません。私なら、次のように調査結果を日々の習慣に生かします。

1. 仕事に合ったランキングを選ぶ。 RAGパイプラインを構築したり、自分のPDFを要約したりするなら、Vectaraの数字に注目します。GPT-6 Sol（6.5%）、GPT-6 Astra（8.7%）、Claude Opus 5.5（9.9%）はいずれもGemini 4 Argon（12.1%）を上回ります。資料なしで事実を質問し、わからないと認めるモデルがほしいなら、Argon（AA v1.1で4%）はAstra（49.8%）やOpus 5.5（50.3%）より推測にかなり慎重です。作業に合う階層の選び方を広く知るには、AIモデルの選び方の考え方をご覧ください。
2. ウェブ検索を有効にするか文書を渡す。 モデルに元のテキストを渡すか、チャットアプリにウェブ検索させると、資料なしの記憶問題が、Vectara型テストで測る根拠に基づいたタスクに変わります。また、回答を照合できる参照文書も得られます。
3. 回答を控えてよいと明示する。 AA-Omniscienceの最先端モデルのいくつかは80%を超える問題に回答を試み、正解できなかった問題の約半分で誤答をでっち上げます。プロンプトに一文を加えましょう。「確信がない場合、または提供されたテキストに答えがない場合は、推測せず『わかりません』と言ってください。」
4. 自分の思い込みをプロンプトの冒頭に置かない。 知識と信念に関するStanfordの発見を思い出してください。*「この契約では60日前の通知で解約できると思いますが、そうですよね？」とは聞かず、「第8条には解約の通知期間について何と書かれていますか？」*と聞きましょう。中立的な質問なら、モデルがこちらの推測に迎合するのを防げます。
5. 損失につながるものは必ず検証する。 どちらのランキングでも0%のモデルはありません。統計、法律の引用、医療上の主張を顧客や上司に示す前に、AIの回答をファクトチェックする方法のチェックリストを確認しましょう。

FAQ

最もハルシネーションが多いAIモデルは？

最も多いモデルはベンチマークによって異なります。AA-Omniscience v1.1（2026年11月1日確認）では、MiniMax-M3.1-Flash（93.7%）とOpenAIの小型モデルGPT-6 Luna（79.3%）が正解できなかった問題で最も頻繁に誤答をでっち上げ、上位モデルではClaude Fable 5.1（70.0%）が最高です。2026年10月22日のVectaraの要約ランキングでは、OpenAIのo3-pro（23.3%）とxAIのgrok-4-1-fastの推論モデル（19.2%）、非推論モデル（17.8%）が掲載モデルの下位にあります。

AIモデルはどのくらいハルシネーションを起こす？

元となる文書を与えるかどうかで異なります。根拠に基づく要約（Vectara、2026年10月22日）では、ランキングの範囲は1.8%〜24.2%で、現在の4つのフラッグシップモデルは6.5%〜12.1%です。資料なしの事実に関する質問（AA-Omniscience v1.1）では、多くの最先端モデルが答えを知らないとき、およそ半分の頻度で誤答をでっち上げます（GPT-6 Astra 49.8%、Claude Opus 5.5 50.3%、GPT-6.1 Sol 51.9%）。

ClaudeはChatGPTよりハルシネーションが少ない？

モデル同士では、2026年11月1日時点のClaudeとGPT-6はほぼ互角です。2026年10月22日のVectaraの要約テストでは、GPT-6 Astra（8.7%）がClaude Opus 5.5（9.9%）をわずかに上回ります。AA-Omniscience v1.1ではOpus 5.5（50.3%）とAstra（49.8%）の幻覚率は互角ですが、全体ではOpus 5.5の正答が多くなっています（65.5%対61.6%）。小さい階層では、Claude Haiku 5.5（34.2%）はGPT-6 Luna（79.3%）よりはるかに誤答をでっち上げる頻度が低くなっています。

Grokの幻覚率は？

2026年11月1日時点で、xAIのGrok 4.7 (Xhigh)はAA-Omniscience v1.1で幻覚率20.0%、正答率42.7%、慎重な回答試行率55.7%を記録しています。Grok 4.7は2026年10月22日時点のVectaraには掲載されていません。同ランキングでは旧世代のxAIモデルが5.8%（grok-3）、17.8%（grok-4-1-fast非推論）、19.2%（grok-4-1-fast推論）を記録しました。それ以前にStanfordの2026 AI Indexは、Grok 4.20 Beta 0305がAA-Omniscience v1の26モデル中最低の22%だったと報告しています。

数値の最終確認日：2026年11月1日。次回確認予定：2026年11月30日。

出典

• Vectara、Hallucination Leaderboard（2026年10月22日更新）、Hugging Faceのインタラクティブランキング
• Artificial Analysis、AA-Omniscience Evaluation、v1.1（2026年11月1日確認）、およびJackson、Keating、Cameron、Hill-Smith、AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models
• The Next Web、Artificial AnalysisにおけるGemini 4 ArgonとGPT-6 Astraの幻覚率に関する報道、2026年10月2日
• Stanford HAI、2026 AI Index Report — 第3章：Responsible AI、第3章PDF