Lotook
AIの回答で最も危険なのは、間違いが多いことではありません。間違った回答も、正しい回答とまったく同じ、自信に満ちた整然とした口調で返ってくることです。
今や法律界の誰もが知る事例が Mata v. Avianca です。2023年、ニューヨークの連邦裁判で弁護士たちが提出した書面には、ChatGPT が架空の引用まで添えて作り上げた判例が記載されていました。判例が実在するか尋ねられると、ChatGPT は「確かに存在し」、法律データベースで見つかると保証しました。しかし実在しませんでした。2023年6月、Judge P. Kevin Castel は弁護士たちとその法律事務所に $5,000 の制裁金を科しました。
それ以来、ツールは大きく進歩しましたが、教訓は変わりません。モデル自身に自分の正しさを保証させることはできないのです。このガイドでは、AIの回答を信頼する前に検証するために私がおすすめする手順を紹介します。約5分ででき、ほとんどの問題を見つけられます。
AIの回答が間違う理由
エラーが起こる仕組みを知れば、どこを調べればよいかわかります。
- 真実よりも、もっともらしさが優先される。 言語モデルは学習したパターンに合うテキストを生成します。知らないことについて「わかりません」と言う代わりに、正しそうに聞こえるだけの内容を作り出すことがあります。
- 知識が古くなる。 モデルはウェブ検索をしない限り、最近の出来事を知らないことがあります。検索していても古い情報に頼ることがあります。
- 出典が混ざる。 2つの研究、似た名前の2人、または方針の2つの版が、1つの自信ありげな文章に混ざることがあります。
- 出典が捏造されたり誤読されたりする。 リンクが存在しない、無関係なページにつながる、あるいはその出典に基づく要約と異なることが書かれている場合があります。
- 数字がずれる。 割合、日付、単位、通貨には間違いが集中します。
ウェブを検索して出典を示すアシスタントは、数年前よりはるかに優れています。それでも、これらの間違いをどれも時折犯します。
まず、どの程度の検証が必要か決める
すべての回答に同じ厳密さが必要なわけではありません。重要度に応じて手間をかけましょう。
| 重要度 | 例 | 対応 |
|---|---|---|
| 低 | 名前のアイデア出し、メールの言い換え、いずれ学ぶ概念の説明 | 批判的に読む。正式な検証は不要 |
| 中 | 仕事の文書に載せる事実、共有する要約、従う予定の手順 | 以下の5分間チェックを行う |
| 高 | 健康、法律、お金、安全に関する判断、公開するあらゆる内容 | チェックを行い、さらに一次情報または資格のある専門家に確認する |
5分間チェック
1分目：主張をリストアップする
回答をざっと読み、検証できる具体的な内容を抜き出します。名前、数字、日付、引用、出典、「XがYにつながった」といった因果関係の主張です。つなぎの文章は無視します。ほとんどの回答は3〜6個の主張に基づいており、検証すべきはそれらです。
検証できる主張が1つも見つからない場合も、そのことに注意してください。曖昧な回答は誤りを証明しにくいものですが、同時に信頼することも困難です。
2分目：すべての出典を開く
アシスタントが出典を挙げている場合は、すべてクリックします。それぞれについて3つの質問をします。ページは存在するか。コンテンツファームではなく、公式ページ、研究、信頼できる報道機関など、説明どおりの種類の出典か。そして、回答が述べているとおりのことが実際に書かれているか。
最後の質問で最も多くの誤りを見つけられます。実際には、偽のリンクよりも、実在する出典に間違った要約が添えられているケースのほうがはるかに多く、リンク自体は正しく見えるため、ずっと見落としやすいのです。
出典がない場合は、提示を求めて確認します。ただし、出典が実在するというモデルの言葉をうのみにしてはいけません。まさにそれが Mata v. Avianca で問題になったことです。
3分目：横断的に読む
ファクトチェッカーは、出典をじっくり読むだけでその信頼性を判断しません。新しいタブを開き、ほかの人たちがその出典について何と言っているか調べます。デジタルリテラシー研究者の Mike Caulfield は、これを SIFT という手法にまとめました。
- Stop： 反応したり共有したりする前に立ち止まります。特に、主張に強い怒りや喜びを感じたときはそうしましょう。
- Investigate the source： 出典を調べます。誰が発信しており、何で知られていますか。
- Find better coverage： より良い報道を探します。ほかの信頼できる情報源も同じことを伝えていますか。
- Trace claims： 主張を元の文脈までたどります。実際の研究、引用の全文、元の写真を確認します。
重要なフレーズを引用符で囲んで検索したり、名前とキーワードを組み合わせて検索したりすると、多くの場合、数秒で元の情報が見つかります。
4分目：数字と日付を確認する
すべての数値を注意深く見ます。
- 最新か。 「時点」を示す日付を探します。価格、法律、製品の機能、統計は常に変わります。
- 正しい指標か。 売上と利益、ユーザー数と月間アクティブユーザー数、パーセントとパーセントポイントは混同されがちです。
- 計算は合っているか。 40から70に「倍増」したというなら、それは間違いです。
- 単位は正しいか。 通貨、百万と十億、メートル法とヤード・ポンド法に注意します。
5分目：何が答えを変えるか尋ねる
アシスタントに自分の回答の弱点を探すよう求めます。例えば、次のように尋ねます。「回答のどの部分に最も自信がありませんか。また、それを確かめるには何を確認する必要がありますか。」
これで弱点がすぐに浮かび上がることはよくあります。ただし、その返答は検証結果ではなく、やることリストとして扱ってください。モデルは依然として自分の宿題を採点しているのです。重要なことについては、別の提供元のモデルに同じ質問をすることで、手軽に第二の意見を得られます。AIモデルの選び方のガイドでは、第二の意見を求める価値がある場合を説明しています。
再確認すべき危険信号
| 危険信号 | 注意が必要な理由 |
|---|---|
| 出典のない非常に正確な数字 | 正確そうな数字もほかの内容と同じくらい簡単に捏造できる |
| 有名人の引用 | 学習データには発言者を誤って記した引用があふれている |
| 一般的なタイトルの出典や、トップページにたどり着くリンク | 存在しない出典によく見られる兆候 |
| ウェブにアクセスできないツールによる最近の出来事の詳細な説明 | 古い情報で不足を埋めている可能性がある |
| 再生成すると変わる回答 | どの版も自信ありげに見えても、モデルは確信がない |
| 期待どおりのことをそのまま述べる回答 | モデルは質問の言い回しに合わせる傾向がある |
最後のものが最も見抜きにくい危険信号です。「なぜXは良い考えなのですか」と尋ねると、通常はXが良い考えである理由が返ってきます。代わりに「Xの賛成と反対、それぞれの最も有力な根拠は何ですか」と尋ねましょう。
特別なケース
画像、スクリーンショット、動画
AIで生成・編集された画像は今やありふれており、「投稿」のスクリーンショットは数秒で偽造できます。画像の逆検索を行い、以前のコピーと元の文脈を探しましょう。ファイルに Content Credentials が付いているか確認します。これは C2PA 連合による来歴の標準で、一部のカメラ、画像編集アプリ、AI生成ツールが画像に付与しています。
規制も役立ち始めています。2026年8月2日から、EU AI Act の透明性に関する規則は、生成AIシステムの提供者に合成コンテンツを機械可読な形でマークすることを、ディープフェイクの公開者にその旨を開示することを義務づけています。8月2日より前にすでに市場に出ていたシステムは、2026年12月2日までにマークを追加する必要があります。EUのAIコンテンツ表示規則の解説で詳しく説明しています。表示がない場合や削除される場合もあるため、表示がないことは「本物」ではなく「不明」と捉えてください。
健康、法律、お金
AIは自分の状況を理解し、より良い質問を準備するために使い、最終判断には使わないようにしましょう。行動に移す内容は、政府の公式ページや法律・方針の原文などの一次情報、または資格のある専門家に確認します。
速報ニュース
初期の報道は間違っていることが多く、AIによる要約もその間違いを引き継ぎます。急速に展開するニュースでは、複数の実績ある報道機関による確認を待つか、それらの報道を直接確認しましょう。
検証しやすい回答を求める
最初から検証可能な回答を求めることで、時間を節約できます。
- 「事実に関する各主張について、直接リンクとページからの短い引用を添えて出典を示してください。」
- 「十分に確立されたことと、不確実または議論のあることを分けてください。」
- 「各統計がいつの時点のものか示してください。」
- 「わからない場合は推測せず、わからないと言ってください。」
いずれも正確さを保証するものではありませんが、問題を見つけやすくなります。また、モデルが照合する文書を貼り付ける場合は、まず機密情報をすべて取り除いてください。機密データを漏らさずに仕事でAIを使う方法のガイドでは、何を除くべきか説明しています。
最も大切な1つの習慣
このガイドから1つだけ覚えるなら、これにしてください。出典を開くことです。実際の被害を引き起こすAIの間違いのほとんどは、誰かがリンクをクリックしてページを読んでいれば発見できたはずです。
同じルールは、AIエージェントが依頼された作業の結果を報告するときにも当てはまります。「タスク完了」は主張であって、証拠ではありません。AIエージェントとは何かを説明するガイドでは、エージェントがより長い作業を引き受けるにつれて、なぜこれが重要になるのかを解説しています。
出典
- LawNext, Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research, 2023年6月22日
- Wikipedia, Mata v. Avianca, Inc.
- Mike Caulfield, SIFT (The Four Moves), 2019年6月19日
- C2PA, Coalition for Content Provenance and Authenticity
- European Commission, Guidelines on transparency obligations for providers and deployers of certain AI systems
- Morgan Lewis, EU AI Act’s transparency rules: what went into effect on 2 August, 2026年8月
