一般的なRAGは、ユーザーが入力した質問に関連する情報をベクトルデータベースから検索し、検索結果と質問を大規模言語モデル（LLM）に渡して回答を生成する。

　この仕組みは、文書の内容が整理され、質問に対する答えが1つに定まる場合には有効だ。一方、現実の文書群は、必ずしも一貫しているとは限らない。

　ここでグリフィン氏は、全米大学アメリカンフットボールを例に挙げる。例えば「2020年の全米大学アメリカンフットボールの優勝校はどこか」という質問には、ルイジアナ州立大学（Louisiana State University：LSU）とアラバマ大学（University of Alabama）という異なる回答が考えられるという。全米大学アメリカンフットボールは、「8～12月にシーズンが始まり、翌年1月に優勝決定戦が実施される」ため、「シーズンが開幕した年」と「優勝決定戦が開催された年」でカレンダー上のズレが生じる。つまり、シーズンが始まった年で呼ぶか、優勝決定戦が開催された年で呼ぶかによって、質問の意図が変わる。

　企業の文書でも同様の問題が起きる。1990年代に作成した規定と2020年代に改定した規定が同じ文書保管庫に残っていれば、内容が矛盾する可能性がある。国と地方自治体、親会社と子会社など、適用主体の異なる規則が併存する場合もある。

　この状態でRAGに回答を1つだけ選ばせれば、質問者の意図や適用条件とは異なる情報を提示する恐れがある。次に、複雑な文書を扱うRAGを構築する際に、企業が押さえるべき3つのポイントを紹介する。

ポイント1．不要な文書を検索対象から除外する

　RAGの精度を高める上で、最初に取り組むのが文書管理だ。

　例えば、2019年に制定した社内規定を2024年の新規定で完全に置き換えたにもかかわらず、両方を同じベクトルデータベースに登録していれば、検索時に新旧双方の情報が取得される可能性がある。

　LLMが高性能であっても、検索結果に廃止済みの規定が含まれていれば、古い内容を根拠として回答する恐れがある。これはAIの推論能力だけで解決すべき問題ではない。

　そこでユーザー企業は、少なくとも次の情報を文書に付与し、検索対象を制御する必要がある。

• 文書の施行日と失効日
• 最新版か旧版か
• 適用する部署や地域、法人
• ステータスは、承認済みか草案か
• 事実を記載した文書か、意見や見解を記載した文書か

　廃止した文書を削除できない場合は、検索対象から除外するか、旧版であることを示すメタデータを設定する。RAGを導入する前に、文書の棚卸しや版管理を徹底することが重要だ。

ポイント2．曖昧な質問には回答せず、聞き返す

　2つ目のポイントは、質問の意図を確認する「明確化ループ」を組み込むことだ。

　例えば、ユーザーが「2010年の優勝者は誰か」とだけ質問しても、どの競技や大会を指しているのか分からない。この場合、RAGが推測して回答するのではなく、「どの競技または大会について知りたいですか」と聞き返す方が安全だ。

　社内向けRAGでも、次のような質問は曖昧になりやすい。

• 出張費の上限はいくらか
• 顧客データを外部サービスに入力してよいか
• 障害が起きた場合は誰に連絡するのか
• この契約にはどの法律が適用されるのか

　出張先や役職、利用するデータの機密区分、所属法人、契約地域などによって、答えが変わる可能性があるためだ。

　RAGは、全ての質問に直ちに回答する必要はない。回答に必要な条件が足りなければ、追加情報を求める設計にする。質問の曖昧さを検知し、回答前に確認することで、誤解や誤った業務判断を減らせる。

ポイント3．複数の答えを無理に一つに絞らない

　3つ目は、元の文書に複数の解釈や回答が存在する場合、RAGにもその複雑さを反映させることだ。

　文書を人間が全て読んだ結果、「条件によってX、Y、Zのいずれも正しい」と判断できるのであれば、AIも1つだけを断定するのではなく、それぞれの条件を説明する必要がある。

　例えば、法令や社内規定では、制定時期や管轄、契約条件によって適用内容が変わる。法務担当者の見解や判例解説を登録している場合、それらを確定した事実のように提示してはならない。

　回答時には、次のような表現を使い分けることが望ましい。

• 現行規定ではAだが、旧規定ではBだった
• 国内拠点にはA、海外拠点にはBが適用される
• 文書間で記載が異なるため、担当部署への確認が必要
• これは公式な規則ではなく、専門家による解釈である
• 質問の条件によって複数の回答が考えられる

　「最も関連度が高い検索結果」をそのまま唯一の正解として回答させるのではなく、文書の関係性や適用条件まで示す設計が必要になる。

「ハルシネーション」ではなく設計不良の可能性

　RAGが誤った回答を返した際、原因を「生成AIのハルシネーション」と結論付けるのは早計だ。

　検索対象に古い文書が残っていた、意見と事実を区別していなかった、質問の曖昧さを確認しなかった、複数の回答があるのに1つだけを選ばせた――。こうした設計上の問題によって、結果的に不正確な回答が生成されることもある。

　RAGの性能は、LLMやベクトルデータベースの性能だけで決まらない。登録するデータの性質を把握し、文書同士の矛盾や適用範囲、更新状況を整理できているかが重要だ。

　企業がRAGの導入を検討する際は、まず「どの製品を使うか」ではなく、「文書の中にどのような矛盾や例外があるか」を確認したい。複雑な文書を単純なデータとして扱えば、高性能なAIを採用しても、信頼できる回答基盤にはならない。

本稿は、IBM Technologyが2026年7月19日に公開した動画「Why RAG Solutions Fail with Complex Documents＆Vector Databases」を基に作成しました。