IBMのデータサイエンティスト、シャド・グリフィン氏は、複雑な社内文書を扱うRAGで失敗を防ぐデータ設計術3つのポイントを紹介した。
社内規定や契約書、法令、過去の議事録を生成AIに検索させ、質問に回答させる「RAG」（検索拡張生成）。社内文書を登録すれば、正確な回答を返す仕組みが簡単に完成するように見える。
しかし、実際の文書には、古い情報と新しい情報、事実と意見、適用範囲の異なるルールが混在している。同じ質問に対して、複数の「正しい答え」が存在する場合もある。IBMのデータサイエンティストであるシャド・グリフィン氏によると、こうした複雑さを考慮せずにRAGを構築すると、回答が不正確になったり、ユーザーを混乱させたりする恐れがある。
本稿では、複雑な文書を扱うRAGを構築する際に、企業が押さえるべき3つのポイントを、グリフィン氏の説明から紹介する。
一般的なRAGは、ユーザーが入力した質問に関連する情報をベクトルデータベースから検索し、検索結果と質問を大規模言語モデル（LLM）に渡して回答を生成する。
この仕組みは、文書の内容が整理され、質問に対する答えが1つに定まる場合には有効だ。一方、現実の文書群は、必ずしも一貫しているとは限らない。
ここでグリフィン氏は、全米大学アメリカンフットボールを例に挙げる。例えば「2020年の全米大学アメリカンフットボールの優勝校はどこか」という質問には、ルイジアナ州立大学（Louisiana State University：LSU）とアラバマ大学（University of Alabama）という異なる回答が考えられるという。全米大学アメリカンフットボールは、「8〜12月にシーズンが始まり、翌年1月に優勝決定戦が実施される」ため、「シーズンが開幕した年」と「優勝決定戦が開催された年」でカレンダー上のズレが生じる。つまり、シーズンが始まった年で呼ぶか、優勝決定戦が開催された年で呼ぶかによって、質問の意図が変わる。
企業の文書でも同様の問題が起きる。1990年代に作成した規定と2020年代に改定した規定が同じ文書保管庫に残っていれば、内容が矛盾する可能性がある。国と地方自治体、親会社と子会社など、適用主体の異なる規則が併存する場合もある。
この状態でRAGに回答を1つだけ選ばせれば、質問者の意図や適用条件とは異なる情報を提示する恐れがある。次に、複雑な文書を扱うRAGを構築する際に、企業が押さえるべき3つのポイントを紹介する。
RAGの精度を高める上で、最初に取り組むのが文書管理だ。
例えば、2019年に制定した社内規定を2024年の新規定で完全に置き換えたにもかかわらず、両方を同じベクトルデータベースに登録していれば、検索時に新旧双方の情報が取得される可能性がある。
LLMが高性能であっても、検索結果に廃止済みの規定が含まれていれば、古い内容を根拠として回答する恐れがある。これはAIの推論能力だけで解決すべき問題ではない。
そこでユーザー企業は、少なくとも次の情報を文書に付与し、検索対象を制御する必要がある。
廃止した文書を削除できない場合は、検索対象から除外するか、旧版であることを示すメタデータを設定する。RAGを導入する前に、文書の棚卸しや版管理を徹底することが重要だ。
2つ目のポイントは、質問の意図を確認する「明確化ループ」を組み込むことだ。
例えば、ユーザーが「2010年の優勝者は誰か」とだけ質問しても、どの競技や大会を指しているのか分からない。この場合、RAGが推測して回答するのではなく、「どの競技または大会について知りたいですか」と聞き返す方が安全だ。
社内向けRAGでも、次のような質問は曖昧になりやすい。
出張先や役職、利用するデータの機密区分、所属法人、契約地域などによって、答えが変わる可能性があるためだ。
RAGは、全ての質問に直ちに回答する必要はない。回答に必要な条件が足りなければ、追加情報を求める設計にする。質問の曖昧さを検知し、回答前に確認することで、誤解や誤った業務判断を減らせる。
3つ目は、元の文書に複数の解釈や回答が存在する場合、RAGにもその複雑さを反映させることだ。
文書を人間が全て読んだ結果、「条件によってX、Y、Zのいずれも正しい」と判断できるのであれば、AIも1つだけを断定するのではなく、それぞれの条件を説明する必要がある。
例えば、法令や社内規定では、制定時期や管轄、契約条件によって適用内容が変わる。法務担当者の見解や判例解説を登録している場合、それらを確定した事実のように提示してはならない。
回答時には、次のような表現を使い分けることが望ましい。
「最も関連度が高い検索結果」をそのまま唯一の正解として回答させるのではなく、文書の関係性や適用条件まで示す設計が必要になる。
RAGが誤った回答を返した際、原因を「生成AIのハルシネーション」と結論付けるのは早計だ。
検索対象に古い文書が残っていた、意見と事実を区別していなかった、質問の曖昧さを確認しなかった、複数の回答があるのに1つだけを選ばせた――。こうした設計上の問題によって、結果的に不正確な回答が生成されることもある。
RAGの性能は、LLMやベクトルデータベースの性能だけで決まらない。登録するデータの性質を把握し、文書同士の矛盾や適用範囲、更新状況を整理できているかが重要だ。
企業がRAGの導入を検討する際は、まず「どの製品を使うか」ではなく、「文書の中にどのような矛盾や例外があるか」を確認したい。複雑な文書を単純なデータとして扱えば、高性能なAIを採用しても、信頼できる回答基盤にはならない。
本稿は、IBM Technologyが2026年7月19日に公開した動画「Why RAG Solutions Fail with Complex Documents＆Vector Databases」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓
MFA（多要素認証）を入れたから安心という常識が崩れ去っている。フィッシング集団「Tycoon2FA」が摘発されたが、脅威が完全になくなったというわけではない。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
