工場長が発した「何をもって『業務で使える品質』だと判断したんだ！？」という言葉は、問題の本質を突くものです。しかしこの企業の工場長や経営層は、RAGが生成する回答文の精度の基準や、RAGの検索対象とするドキュメントの精査までは考えが及んでいません。

　工場長や現場従業員の頭の中には、蓄積されてきた知見があります。その知見は、社内のドキュメントにも記載があるはず――。そのドキュメントを読み込んだRAGからは、最適な回答文が生成されるはず――。その思い込みと、情報が更新されていないドキュメントが現場の混乱を引き起こしました。

　技術的な課題もありました。その企業では「HyDE」（ユーザーの質問から大規模言語モデル＜LLM＞に仮想的な文書を生成させ、その文書の埋め込みを使って関連文書を検索する手法）や「クエリ拡張」（検索するキーワードに同義語や関連語を追加して検索範囲を広げる手法）など、検索精度を改善する手法を十分に検討していませんでした。加えて、RAGの回答品質について客観的な評価指標を設けず、担当者の感覚など定性的な評価を中心に導入を進めていました。

　加えて、長い文書をAIが処理しやすい意味的なまとまり（チャンク）に分割する「チャンキング戦略」の最適化や、旧版と最新版の文書を区別するための情報管理も不十分でした。こうした問題も重なり、「AIが旧設備と現行設備の情報を混同する」「現場に誤った条件調整を示す」というトラブルに発展しました。

　本来、新しい製造設備を導入する際には、事前に業務や品質への影響を評価し、試験稼働を経て段階的に本番運用へ移行します。ところがこの企業では、「競合も導入している」「まずは全社で使ってみよう」という焦りから、RAGについて十分な検証をしないまま利用範囲を広げてしまいました。

　つまり、導入時に見落とされていたのは、AIも現場の判断に影響を与えるシステムだという点です。製造現場では、異常を発見した際に作業やラインを止め、原因を確認してから再開するという品質管理の仕組みがあります。しかしこの企業では、RAGの回答品質に問題が見つかった際の利用停止基準や対応手順が明確になっていませんでした。普段の業務では当然のように守っている品質管理の考え方を、RAGの導入時には適用できていなかったのです。

AIの「判断の限界」と「責任の所在」を決めないと何が起きるのか

　もう1つの問題が、「AIに何を任せ、何を人間が判断するのか」を決めていなかったことです。

　RAGを業務で使うのであれば、「RAGを使った回答文はどの段階まで使うのか」「どのような質問は人間にエスカレーションするのか」「誤った回答文が見つかった場合に誰が利用を止めるのか」をあらかじめ決めておく必要があります。

　こうした点が曖昧なままでは、ユーザーはRAGが生成した回答をどこまで信用してよいのか分かりません。「誰が判断し、誰が責任を負うのか」が不明確なまま問題が発生すれば、現場、経営層、情報システム（情シス）部門の間で責任の所在が曖昧になります。

　さらに、「回答の根拠が不明である」「回答が妥当か判断しかねる」という状況が続けば、そもそもRAGが使われなくなる可能性もあります。

　こういった問題の影響を受けやすいのが、RAGの導入や運用を担当する情シスです。特にひとり情シスの場合、次々投げ掛けられる問い合わせに心がすり減ります。

　さらに、RAGの回答品質をどの指標で評価するのかが決まっていなければ、改善も難しくなります。例えば、RAGなどのLLMアプリケーションを評価するフレームワーク「RAGAS」の指標を使い、定量的に評価する方法もあります。しかし評価基準を設定する考えがなければ、情シスは社内から寄せられる感想や個別の苦情を頼りにRAGの修正を繰り返すことになります。

　これは、RAGの機能だけで解決できる問題ではありません。「誰が回答文の品質に責任を持つのか」「誰にRAGの運用を止める権限を与えるのか」「どのような場合に人間へ判断を戻すのか」という運用設計の問題です。

しくじる企業は「組織の矛盾」をRAGに丸投げする

　ここまで見てきた失敗事例には共通点があります。RAGの導入前は「RAGなら社内のドキュメントから最適な答えを出してくれる」と期待し、データの整理を後回しにする。導入後は、回答文の品質を評価する基準や、人間の役割、責任の所在を決めないのです。新しい技術に期待するあまり、人間が本来担うべき仕事までRAGに丸投げしてしまうのです。

　「部署によって異なる業務ルール」「ベテラン従業員の判断への依存」「文書化されていない暗黙知」といった事象を整理しないまま大量のドキュメントをRAGの検索対象にしても、企業側の矛盾は解決しません。むしろ、その矛盾が回答文に反映される恐れもあります。

　RAG導入で重要なのは、AIを特別扱いするのではなく、既存業務と同じように品質基準や責任範囲、停止条件を定めることです。自社で普段から守っている業務規律をAI導入にも適用し、人間とAIの役割分担をあらかじめ設計する必要があります。

　しかし、「しくじったら終わり」ではありません。自社の問題を認識できたら、そこが挽回のスタート地点です。次回は、失敗を経験しながら軌道修正を果たした企業が、何をきっかけに、どのように立て直したのかを解き明かします。