システム開発企業UST GlobalのチーフAIアーキテクトであるアドナン・マスード氏は、最も懸念すべきパターンとして、生成AIの出力結果をAIシステムが学習データとして取り込む「フィードバックループ」を挙げる。

　「FAQやナレッジベースの記事を自動生成し、そのまま公開した後、同じページをRAG（検索拡張生成）の検索ソースとして再利用している組織を見たことがある。1カ月後には、信頼できる組織知識を検索しているのではなく、昨日作られた“合成のごみ”を引き出している状態になる」と同氏は語る。

AI slopはどのように企業内へ入り込むのか

　低品質なAI生成コンテンツが企業に流入する経路には、幾つかの典型的なパターンがある。

従業員による“シャドーAI”や生成AIツールの無検証利用

　従業員が生成AIの課題や欠点を理解しないまま、または社内で規定された手順に従わずに生成AIツールを利用するケースだ。「AIツールは、専門知識を持たない人でも迅速に成果物を作れるようにする。しかし大抵のツールは、出力結果が品質やセキュリティ基準を満たしているかを自己判断する機能を持っていない」と、ITコンサルティング会社West Monroe Partnersで新興技術・AI担当シニアパートナーを務めるエリック・ブラウン氏は指摘する。

自動生成されたマーケティングコンテンツや製品説明文

　マーケティング部門がAIを活用してコンテンツ制作を拡大する一方で、ブランドの個性や市場での優位点が犠牲になることがある。「AI生成コンテンツは、無難で没個性的になる傾向がある。自社の製品に固有の特徴や優位性、自社の文化的な背景を伝える文脈が失われ、“一般論”や“ベストプラクティス調”に均（なら）されてしまう」とマスード氏は語る。

欠陥のあるパターンを混入させるAIコーディングツール

　システム開発にAIコーディングツールを利用するケースでは、開発者によるレビューを省略すると、脆弱なソースコードがシステムに入り込む恐れがある。

カスタマーサポートや人事システムのAI生成ナレッジ

　企業が社内ナレッジやマニュアルにAI生成したコンテンツを利用しようとすると、具体性や組織固有の文脈が欠ける場合がある。「その結果、コンテンツ量が増えているにもかかわらず、担当者へのエスカレーションが増加するという事態につながる」とブラウン氏は述べる。

QA（品質保証）を伴わない合成データを用いたAIモデルの学習プロセス

　AIモデルの学習には合成データが利用できる。しかし合成データセットの検証を省略することで、バイアス（偏見）や非現実的なパターンのデータが混入し、AIモデルの性能を低下させる。こうした合成データのリスクは、欠陥のあるデータセットを利用し続けることで増幅していく。

AI利用を開示しないサードパーティーベンダー

　自社のパートナー企業が生成AIツールを使ってコードやドキュメントを作成しているにもかかわらず、その使用を明示せず、出力結果の検証も実施しないケースがある。「懸念しているのはメタデータの欠如だ」と、セキュリティベンダーCommvault SystemsのCIOであるハ・ホアン氏は語る。「ベンダーはAIで作成されたデータ分析結果を提供するとき、誰が、どのようなライセンスに基づき、どのデータを使用して分析結果を作成したのかを明示できるのだろうか」（同氏）

AIスロップが企業に与える“本当に恐ろしいリスク”とは

　マスード氏によれば、AIスロップの本当に恐ろしい点は「間違っている可能性がある」ことではない。「恐ろしいのは、生成AIツールは見栄えの良い文章や画像を提示しながら、自信満々に間違うことだ。その結果、ユーザーは出力結果の精査をしなくなる」と同氏は語る。

　管理されていないAI生成コンテンツの悪影響は限られた部門やシステム内にとどまらず、複数の領域に波及する。具体的なリスクは以下の通りだ。

事業運営のリスク

　経営層が不正確なデータ分析結果に基づいて判断を下すと、企業の意思決定の質が低下する。また検証済みデータではなくAI生成されたコンテンツでAIモデルの学習を続けることで、AIモデルのドリフト（応答の正確性が下がること）は加速する。このデータ品質のリスクは、AIツールを用いて業務を自動化する際のエラーを増幅させる。「ユーザー企業がAIモデルの一貫性を維持せず、長期的な保守性を考慮しないことは、生成AIツールの運用時の負債を積み上げることにつながる」とブラウン氏は指摘する。

評判リスク

　不正確なコンテンツに遭遇した顧客は、企業に対する信頼を失う。「ブランドへの信頼は本来、非常に脆いものだ。1つの誤った顧客対応が、過剰なまでのダメージを与えかねない。顧客に不正確な情報を提示すると、顧客サポートの負荷が増え、売買の成約に掛かるプロセスは長期化し、正しい情報でさえ疑われるようになる」とマスード氏は説明する。

コンプライアンスと法的なリスク

　生成AIツールが著作権保護されたコンテンツを再生成することで、著作権問題が浮上する。EUのAI法（AI Act：Artificial Intelligence Act）などの規則の制定が進み、AIの透明性やデータリネージ（データの生成元から出力結果に至るまでのプロセス）に対する規制当局の監視は厳格化している。「出力結果の参照元を追跡できない場合、監査の複雑性は飛躍的に高まる」とマスード氏は述べる。

　「ビジネス判断に影響を与えるコンテンツは、データや各種の証跡が適切に管理、移転されていることを表す“管理の連鎖”（chain of custody）を証明する必要がある。AIモデルの処理の過程やデータソースを示す監査証跡がなければ、その成果物に責任を持つことはできない」とホアン氏は語る。

セキュリティリスク

　汚染されたAIモデルへの入力は、悪意のあるデータやコンテンツを出力するリスクを生み出す。AI生成されたコードには、従来のスキャンツールでは検出できない脆弱性が含まれる可能性もある。「攻撃者が悪意のあるプロンプト（生成AIへの指示）を入力してユーザーをだましたり、データを盗んだりするプロンプトインジェクションや、AIモデルが検索の参照元とするデータを攻撃者が改ざんする攻撃などによって、言語モデルは新たなサプライチェーンリスクになりつつある」と、マスード氏は指摘する。

CIOが注視すべき初期警戒サイン

　AIスロップが蓄積しつつある企業には、幾つかの兆候がある。その具体例を以下に挙げる。

• ガバナンスを伴わない生成AIツール利用の拡大
  • ポリシー整備のスピードを上回る形で社内のAIツールの導入が加速すると、AIスロップが生じやすくなる。
• AIモデルの精度の低下
  • AIモデルは、学習データの品質低下や世の中の変化に伴い、時間がたつにつれて出力結果の精度が悪化する場合がある。
• 顧客向けコンテンツのハルシネーションの頻発
  • カスタマーサービス部門に、自社が発信する情報に誤りがあるという問い合わせが寄せられるようになる。
• 成果物のAI利用の未開示
  • 社外から納品された成果物にAI生成特有の文体やパターンが見られるにもかかわらず、それが明かされていないケースがある。
• ナレッジベースの劣化
  • 社内のマニュアル集や従業員向けのチャットbotが、AI生成された具体性に欠けるコンテンツで埋め尽くされることがある。マスード氏は重要な指標として、「自信に満ちた曖昧さ」を挙げる。「こうしたコンテンツは“それらしく聞こえる”ものの具体性がなく、実際の自社のポリシーから乖離している」（マスード氏）

今後に向けたCIOの役割

　AIスロップをなくすことは、企業で生成AIを活用する際の優先事項として位置付ける必要がある。CIOは以下の5つのポイントに焦点を当て、AIスロップの抑止に努めるべきだ。

1．AIスロップを“技術的負債”として扱う

　マスード氏はAIスロップの害を、「手戻り作業や顧客の混乱、法規制への違反、ブランド価値の希薄化という形で、日々利息が積み上がる」と表現している。

2．AIハイジーン（衛生管理）戦略を構築する

　企業がITシステムや技術全体にセキュリティ対策を実装するのと同様に、AI生成コンテンツを検証し、追跡するための体系的なアプローチが求められる。「CIOは、AIスロップの抑止に品質管理の手法を適用し、ガバナンスと監視のプロセスを整備すべきだ」とブラウン氏は述べる。

3．法務や人事、データ部門との連携

　知的財産や契約条項を担う法務、規制対応を担うコンプライアンス、品質監視やデータ来歴を管理するデータ部門など、部門横断の連携が不可欠だとホアン氏は指摘する。これらのチームが協力して、AIモデルの種類や学習データの内容、ツールと出力結果の取り扱い方法などを明記した、「責任あるAIの部品表（BOM）」を構築する必要がある。

4．AI生成コンテンツの透明性の確保

　AIツールの出力結果にタグ付けをして、監査証跡を保持し、来歴を追跡できる仕組みが必要だ。「どのコンテンツがどのようなプロンプトと学習データに基づいて生成され、どのデータがどこへ流れているのかを把握できるようにしたい」（マスード氏）

5．“クリーンなデータ”を戦略的資産として重視する

　AIモデルが企業で保有するデータの品質を左右する状態では、精度が高く出所が明確な監査済みのデータセットを維持できるかどうかが競争優位につながる。「コンテンツ生成はいまや安価にできるようになったが、信頼性はそうではない」とマスード氏は語る。