「AIスロップ」は、企業のデータ品質や経営判断に悪影響を与えたり、低品質なデータをAIモデルが再学習する悪循環を生じさせたりする可能性がある。こうした事態を防ぐために、CIOやIT担当者は何をすべきか。
生成AIの登場によって、誰でも、どこからでも、素早くコンテンツを生成できる──そんな世界が現実のものとなった。しかし生成AIに対するユーザーの期待は、裏切られる可能性がある。
コンテンツを生成できる能力があるからといって、生成AIの出力結果の全てが良質で有用とは限らない。質の低いAI生成コンテンツが大量に流通する現象は、ますます一般的になっている。こうした現象は「AIスロップ」（AI slop）と呼ばれるようになった。この言葉が広く使われるようになった結果、もともと「残飯」「泥水」を表す単語だった「slop」は、アメリカで同名の英語辞典を出版するMerriam-Websterの2025年のワード・オブ・ザ・イヤーにも選ばれた。
低品質で検証されていないAI生成コンテンツが企業システム内に蓄積されることは、企業が保有するデータの品質やAIモデルの性能、ユーザーの意思決定の正確性を脅かす。
CIOやIT担当者にとって、これは対応を迫られる新たな「技術的負債」の一つになりつつある。
システム開発企業UST GlobalのチーフAIアーキテクトであるアドナン・マスード氏は、最も懸念すべきパターンとして、生成AIの出力結果をAIシステムが学習データとして取り込む「フィードバックループ」を挙げる。
「FAQやナレッジベースの記事を自動生成し、そのまま公開した後、同じページをRAG（検索拡張生成）の検索ソースとして再利用している組織を見たことがある。1カ月後には、信頼できる組織知識を検索しているのではなく、昨日作られた“合成のごみ”を引き出している状態になる」と同氏は語る。
低品質なAI生成コンテンツが企業に流入する経路には、幾つかの典型的なパターンがある。
従業員が生成AIの課題や欠点を理解しないまま、または社内で規定された手順に従わずに生成AIツールを利用するケースだ。「AIツールは、専門知識を持たない人でも迅速に成果物を作れるようにする。しかし大抵のツールは、出力結果が品質やセキュリティ基準を満たしているかを自己判断する機能を持っていない」と、ITコンサルティング会社West Monroe Partnersで新興技術・AI担当シニアパートナーを務めるエリック・ブラウン氏は指摘する。
マーケティング部門がAIを活用してコンテンツ制作を拡大する一方で、ブランドの個性や市場での優位点が犠牲になることがある。「AI生成コンテンツは、無難で没個性的になる傾向がある。自社の製品に固有の特徴や優位性、自社の文化的な背景を伝える文脈が失われ、“一般論”や“ベストプラクティス調”に均（なら）されてしまう」とマスード氏は語る。
システム開発にAIコーディングツールを利用するケースでは、開発者によるレビューを省略すると、脆弱なソースコードがシステムに入り込む恐れがある。
企業が社内ナレッジやマニュアルにAI生成したコンテンツを利用しようとすると、具体性や組織固有の文脈が欠ける場合がある。「その結果、コンテンツ量が増えているにもかかわらず、担当者へのエスカレーションが増加するという事態につながる」とブラウン氏は述べる。
AIモデルの学習には合成データが利用できる。しかし合成データセットの検証を省略することで、バイアス（偏見）や非現実的なパターンのデータが混入し、AIモデルの性能を低下させる。こうした合成データのリスクは、欠陥のあるデータセットを利用し続けることで増幅していく。
自社のパートナー企業が生成AIツールを使ってコードやドキュメントを作成しているにもかかわらず、その使用を明示せず、出力結果の検証も実施しないケースがある。「懸念しているのはメタデータの欠如だ」と、セキュリティベンダーCommvault SystemsのCIOであるハ・ホアン氏は語る。「ベンダーはAIで作成されたデータ分析結果を提供するとき、誰が、どのようなライセンスに基づき、どのデータを使用して分析結果を作成したのかを明示できるのだろうか」（同氏）
マスード氏によれば、AIスロップの本当に恐ろしい点は「間違っている可能性がある」ことではない。「恐ろしいのは、生成AIツールは見栄えの良い文章や画像を提示しながら、自信満々に間違うことだ。その結果、ユーザーは出力結果の精査をしなくなる」と同氏は語る。
管理されていないAI生成コンテンツの悪影響は限られた部門やシステム内にとどまらず、複数の領域に波及する。具体的なリスクは以下の通りだ。
経営層が不正確なデータ分析結果に基づいて判断を下すと、企業の意思決定の質が低下する。また検証済みデータではなくAI生成されたコンテンツでAIモデルの学習を続けることで、AIモデルのドリフト（応答の正確性が下がること）は加速する。このデータ品質のリスクは、AIツールを用いて業務を自動化する際のエラーを増幅させる。「ユーザー企業がAIモデルの一貫性を維持せず、長期的な保守性を考慮しないことは、生成AIツールの運用時の負債を積み上げることにつながる」とブラウン氏は指摘する。
不正確なコンテンツに遭遇した顧客は、企業に対する信頼を失う。「ブランドへの信頼は本来、非常に脆いものだ。1つの誤った顧客対応が、過剰なまでのダメージを与えかねない。顧客に不正確な情報を提示すると、顧客サポートの負荷が増え、売買の成約に掛かるプロセスは長期化し、正しい情報でさえ疑われるようになる」とマスード氏は説明する。
生成AIツールが著作権保護されたコンテンツを再生成することで、著作権問題が浮上する。EUのAI法（AI Act：Artificial Intelligence Act）などの規則の制定が進み、AIの透明性やデータリネージ（データの生成元から出力結果に至るまでのプロセス）に対する規制当局の監視は厳格化している。「出力結果の参照元を追跡できない場合、監査の複雑性は飛躍的に高まる」とマスード氏は述べる。
「ビジネス判断に影響を与えるコンテンツは、データや各種の証跡が適切に管理、移転されていることを表す“管理の連鎖”（chain of custody）を証明する必要がある。AIモデルの処理の過程やデータソースを示す監査証跡がなければ、その成果物に責任を持つことはできない」とホアン氏は語る。
汚染されたAIモデルへの入力は、悪意のあるデータやコンテンツを出力するリスクを生み出す。AI生成されたコードには、従来のスキャンツールでは検出できない脆弱性が含まれる可能性もある。「攻撃者が悪意のあるプロンプト（生成AIへの指示）を入力してユーザーをだましたり、データを盗んだりするプロンプトインジェクションや、AIモデルが検索の参照元とするデータを攻撃者が改ざんする攻撃などによって、言語モデルは新たなサプライチェーンリスクになりつつある」と、マスード氏は指摘する。
AIスロップが蓄積しつつある企業には、幾つかの兆候がある。その具体例を以下に挙げる。
AIスロップをなくすことは、企業で生成AIを活用する際の優先事項として位置付ける必要がある。CIOは以下の5つのポイントに焦点を当て、AIスロップの抑止に努めるべきだ。
マスード氏はAIスロップの害を、「手戻り作業や顧客の混乱、法規制への違反、ブランド価値の希薄化という形で、日々利息が積み上がる」と表現している。
企業がITシステムや技術全体にセキュリティ対策を実装するのと同様に、AI生成コンテンツを検証し、追跡するための体系的なアプローチが求められる。「CIOは、AIスロップの抑止に品質管理の手法を適用し、ガバナンスと監視のプロセスを整備すべきだ」とブラウン氏は述べる。
知的財産や契約条項を担う法務、規制対応を担うコンプライアンス、品質監視やデータ来歴を管理するデータ部門など、部門横断の連携が不可欠だとホアン氏は指摘する。これらのチームが協力して、AIモデルの種類や学習データの内容、ツールと出力結果の取り扱い方法などを明記した、「責任あるAIの部品表（BOM）」を構築する必要がある。
AIツールの出力結果にタグ付けをして、監査証跡を保持し、来歴を追跡できる仕組みが必要だ。「どのコンテンツがどのようなプロンプトと学習データに基づいて生成され、どのデータがどこへ流れているのかを把握できるようにしたい」（マスード氏）
AIモデルが企業で保有するデータの品質を左右する状態では、精度が高く出所が明確な監査済みのデータセットを維持できるかどうかが競争優位につながる。「コンテンツ生成はいまや安価にできるようになったが、信頼性はそうではない」とマスード氏は語る。
Copyright © ITmedia, Inc. All Rights Reserved.
なぜクラウド全盛の今「メインフレーム」が再び脚光を浴びるのか
メインフレームを支える人材の高齢化が進み、企業の基幹IT運用に大きなリスクが迫っている。一方で、メインフレームは再評価の時を迎えている。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
