激増する“生成AI製コンテンツ”にはAIをぶつけるべし――モデレーションの将来：AIモデレーションの現在と未来【後編】

生成AI製コンテンツの急増は、コンテンツを審査して不適切なものを排除する「コンテンツモデレーション」に新たな課題を突き付けている。その対策として有力な、AI技術を活用したモデレーションとはどのようなものか。

[David Weldon，TechTarget]

　人工知能（AI）技術、とりわけ画像やテキストを自動生成する「生成AI」の発展が目覚ましい。生成AI製コンテンツの急増は、コンテンツを審査し、偽情報やポリシーに違反するものを排除する「コンテンツモデレーション」の在り方を大きく変えつつある。人手での審査が限界を迎える中で、有力視されているのが、コンテンツモデレーションにもAI技術を取り入れることだ。生成AIをはじめとするAI技術は、コンテンツをどう理解し、監視体制をどう強化しているのか。この進化が、未来のオンラインコミュニケーションや労働力に与え得る影響とは。

「生成AI製コンテンツ」にどう対処する？

併せて読みたいお薦め記事

連載：AIモデレーションの現在と未来

• 前編：“不適切投稿”をブロックする「コンテンツモデレーション」がAIで遂げる進化

コンテンツモデレーションの現状

• Twitterが直面する「偽アカウント」「コンテンツモデレーション」問題とは？
• 「誤情報」より「言論の自由」　トランプ新政権のSNS改革は一理ある？

　顧客体験（CX）マネジメントベンダーResultsCXの元最高変革責任者であるサンジェイ・ベンカタラマン氏は、コンテンツモデレーションに応用できるAIモデルは機械学習モデルの一種だと話す。AIモデルが自然言語処理（NLP）を用いてサービス固有のデータを学習し、不適切なユーザー生成コンテンツ（UGC）を検出するという仕組みだ。

　コンテンツモデレーション用のAIモデルは、コンテンツの承認、却下、人間への判断依頼（エスカレーション）といった作業を自動で実施し、その都度、結果から学習を重ねていく。ベンカタラマン氏は、「生成AI製コンテンツに対するモデレーションは特に複雑で、そのためのルールやガイドラインは技術の進歩に合わせて常に更新されている」と指摘する。

　「一部の生成AI製コンテンツは、人間が作ったものとほとんど見分けがつかない。現在のモデレーションプロセスやそのための技術、安全性と信頼性を確保するための体制を、AI技術の進化に合わせて変えていくことが極めて重要だ」（ベンカタラマン氏）

　生成AIを使えば、コンテンツを手軽に作成できる。生成AIを利用できるツールが一般公開されて以来、数々の生成AI製コンテンツがインターネットに出回るようになった。この状況において、人間のモデレーターは、生成AI製コンテンツとUGCを区別して管理するためのトレーニングを積まなければならない。

　状況に応じたコンテンツを生成AIが生み出せるようになるのに合わせて、モデレーションツールも的確に違反を検出できるよう、以下をはじめとする高度なAI技術で強化する必要がある。

• 大規模なデータセットによるAIモデルの訓練
• 人間によるサンプルの検証比率の向上
• コミュニティーからのフィードバックを活用したフィルタリング
• モデレーション結果を通じた継続的なAIモデルの訓練

　ジェームズ氏は「生成AI製コンテンツが増え続ける中、企業はこの急速な変化に適応しなければならない」と警鐘を鳴らす。

　「コンテンツ作成が高速化するにつれ、迅速なコンテンツモデレーションの必要性も高まっている。人間だけに頼れば遅延が生じ、ユーザー体験を損ないかねない」（ジェームズ氏）

　コンテンツモデレーションにおいて、生成AIはすでに従来のNLPの能力を上回りつつある。言語だけではなく画像や音声、動画といった異なる形式（モダリティー）のデータを理解、処理できる「マルチモーダルLLM」は、コンテンツに含まれる皮肉や隠語、文化的なニュアンスも理解可能だ。「この能力は従来のNLPにはない強みだ」と、顧客体験（CX）マネジメントベンダーResultsCXの元最高変革責任者であるサンジェイ・ベンカタラマン氏は言う。

　Meta Platformsなどの大手IT企業は、独自の深層学習モデルや画像認識技術に加え、異なるモダリティー間で情報を変換できる「クロスモーダルAI」を活用している。動画共有サイト「YouTube」は、パターンマッチングと物体・画像認識技術を用いて、日々投稿される動画をスキャンしている。ショート動画共有サイト「TikTok」では、複数言語を扱えるマルチモーダルAIが、その地域の文化的慣習に反するコンテンツの検出といった高度なタスクをこなしたり、動画モデレーションツールが著作権違反や不適切な内容を自動削除したりしている。

生成AIがコンテンツモデレーションに与える影響

　ジェームズ氏は、今後も生成AIがAI技術の進化をけん引すると予測する。企業が競争力を維持するためのAI技術への投資が盛んになれば、それに伴ってAI技術を活用したコンテンツモデレーションも不可欠になるという。

　AI技術は、ソーシャルメディアに投稿するためのコンテンツ作成だけではなく、企業アカウントへの問い合わせに対する応答にも活用されるようになるとジェームズ氏は考える。その上で同氏は、「不適切な回答の生成や企業イメージの損失を防ぐために、企業はAI技術を組み込んだモデレーションシステムを採用する必要がある」と助言する。

　AI技術は人間の主観的な判断を減らし、より迅速で正確なモデレーションを実現する助けになる。AI技術が進化し、高度になるにつれて、モデレーションの効果も向上することが期待される。

　ベンカタラマン氏は次のように述べる。「現状のAIモデルは高い精度で判断を下すことができる。過去の判断から学習し続けることで、その正確さと有用性が進化し、活用の幅も広がるだろう」

　一部の企業はすでにAI技術をモデレーションに導入し始めている、とジェームズ氏は指摘する。2024年、TikTokを運営するBytedanceはAI技術によるモデレーションを優先し、700人のモデレーターを解雇した。生成AI製コンテンツの急増に対し、「毒をもって毒を制す」ように、AI技術が生んだコンテンツをAI技術で管理するという考え方が広まっているのだ。

　「AI技術によるモデレーションがより高速かつ正確になるにつれて、人間のモデレーターの数は今後確実に減少する」とジェームズ氏は推測する。

TechTarget.AIとは

TechTarget.AI編集部は生成AIなどのサービスを利用し、米国Informa TechTargetの記事を翻訳して国内向けにお届けします。