顧客体験（CX）マネジメントベンダーResultsCXの元最高変革責任者であるサンジェイ・ベンカタラマン氏は、コンテンツモデレーションに応用できるAIモデルは機械学習モデルの一種だと話す。AIモデルが自然言語処理（NLP）を用いてサービス固有のデータを学習し、不適切なユーザー生成コンテンツ（UGC）を検出するという仕組みだ。

　コンテンツモデレーション用のAIモデルは、コンテンツの承認、却下、人間への判断依頼（エスカレーション）といった作業を自動で実施し、その都度、結果から学習を重ねていく。ベンカタラマン氏は、「生成AI製コンテンツに対するモデレーションは特に複雑で、そのためのルールやガイドラインは技術の進歩に合わせて常に更新されている」と指摘する。

　「一部の生成AI製コンテンツは、人間が作ったものとほとんど見分けがつかない。現在のモデレーションプロセスやそのための技術、安全性と信頼性を確保するための体制を、AI技術の進化に合わせて変えていくことが極めて重要だ」（ベンカタラマン氏）

　生成AIを使えば、コンテンツを手軽に作成できる。生成AIを利用できるツールが一般公開されて以来、数々の生成AI製コンテンツがインターネットに出回るようになった。この状況において、人間のモデレーターは、生成AI製コンテンツとUGCを区別して管理するためのトレーニングを積まなければならない。

　状況に応じたコンテンツを生成AIが生み出せるようになるのに合わせて、モデレーションツールも的確に違反を検出できるよう、以下をはじめとする高度なAI技術で強化する必要がある。

• 大規模なデータセットによるAIモデルの訓練
• 人間によるサンプルの検証比率の向上
• コミュニティーからのフィードバックを活用したフィルタリング
• モデレーション結果を通じた継続的なAIモデルの訓練

　ジェームズ氏は「生成AI製コンテンツが増え続ける中、企業はこの急速な変化に適応しなければならない」と警鐘を鳴らす。

　「コンテンツ作成が高速化するにつれ、迅速なコンテンツモデレーションの必要性も高まっている。人間だけに頼れば遅延が生じ、ユーザー体験を損ないかねない」（ジェームズ氏）

　コンテンツモデレーションにおいて、生成AIはすでに従来のNLPの能力を上回りつつある。言語だけではなく画像や音声、動画といった異なる形式（モダリティー）のデータを理解、処理できる「マルチモーダルLLM」は、コンテンツに含まれる皮肉や隠語、文化的なニュアンスも理解可能だ。「この能力は従来のNLPにはない強みだ」と、顧客体験（CX）マネジメントベンダーResultsCXの元最高変革責任者であるサンジェイ・ベンカタラマン氏は言う。

　Meta Platformsなどの大手IT企業は、独自の深層学習モデルや画像認識技術に加え、異なるモダリティー間で情報を変換できる「クロスモーダルAI」を活用している。動画共有サイト「YouTube」は、パターンマッチングと物体・画像認識技術を用いて、日々投稿される動画をスキャンしている。ショート動画共有サイト「TikTok」では、複数言語を扱えるマルチモーダルAIが、その地域の文化的慣習に反するコンテンツの検出といった高度なタスクをこなしたり、動画モデレーションツールが著作権違反や不適切な内容を自動削除したりしている。

生成AIがコンテンツモデレーションに与える影響

　ジェームズ氏は、今後も生成AIがAI技術の進化をけん引すると予測する。企業が競争力を維持するためのAI技術への投資が盛んになれば、それに伴ってAI技術を活用したコンテンツモデレーションも不可欠になるという。

　AI技術は、ソーシャルメディアに投稿するためのコンテンツ作成だけではなく、企業アカウントへの問い合わせに対する応答にも活用されるようになるとジェームズ氏は考える。その上で同氏は、「不適切な回答の生成や企業イメージの損失を防ぐために、企業はAI技術を組み込んだモデレーションシステムを採用する必要がある」と助言する。

　AI技術は人間の主観的な判断を減らし、より迅速で正確なモデレーションを実現する助けになる。AI技術が進化し、高度になるにつれて、モデレーションの効果も向上することが期待される。

　ベンカタラマン氏は次のように述べる。「現状のAIモデルは高い精度で判断を下すことができる。過去の判断から学習し続けることで、その正確さと有用性が進化し、活用の幅も広がるだろう」

　一部の企業はすでにAI技術をモデレーションに導入し始めている、とジェームズ氏は指摘する。2024年、TikTokを運営するBytedanceはAI技術によるモデレーションを優先し、700人のモデレーターを解雇した。生成AI製コンテンツの急増に対し、「毒をもって毒を制す」ように、AI技術が生んだコンテンツをAI技術で管理するという考え方が広まっているのだ。

　「AI技術によるモデレーションがより高速かつ正確になるにつれて、人間のモデレーターの数は今後確実に減少する」とジェームズ氏は推測する。