AI技術は、コンテンツモデレーションのプロセスを大幅に効率化できる。ソーシャルメディアやWebサイト、企業の規則に違反するコンテンツを自動で発見し、投稿者に警告したり、コンテンツを削除したりする。攻撃的、卑わい、暴力を助長するような音声や動画、テキスト、画像などがその対象だ。

　小売業向けソフトウェアベンダーAptosでCIO（最高情報責任者）を務めるジェイソン・ジェームズ氏は、コンテンツモデレーションは従来人間が担ってきたと説明する。かつては人間のモデレーターが公開前のコンテンツを一つ一つ確認し、その内容が適切かどうかを判断した上で、承認するか非承認にするかを決めていた。

　コンテンツが非承認になっても、その事実や理由がエンドユーザーに知らされないことがしばしばあった。全ての工程が手作業だったため、コンテンツをリアルタイムで確認して判断することは困難を極めた。その上、承認の可否は個々のモデレーターの判断や主観に左右されがちだった。

　「このような背景から、企業は自動化技術と人力を組み合わせたモデレーション体制の導入を進めている」とジェームズ氏は指摘する。まずAIモデルが一次フィルターとしてスパムや判断が容易なコンテンツを取り除き、その後人間がより詳細な判断を要するコンテンツを精査するという流れだ。万が一不適切なコンテンツが公開されると、企業は深刻な事態に直面しかねないため、AIモデルの判断を補完するための、人間による監視は依然として不可欠だ。

　顧客体験（CX）マネジメントベンダーResultsCXの元最高変革責任者であるサンジェイ・ベンカタラマン氏が説明する自動モデレーションとは、ユーザー生成コンテンツ（UGC）が投稿された際に、システムが自動で規約違反の有無を審査する仕組みだ。違反を検出した場合、そのコンテンツを即座に削除するか、人間による最終判断に委ねることになる。

AI技術を用いたコンテンツモデレーション6種

　企業がAI技術を活用したコンテンツモデレーションを大規模かつ効果的に進めるには、主に以下の6つの手法がある。

手法1．事前モデレーション

　「事前モデレーション」は、自然言語処理（NLP）を活用し、攻撃的、脅迫的な単語やフレーズを検出して、公開前にコンテンツがガイドラインに準拠しているかどうかを確認する手法を指す。コンテンツに問題のある表現が含まれていた場合、モデレーションシステムはコンテンツを自動的に却下して、投稿者に警告を送るか、アカウントを凍結する。一連のプロセスを自動で進めることができるため、人間が全てのコンテンツに目を通す必要がなくなり、モデレーターの負担が減る。

　ジェームズ氏によると、事前モデレーションはAI技術の一種である機械学習（ML）をコンテンツモデレーションに応用した初期の手法だ。あらかじめ設定された禁止ワードリストと照合し、不適切な表現が含まれていないかどうかをモデレーションシステムが自動で確認する。

　ベンカタラマン氏も、AI技術を用いた事前モデレーションはコンテンツ公開前に自動でスキャンと評価をするモデルだと解説する。大規模言語モデル（LLM）やコンピュータビジョン（画像処理を通じて対象の内容を認識して理解するAI技術）などがテキスト、画像、動画、音声を分析し、ガイドライン違反の有無を判断する。モデレーションシステムがヘイトスピーチや脅迫などを検出すると、コンテンツを自動で却下するか、人間による審査に回す。

手法2．事後モデレーション

　「事後モデレーション」は、エンドユーザーが事前審査なしでコンテンツを投稿し、そのコンテンツが公開された後にモデレーターが内容をレビューする手法を指す。この手法では、問題が見つかってコンテンツが非表示になるまで、規約違反のコンテンツが他のエンドユーザーの目に触れるリスクがある。一方で、「違反と判断されたコンテンツを、投稿者自身が修正して再公開する機会が与えられるのが利点だ」とジェームズ氏は言う。

　公開後のコンテンツは、モデレーションツールや人間のモデレーターが審査する。AI技術はレビューを自動化し、新規コンテンツをリアルタイムでスキャンできる。その際に有害な可能性のあるコンテンツを即座に特定し、審査や削除の対象として警告を発する。

手法3．リアクティブモデレーション

　「リアクティブモデレーション」は、エンドユーザー自身がモデレーターの役割を担い、投稿がコミュニティーの基準を満たしているか、あるいは違反しているかを判断して報告する手法を指す。企業が専任のモデレーターを雇用する代わりに、コミュニティーの自浄作用に委ねる形だ。ジェームズ氏によると、特にコミュニティーフォーラムがリアクティブモデレーションを採用する傾向にある。

　この方法は、モデレーションの前にコンテンツが公開される可能性がある。AI技術は報告の深刻度、コンテンツの種類、エンドユーザーの行動履歴などに基づき、対処の優先順位を決定する場面で活躍する。

手法4．分散型モデレーション

　「分散型モデレーション」はリアクティブモデレーションに似た手法で、エンドユーザーの投票によってコンテンツがコミュニティー基準に適合するかどうかを決定する。肯定的な票が集まるほどコンテンツは多くのエンドユーザーの目に触れるようになり、逆に一定数の違反報告があれば、表示対象になるエンドユーザーが少なくなる可能性が高まる。

　AI技術は、投票の動向に応じてコンテンツの表示を促進または抑制し、不正な操作や偏見のパターンを検出することに役立つ。掲示板型ソーシャルニュースサイト「Reddit」は分散型モデレーションを採用しており、投稿文章に対するコミュニティーの関与を促している。

手法5．ユーザー限定モデレーション

　「ユーザー限定モデレーション」は、エンドユーザー自身が不適切だと感じるコンテンツをフィルターで個別に除外できる手法を指す。ただし、モデレーション権限を持つのは、登録・承認された一部のエンドユーザーに限られる。モデレーション権限を持つ複数のユーザーが特定の投稿について報告した場合、モデレーションシステムは自動的にその投稿を他のエンドユーザーから見えなくする。

　モデレーションシステムの処理速度は、レビューを実施するモデレーターの数に左右される。人間のモデレーターが多いほど、迅速にコンテンツの審査と公開を進めることが可能だ。

　エンドユーザーは自身の好みに合わせて、表示／非表示のフィルターを設定できる。運営者の一元的な監視は限定的であり、モデレーション権限を持つエンドユーザーの報告が集まったコンテンツを非表示にする仕組みが中心だ。AI技術は個々のエンドユーザーの行動から学習し、ミュート機能やキーワードフィルターといった設定に基づくモデレーションを自動化できる。

手法6．ハイブリッドモデレーション

　「AI技術は完璧ではない」とジェームズ氏はくぎを刺す。誤った情報や誤解を招く「ハルシネーション」（幻覚）を生み出す可能性があるからだ。このリスクを考慮すると、企業は人間によるレビューを実施して、コンテンツの適切性と正確性を確保する必要がある。

　人間とAI技術を組み合わせた「ハイブリッドモデレーション」は、スピードと正確性の両立を実現する手法だ。AIモデルが迅速な事前／事後モデレーションを担当し、人間が最終的な判断を下すことで、コンテンツがコミュニティーガイドラインに準拠していることはもちろん、論理的で正確な内容であることも保証される。

　次回は、AI技術によるコンテンツ生成がコンテンツモデレーションに与える影響を考察する。