そのコンテンツが人間によって書かれたものなのか、AIモデルによって生成されたものかを見分ける際に役立つ「AIコンテンツ検出ツール」。その精度はどれほどなのか。筆者が実際に使用し、性能をレビューする。
テキストや画像などを自動生成するAI（人工知能）技術「生成AI」（ジェネレーティブAI）。その利便性やメリットから、ビジネスにおける活用が急速に広がりつつある。一方で、AIが生成するコンテンツには不正確な情報が含まれている可能性があり、リスク管理が欠かせない。
このような背景から需要が強まっているのが、コンテンツを生成したのがAIモデルなのか、そうではないのかを判断する「AIコンテンツ検出ツール」だ。本稿は、6つの主要なAIコンテンツ検出ツールを使用し、その性能を調査した結果を紹介する。
AIコンテンツ検出ツールの大半はまだベータ版の段階にあり、生成AI同様に急速な進化を遂げている最中だ。今回紹介する試験結果は、それを前提にしてAIコンテンツ検出ツールの信頼性や妥当性についての洞察を提供するものだということを念頭に置いてほしい。
調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。1つ目は、人間（筆者自身）が書いた、最高データ責任者（CDO）の役割の変化についての記事を抜粋したもの。残り2つのコンテンツは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエムだ。どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。
サイボーグ風に生成AIを説明したテキストなど、すぐにAIコンテンツ検出ツールに見抜かれると思うだろう。しかし結果は予想を裏切るものだった。AIコンテンツ検出ツールは、1つ目のCDOに関する記事は人間が作成したもので、ChatGPTが生成したエッセイはAIモデル製だということを識別した。しかし、ChatGPTが生成したターミネーター調のポエムについては、ほぼ全てのAIコンテンツ検出ツールがAIモデル製だとは見抜けなかった。
「AI Content Detector」は、AIベンダーWriterが提供する無料のAIコンテンツ検出ツールだ。「検出精度は100％正確とは言えないが、コンテンツがAIモデルによって生成された可能性を示唆するのに役立つ」と同社は説明する。
AI Content Detectorの使用時は、1500文字（約300単語）までのチェックが可能だ。長文コンテンツの場合は検出精度を高めるために、一度に1つか2つのパラグラフを入力することが推奨されている。指定のスペースにテキストかコンテンツのURLを貼り付けて「Analyze text」ボタンを押すと、人間が作成したコンテンツである可能性をパーセンテージで表示する。
1つ目の著者が作成したCDOに関する記事は、人間が作成した確率は100％との評価を獲得した。一方、ChatGPTが生成したターミネーター調のエッセイは、人間が作成した可能性は10％と表示され、「検出可能なAIコンテンツが少なくなるまで、テキストを編集する必要がある」と警告が表示された。ここまでは期待通りだった。しかし、3つ目のChatGPTが作成したターミネーター調のポエムは、人間が作成した確率は91％の評価を獲得した。
「AI Detector」は、AIベンダーContent at Scaleが提供する無料のAIコンテンツ検出ツールだ。複数の大規模言語モデル（LLM）にまたがる何十億もの個別ページのデータと単語で訓練されており、コンテンツがAIモデルによって生成されたものなのか、人間によって書かれたものなのかを判断する。25単語以上の文章を所定のスペースに入力すれば、即座に人間が作成した可能性を「Human Probability」としてパーセンテージ表示する。
同ツールに上述の3つのコンテンツを渡したところ、3つ目のChatGPTが生成したターミネーター調のエッセイは89％の「Highly likely to be human!」を獲得した。これは1つ目の筆者が作成したCDOに関する記事の抜粋と同じスコアだった。
第4回は、引き続きAIコンテンツ検出ツールのレビューを紹介する。
米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア（株）が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
ブランドリスクの要因は「トランプ大統領」 どうするCMO――2025年のマーケティング予測10選【後編】
2025年はCMOの役割と課題が大きく変化すると予想される。具体的には何が起こるのか。「Ma...
AIはGoogleの地位を揺るがしているのか？ Domoが年次レポートを公開
Domoの年次レポート「Data Never Sleeps」は、インターネット上で1分間ごとに起きている...
3500ブランドの市場・生活者データでマーケターのアイデア発想を支援 マクロミル「Coreka」でできること
マクロミルが創業25年で培ったリサーチや分析ノウハウを結集し、アイディエーションプラ...
ITmediaはアイティメディア株式会社の登録商標です。
