AIチェッカーに「自筆」と「AIポエム」を判別させたら面白い結果に：AI生成コンテンツを見分けられるか？【第3回】

そのコンテンツが人間によって書かれたものなのか、AIモデルによって生成されたものかを見分ける際に役立つ「AIコンテンツ検出ツール」。その精度はどれほどなのか。筆者が実際に使用し、性能をレビューする。

[Ron Karjian，TechTarget]

　テキストや画像などを自動生成するAI（人工知能）技術「生成AI」（ジェネレーティブAI）。その利便性やメリットから、ビジネスにおける活用が急速に広がりつつある。一方で、AIが生成するコンテンツには不正確な情報が含まれている可能性があり、リスク管理が欠かせない。

　このような背景から需要が強まっているのが、コンテンツを生成したのがAIモデルなのか、そうではないのかを判断する「AIコンテンツ検出ツール」だ。本稿は、6つの主要なAIコンテンツ検出ツールを使用し、その性能を調査した結果を紹介する。

　AIコンテンツ検出ツールの大半はまだベータ版の段階にあり、生成AI同様に急速な進化を遂げている最中だ。今回紹介する試験結果は、それを前提にしてAIコンテンツ検出ツールの信頼性や妥当性についての洞察を提供するものだということを念頭に置いてほしい。

「AIコンテンツ検出ツール」をテスト　その精度とは？

併せて読みたいお薦め記事

連載：AI生成コンテンツを見分けられるか？

• 第1回：「AI製なのかどうか」を人間にはもう見破れない現実
• 第2回：それ、AI製？　人には判別不能でも「検出ツール」なら見破れるのか

生成AIの「うそ」に関する記事

• うその許容も「生成AI」を生かすこつ？　押さえるべき3つの視点
• AIが吐き出す“もっともらしい大うそ”に惑わされないための対処法

　調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。1つ目は、人間（筆者自身）が書いた、最高データ責任者（CDO）の役割の変化についての記事を抜粋したもの。残り2つのコンテンツは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエムだ。どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。

　サイボーグ風に生成AIを説明したテキストなど、すぐにAIコンテンツ検出ツールに見抜かれると思うだろう。しかし結果は予想を裏切るものだった。AIコンテンツ検出ツールは、1つ目のCDOに関する記事は人間が作成したもので、ChatGPTが生成したエッセイはAIモデル製だということを識別した。しかし、ChatGPTが生成したターミネーター調のポエムについては、ほぼ全てのAIコンテンツ検出ツールがAIモデル製だとは見抜けなかった。

AI Content Detector

　「AI Content Detector」は、AIベンダーWriterが提供する無料のAIコンテンツ検出ツールだ。「検出精度は100％正確とは言えないが、コンテンツがAIモデルによって生成された可能性を示唆するのに役立つ」と同社は説明する。

　AI Content Detectorの使用時は、1500文字（約300単語）までのチェックが可能だ。長文コンテンツの場合は検出精度を高めるために、一度に1つか2つのパラグラフを入力することが推奨されている。指定のスペースにテキストかコンテンツのURLを貼り付けて「Analyze text」ボタンを押すと、人間が作成したコンテンツである可能性をパーセンテージで表示する。

　1つ目の著者が作成したCDOに関する記事は、人間が作成した確率は100％との評価を獲得した。一方、ChatGPTが生成したターミネーター調のエッセイは、人間が作成した可能性は10％と表示され、「検出可能なAIコンテンツが少なくなるまで、テキストを編集する必要がある」と警告が表示された。ここまでは期待通りだった。しかし、3つ目のChatGPTが作成したターミネーター調のポエムは、人間が作成した確率は91％の評価を獲得した。

AI Detector

　「AI Detector」は、AIベンダーContent at Scaleが提供する無料のAIコンテンツ検出ツールだ。複数の大規模言語モデル（LLM）にまたがる何十億もの個別ページのデータと単語で訓練されており、コンテンツがAIモデルによって生成されたものなのか、人間によって書かれたものなのかを判断する。25単語以上の文章を所定のスペースに入力すれば、即座に人間が作成した可能性を「Human Probability」としてパーセンテージ表示する。

　同ツールに上述の3つのコンテンツを渡したところ、3つ目のChatGPTが生成したターミネーター調のエッセイは89％の「Highly likely to be human!」を獲得した。これは1つ目の筆者が作成したCDOに関する記事の抜粋と同じスコアだった。

---

　第4回は、引き続きAIコンテンツ検出ツールのレビューを紹介する。

TechTarget発　世界のインサイト＆ベストプラクティス

米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。