AIチェッカーに「自筆」と「AIポエム」を判別させたら面白い結果にAI生成コンテンツを見分けられるか?【第3回】

そのコンテンツが人間によって書かれたものなのか、AIモデルによって生成されたものかを見分ける際に役立つ「AIコンテンツ検出ツール」。その精度はどれほどなのか。筆者が実際に使用し、性能をレビューする。

2024年01月27日 08時00分 公開
[Ron KarjianTechTarget]

 テキストや画像などを自動生成するAI(人工知能)技術「生成AI」(ジェネレーティブAI)。その利便性やメリットから、ビジネスにおける活用が急速に広がりつつある。一方で、AIが生成するコンテンツには不正確な情報が含まれている可能性があり、リスク管理が欠かせない。

 このような背景から需要が強まっているのが、コンテンツを生成したのがAIモデルなのか、そうではないのかを判断する「AIコンテンツ検出ツール」だ。本稿は、6つの主要なAIコンテンツ検出ツールを使用し、その性能を調査した結果を紹介する。

 AIコンテンツ検出ツールの大半はまだベータ版の段階にあり、生成AI同様に急速な進化を遂げている最中だ。今回紹介する試験結果は、それを前提にしてAIコンテンツ検出ツールの信頼性や妥当性についての洞察を提供するものだということを念頭に置いてほしい。

「AIコンテンツ検出ツール」をテスト その精度とは?

 調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。1つ目は、人間(筆者自身)が書いた、最高データ責任者(CDO)の役割の変化についての記事を抜粋したもの。残り2つのコンテンツは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエムだ。どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。

 サイボーグ風に生成AIを説明したテキストなど、すぐにAIコンテンツ検出ツールに見抜かれると思うだろう。しかし結果は予想を裏切るものだった。AIコンテンツ検出ツールは、1つ目のCDOに関する記事は人間が作成したもので、ChatGPTが生成したエッセイはAIモデル製だということを識別した。しかし、ChatGPTが生成したターミネーター調のポエムについては、ほぼ全てのAIコンテンツ検出ツールがAIモデル製だとは見抜けなかった。

AI Content Detector

 「AI Content Detector」は、AIベンダーWriterが提供する無料のAIコンテンツ検出ツールだ。「検出精度は100%正確とは言えないが、コンテンツがAIモデルによって生成された可能性を示唆するのに役立つ」と同社は説明する。

 AI Content Detectorの使用時は、1500文字(約300単語)までのチェックが可能だ。長文コンテンツの場合は検出精度を高めるために、一度に1つか2つのパラグラフを入力することが推奨されている。指定のスペースにテキストかコンテンツのURLを貼り付けて「Analyze text」ボタンを押すと、人間が作成したコンテンツである可能性をパーセンテージで表示する。

 1つ目の著者が作成したCDOに関する記事は、人間が作成した確率は100%との評価を獲得した。一方、ChatGPTが生成したターミネーター調のエッセイは、人間が作成した可能性は10%と表示され、「検出可能なAIコンテンツが少なくなるまで、テキストを編集する必要がある」と警告が表示された。ここまでは期待通りだった。しかし、3つ目のChatGPTが作成したターミネーター調のポエムは、人間が作成した確率は91%の評価を獲得した。

AI Detector

 「AI Detector」は、AIベンダーContent at Scaleが提供する無料のAIコンテンツ検出ツールだ。複数の大規模言語モデル(LLM)にまたがる何十億もの個別ページのデータと単語で訓練されており、コンテンツがAIモデルによって生成されたものなのか、人間によって書かれたものなのかを判断する。25単語以上の文章を所定のスペースに入力すれば、即座に人間が作成した可能性を「Human Probability」としてパーセンテージ表示する。

 同ツールに上述の3つのコンテンツを渡したところ、3つ目のChatGPTが生成したターミネーター調のエッセイは89%の「Highly likely to be human!」を獲得した。これは1つ目の筆者が作成したCDOに関する記事の抜粋と同じスコアだった。


 第4回は、引き続きAIコンテンツ検出ツールのレビューを紹介する。

TechTarget発 世界のインサイト&ベストプラクティス

米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。

ITmedia マーケティング新着記事

news135.png

インターネットの利用環境、女性の66%は「スマホのみ」――LINEヤフー調査
LINEヤフーが実施した2023年下期のインターネット利用環境に関する調査結果です。

news108.png

LINEで求職者に合った採用情報を配信 No Companyが「チャットボット for 採用マーケティング」を提供開始
就活生が身近に利用しているLINEを通して手軽に自社の採用情報を受け取れる環境を作れる。

news102.jpg

GoogleがIABのプライバシーサンドボックス批判に猛反論 完全論破へ42ページのレポートを公開
Googleは、米インタラクティブ広告協会から寄せられた批判について「多くの誤解と不正確...