調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。1つ目は、人間（筆者自身）が書いた、最高データ責任者（CDO）の役割の変化についての記事を抜粋したもの。残り2つのコンテンツは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエムだ。どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。

　サイボーグ風に生成AIを説明したテキストなど、すぐにAIコンテンツ検出ツールに見抜かれると思うだろう。しかし結果は予想を裏切るものだった。AIコンテンツ検出ツールは、1つ目のCDOに関する記事は人間が作成したもので、ChatGPTが生成したエッセイはAIモデル製だということを識別した。しかし、ChatGPTが生成したターミネーター調のポエムについては、ほぼ全てのAIコンテンツ検出ツールがAIモデル製だとは見抜けなかった。

AI Content Detector

　「AI Content Detector」は、AIベンダーWriterが提供する無料のAIコンテンツ検出ツールだ。「検出精度は100％正確とは言えないが、コンテンツがAIモデルによって生成された可能性を示唆するのに役立つ」と同社は説明する。

　AI Content Detectorの使用時は、1500文字（約300単語）までのチェックが可能だ。長文コンテンツの場合は検出精度を高めるために、一度に1つか2つのパラグラフを入力することが推奨されている。指定のスペースにテキストかコンテンツのURLを貼り付けて「Analyze text」ボタンを押すと、人間が作成したコンテンツである可能性をパーセンテージで表示する。

　1つ目の著者が作成したCDOに関する記事は、人間が作成した確率は100％との評価を獲得した。一方、ChatGPTが生成したターミネーター調のエッセイは、人間が作成した可能性は10％と表示され、「検出可能なAIコンテンツが少なくなるまで、テキストを編集する必要がある」と警告が表示された。ここまでは期待通りだった。しかし、3つ目のChatGPTが作成したターミネーター調のポエムは、人間が作成した確率は91％の評価を獲得した。

AI Detector

　「AI Detector」は、AIベンダーContent at Scaleが提供する無料のAIコンテンツ検出ツールだ。複数の大規模言語モデル（LLM）にまたがる何十億もの個別ページのデータと単語で訓練されており、コンテンツがAIモデルによって生成されたものなのか、人間によって書かれたものなのかを判断する。25単語以上の文章を所定のスペースに入力すれば、即座に人間が作成した可能性を「Human Probability」としてパーセンテージ表示する。

　同ツールに上述の3つのコンテンツを渡したところ、3つ目のChatGPTが生成したターミネーター調のエッセイは89％の「Highly likely to be human!」を獲得した。これは1つ目の筆者が作成したCDOに関する記事の抜粋と同じスコアだった。

　第4回は、引き続きAIコンテンツ検出ツールのレビューを紹介する。