AI検出は「ChatGPTの文」をどこまで見抜けるのか？ 複数ツールで試してみた：AI生成コンテンツを見分けられるか？【第4回】

コンテンツがAI製なのか、人間製なのかを判別するための「AIコンテンツ検出ツール」がある。その実力はどうなのか。OpenAIをはじめ、複数のベンダーが提供する検出ツールを実際に使ってみた。

[Ron Karjian，TechTarget]

　テキストや画像などを自動生成するAI（人工知能）技術である「生成AI」（ジェネレーティブAI）。その利便性から利用がこれから拡大し、生成AIが出力したさまざまなコンテンツが世の中に出回るようになると考えられる。

　生成AIが出力したコンテンツには不正確な情報が含まれていることがあるが、それを判別することは容易ではないため利用には注意が必要だ。このような課題の解決に役立つのが、コンテンツを生成したのがAIモデルなのか、そうではないのかを判断する「AIコンテンツ検出ツール」だ。

　筆者は6つのAIコンテンツ検出ツールを使用し、その性能を調査した。そのうち「Giant Language model Test Room」と、AIベンダーOpenAIの「GPT-2 Output Detector」を紹介する。

ChatGPT vs. OpenAIのAI検出ツール　見破れるのか？

併せて読みたいお薦め記事

連載：AI生成コンテンツを見分けられるか？

• 第1回：「AI製なのかどうか」を人間にはもう見破れない現実
• 第2回：それ、AI製？　人には判別不能でも「検出ツール」なら見破れるのか
• 第3回：AIチェッカーに「自筆」と「AIポエム」を判別させたら面白い結果に

生成AIをうまく使いこなすには

• うその許容も「生成AI」を生かすこつ？　押さえるべき3つの視点
• 「生成AI」にがっかりする人、賢く使う人の違い

　調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。

• 1つ目は、人間（筆者自身）が書いた、最高データ責任者（CDO）の役割の変化についての記事を抜粋
• 残り2つは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエム
  • エッセイとポエムは、どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。

Giant Language model Test Room

　AIコンテンツ検出ツール「Giant Language model Test Room」（GLTR）は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）とIBM Researchの科学者コミュニティMIT-IBM Watson AI labの研究者と、ハーバード大学（Harvard University）の自然言語処理（NLP）の研究者ら3人により作成された。

　GLTRは、テキストにおける言語モデルの痕跡を精査する仕組みだ。具体的には、OpenAIのLLM（大規模言語モデル）「GPT-2」が生成したテキストと人間が作成したテキストの違いを分析する。テキストの文脈から次の単語が予測しやすいほど、AIモデルが生成したテキストの可能性が高いことを示す。

　まず、用意されたスペースに任意のテキストを入力すると、各単語に色のハイライトが付けられる。各色は予測される単語として可能性の高い単語を示す。緑色（予測される単語の上位10単語）、黄色（上位100単語）、赤色（上位1000単語）、残りの単語は紫色で表示される。色のバラエティやランダム性が高いほど、人間が作成したコンテンツである可能性が高く、緑色が多いコンテンツはAIが作成した可能性が高い。

　GLTRに上述の3つのコンテンツを入力したところ、ChatGPTが生成したエッセイが最も緑が多く、ランダム性の少ない結果となった（図1）。

図1　Giant Language model Test Roomによる判定結果

GPT-2 Output Detector

　OpenAIの「GPT-2 Output Detector」は、テキストの作成者が人間なのかAIモデルなのかをトークン（テキストデータを処理する際の基本的な単位）に基づいて識別する、オープンソースのAIコンテンツ検出ツールだ。Meta PlatformsのAI技術研究所Meta AIが開発したLLM「RoBERTa」（Googleの自然言語処理モデル「BERT」の改良版）を微調整した言語モデルを使用する。

　検出ツールのテキストボックスに内容を入力すると、予測確率を「Real（人間製）- Fake（AIモデル製）」の割合で表示する。検出の精度は約50トークン以上で一定以上の精度になるという。上述の3つのコンテンツを渡したところ、ChatGPTが作成したターミネーター調のポエムは「99.02％人間製」となり、筆者が書いたCDOに関する記事とほぼ同じ結果が出た。一方で、ChatGPTが作成したターミネーター調のエッセイについては「99.97％AI製」との結果が出た（図2）。

図2　GPT-2 Output Detector

---

　第5回は、引き続きAIコンテンツ検出AIツールのレビューを紹介する。

TechTarget発　世界のインサイト＆ベストプラクティス

米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。