調査では、同程度の長さの異なるテキストコンテンツを3つ用意した。

• 1つ目は、人間（筆者自身）が書いた、最高データ責任者（CDO）の役割の変化についての記事を抜粋
• 残り2つは、「生成AIの長所と短所について説明せよ」というリクエストに応じてChatGPTが生成したエッセイとポエム
  • エッセイとポエムは、どちらも大ヒット映画「ターミネーター」シリーズのサイボーグ主人公、ターミネーターの口調で書かれている。

Giant Language model Test Room

　AIコンテンツ検出ツール「Giant Language model Test Room」（GLTR）は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）とIBM Researchの科学者コミュニティMIT-IBM Watson AI labの研究者と、ハーバード大学（Harvard University）の自然言語処理（NLP）の研究者ら3人により作成された。

　GLTRは、テキストにおける言語モデルの痕跡を精査する仕組みだ。具体的には、OpenAIのLLM（大規模言語モデル）「GPT-2」が生成したテキストと人間が作成したテキストの違いを分析する。テキストの文脈から次の単語が予測しやすいほど、AIモデルが生成したテキストの可能性が高いことを示す。

　まず、用意されたスペースに任意のテキストを入力すると、各単語に色のハイライトが付けられる。各色は予測される単語として可能性の高い単語を示す。緑色（予測される単語の上位10単語）、黄色（上位100単語）、赤色（上位1000単語）、残りの単語は紫色で表示される。色のバラエティやランダム性が高いほど、人間が作成したコンテンツである可能性が高く、緑色が多いコンテンツはAIが作成した可能性が高い。

　GLTRに上述の3つのコンテンツを入力したところ、ChatGPTが生成したエッセイが最も緑が多く、ランダム性の少ない結果となった（図1）。

図1　Giant Language model Test Roomによる判定結果

GPT-2 Output Detector

　OpenAIの「GPT-2 Output Detector」は、テキストの作成者が人間なのかAIモデルなのかをトークン（テキストデータを処理する際の基本的な単位）に基づいて識別する、オープンソースのAIコンテンツ検出ツールだ。Meta PlatformsのAI技術研究所Meta AIが開発したLLM「RoBERTa」（Googleの自然言語処理モデル「BERT」の改良版）を微調整した言語モデルを使用する。

　検出ツールのテキストボックスに内容を入力すると、予測確率を「Real（人間製）- Fake（AIモデル製）」の割合で表示する。検出の精度は約50トークン以上で一定以上の精度になるという。上述の3つのコンテンツを渡したところ、ChatGPTが作成したターミネーター調のポエムは「99.02％人間製」となり、筆者が書いたCDOに関する記事とほぼ同じ結果が出た。一方で、ChatGPTが作成したターミネーター調のエッセイについては「99.97％AI製」との結果が出た（図2）。

図2　GPT-2 Output Detector

　第5回は、引き続きAIコンテンツ検出AIツールのレビューを紹介する。