従来のSEO対策だけでは、情報がAI検索に拾われない恐れがある。ChatGPTを構成する3種のクローラーの挙動を分析したところ、人間の閲覧とは全く異なるパターンが浮き彫りになった。どう対策すべきか。
大規模言語モデル（LLM）やAI検索によるWeb情報の収集が加速する中、Webサイトのインフラ運用や構造設計を担うIT担当者にとって、「AIクローラーがどのようなアルゴリズムや巡回パターンでサイト内を回遊しているか」の解明は重要なテーマとなっている。
マーケティング企業のLANYは、法人向けIT製品比較サイト「ITトレンド」の協力を得て、OpenAIのAIクローラーのアクセス挙動に関する定量分析を実施した。調査期間は2024年12月から2025年11月までの1年間で、分析対象はITトレンドにおいて「Google Analytics 4」（GA4）で計測された人間のトラフィックログと、OpenAIの3種類のAIクローラーのアクセスログ（クローラー別の識別が可能な「ChatGPT」のデータ）計940万件だ。ただし相関係数や平均値などの定量分析は、アクセスが最大となった2025年10月単月のログを基に算出している。
分析の結果、事前学習を担うクローラーは特定のデータ構造やユーザー生成コンテンツ（UGC）に強く依存していることが判明した。例えば、レビューページへのアクセス割合は、人間のアクセス比で約17倍に達している。
サイト構造や内部リンク設計がAIクローラーの収集効率に及ぼす影響とは何か。役割の異なる3つのクローラーログの解析データを分析する。
収集されたOpenAIのアクセスログをクローラー別に識別・分析すると、ChatGPTが情報収集から回答生成までのプロセスにおいて、「GPTBot」「OAI-SearchBot」「ChatGPT-User」の3種類のクローラーが明確に役割を分担していることが判明した。本調査では、これらのクローラーのアクセス数とSEO指標（検索順位、検索ボリューム、内部リンク数、外部リンク数）との関係性を「スピアマンの順位相関係数」を用いて算出、評価している。
第一に、事前学習用にWeb上の公開データを収集するGPTBotの挙動ログだ。検索ボリュームが登録されている一部のページ群を対象に、GPTBotのアクセス傾向を分析した結果、検索ボリュームとの相関係数は0.0、検索順位との相関係数は-0.2となり、一般的なSEO評価や需要の規模にはほとんど影響を受けず、全URLを巡回する基本挙動が確認された。
一方で、サイト内の内部リンク数とは相関係数0.4と中程度の正の相関を示している。内部リンクが1本も存在しないページの平均アクセス数が1.3回であるのに対し、100本以上の内部リンクを持つページでは12.3回と約9.5倍に達した。これによって、GPTBotはサイト内の導線構造（内部リンク）を重要度の指標とし、リンクが集まるページを重点的にクロール、学習している状況が伺える。
ディレクトリ別のアクセス構成比では、全アクセスの50.5％が製品の口コミ（レビュー）ページに集中していた。削除済みURLを除く有効ページに限定すると、その割合は72.3％に上る。人間のアクセスに占める口コミページの比率が2.9％にとどまることを考慮すると、AIモデルの学習において一次情報が極めて重視されていることが理解できる。時系列のアクセス推移では、2025年6月に約106.0万件、同年10月に約122.0万件と突発的なアクセスの波が観測されており、バッチ処理的な集中収集が実施されている。
第二に、ChatGPT Searchの検索インデックス作成を担うOAI-SearchBotだ。OAI-SearchBotのアクセス傾向は、検索順位（相関係数-0.2）、検索ボリューム（相関係数0.1）、内部リンク数（相関係数0.4）と、いずれのSEO指標とも強い相関を示さなかった。
アクセスの上限値を比較すると、検索結果の順位が100位圏外でSEO指標を持たないページでも、中央値で1.0回のアクセスがあり、上位ページであっても最大6.0回程度で巡回頻度が頭打ちになる挙動が確認されている。内部リンク数によるアクセス数の増加も1.6回から3.6回への約2.2倍にとどまり、GPTBotのようなハイパーリンク構造への強い依存は見られない。評価や人気度に関わらず、サイト全体のディレクトリを網羅的にインデックス化する役割に特化していることが浮き彫りとなった。実際、「ITトレンド」が2025年4月以降に新規構築した10万ページ規模のロングテールキーワード向けディレクトリに対して、公開タイミングに同期してクロール数が急増しており、サイトの規模拡大に追従してインデックスを拡大する動作が見られている。
第三に、エンドユーザーのプロンプト入力時にリアルタイムで情報を拡張検索するChatGPT-Userだ。ChatGPT-Userのアクセスは、人間のページビュー数（PV数）と相関係数0.6という比較的強い正の相関を示した。検索ボリューム（相関係数0.3）や内部リンク数（相関係数0.5）とも相関が見られ、多くのトラフィックが集まるページにリアルタイム検索が集中する傾向がある。
アクセス先の47.4％は記事コンテンツだったが、人間とChatGPT-Userのアクセス比較では顕著な差が検出された。人間からのアクセスは「カテゴリートップ」（18.9％）や「Award、特集」（19.5％）に分散するが、ChatGPT-Userの同2カテゴリーへのアクセス比率は合計で2.4％に過ぎない。
この結果とは対照的に、製品の価格詳細ページへのアクセス比率は人間の0.6％に対して10.7％（18.6倍）、製品詳細トップページは人間の5.8％に対して23.1％（4.0倍）だった。これは、エンドユーザーがAIとの対話の中で「機能や価格の比較」などの具体的な回答を要求した際、構造化された詳細データページを、RAG（検索拡張生成）がピンポイントで参照していることを意味している。
システム運用やWebサイト構造の観点から言えば、クローラーの種類によってクロールバジェット（検索エンジンがサーバ負荷などを考慮してサイトごとに割り当てる、巡回頻度やリソースの上限）の消費や巡回アルゴリズムが異なる。内部リンク階層の最適化、構造化データによる仕様・価格情報の明視化、インデックスを妨げないサイトアーキテクチャの構築が、AI時代のWebサイト管理における新たな技術要件となる。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓
MFA（多要素認証）を入れたから安心という常識が崩れ去っている。フィッシング集団「Tycoon2FA」が摘発されたが、脅威が完全になくなったというわけではない。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
