AI時代の新たな「集客の壁」
「ChatGPT」は人間の17倍口コミを読む AI独自のWeb検索ルールとは?
従来のSEO対策だけでは、情報がAI検索に拾われない恐れがある。ChatGPTを構成する3種のクローラーの挙動を分析したところ、人間の閲覧とは全く異なるパターンが浮き彫りになった。どう対策すべきか。
大規模言語モデル(LLM)やAI検索によるWeb情報の収集が加速する中、Webサイトのインフラ運用や構造設計を担うIT担当者にとって、「AIクローラーがどのようなアルゴリズムや巡回パターンでサイト内を回遊しているか」の解明は重要なテーマとなっている。
マーケティング企業のLANYは、法人向けIT製品比較サイト「ITトレンド」の協力を得て、OpenAIのAIクローラーのアクセス挙動に関する定量分析を実施した。調査期間は2024年12月から2025年11月までの1年間で、分析対象はITトレンドにおいて「Google Analytics 4」(GA4)で計測された人間のトラフィックログと、OpenAIの3種類のAIクローラーのアクセスログ(クローラー別の識別が可能な「ChatGPT」のデータ)計940万件だ。ただし相関係数や平均値などの定量分析は、アクセスが最大となった2025年10月単月のログを基に算出している。
分析の結果、事前学習を担うクローラーは特定のデータ構造やユーザー生成コンテンツ(UGC)に強く依存していることが判明した。例えば、レビューページへのアクセス割合は、人間のアクセス比で約17倍に達している。
サイト構造や内部リンク設計がAIクローラーの収集効率に及ぼす影響とは何か。役割の異なる3つのクローラーログの解析データを分析する。
3種類のクローラーの挙動
収集されたOpenAIのアクセスログをクローラー別に識別・分析すると、ChatGPTが情報収集から回答生成までのプロセスにおいて、「GPTBot」「OAI-SearchBot」「ChatGPT-User」の3種類のクローラーが明確に役割を分担していることが判明した。本調査では、これらのクローラーのアクセス数とSEO指標(検索順位、検索ボリューム、内部リンク数、外部リンク数)との関係性を「スピアマンの順位相関係数」を用いて算出、評価している。
GPTBot
第一に、事前学習用にWeb上の公開データを収集するGPTBotの挙動ログだ。検索ボリュームが登録されている一部のページ群を対象に、GPTBotのアクセス傾向を分析した結果、検索ボリュームとの相関係数は0.0、検索順位との相関係数は-0.2となり、一般的なSEO評価や需要の規模にはほとんど影響を受けず、全URLを巡回する基本挙動が確認された。
一方で、サイト内の内部リンク数とは相関係数0.4と中程度の正の相関を示している。内部リンクが1本も存在しないページの平均アクセス数が1.3回であるのに対し、100本以上の内部リンクを持つページでは12.3回と約9.5倍に達した。これによって、GPTBotはサイト内の導線構造(内部リンク)を重要度の指標とし、リンクが集まるページを重点的にクロール、学習している状況が伺える。
ディレクトリ別のアクセス構成比では、全アクセスの50.5%が製品の口コミ(レビュー)ページに集中していた。削除済みURLを除く有効ページに限定すると、その割合は72.3%に上る。人間のアクセスに占める口コミページの比率が2.9%にとどまることを考慮すると、AIモデルの学習において一次情報が極めて重視されていることが理解できる。時系列のアクセス推移では、2025年6月に約106.0万件、同年10月に約122.0万件と突発的なアクセスの波が観測されており、バッチ処理的な集中収集が実施されている。
OAI-SearchBot
第二に、ChatGPT Searchの検索インデックス作成を担うOAI-SearchBotだ。OAI-SearchBotのアクセス傾向は、検索順位(相関係数-0.2)、検索ボリューム(相関係数0.1)、内部リンク数(相関係数0.4)と、いずれのSEO指標とも強い相関を示さなかった。
アクセスの上限値を比較すると、検索結果の順位が100位圏外でSEO指標を持たないページでも、中央値で1.0回のアクセスがあり、上位ページであっても最大6.0回程度で巡回頻度が頭打ちになる挙動が確認されている。内部リンク数によるアクセス数の増加も1.6回から3.6回への約2.2倍にとどまり、GPTBotのようなハイパーリンク構造への強い依存は見られない。評価や人気度に関わらず、サイト全体のディレクトリを網羅的にインデックス化する役割に特化していることが浮き彫りとなった。実際、「ITトレンド」が2025年4月以降に新規構築した10万ページ規模のロングテールキーワード向けディレクトリに対して、公開タイミングに同期してクロール数が急増しており、サイトの規模拡大に追従してインデックスを拡大する動作が見られている。
ChatGPT-User
第三に、エンドユーザーのプロンプト入力時にリアルタイムで情報を拡張検索するChatGPT-Userだ。ChatGPT-Userのアクセスは、人間のページビュー数(PV数)と相関係数0.6という比較的強い正の相関を示した。検索ボリューム(相関係数0.3)や内部リンク数(相関係数0.5)とも相関が見られ、多くのトラフィックが集まるページにリアルタイム検索が集中する傾向がある。
アクセス先の47.4%は記事コンテンツだったが、人間とChatGPT-Userのアクセス比較では顕著な差が検出された。人間からのアクセスは「カテゴリートップ」(18.9%)や「Award、特集」(19.5%)に分散するが、ChatGPT-Userの同2カテゴリーへのアクセス比率は合計で2.4%に過ぎない。
この結果とは対照的に、製品の価格詳細ページへのアクセス比率は人間の0.6%に対して10.7%(18.6倍)、製品詳細トップページは人間の5.8%に対して23.1%(4.0倍)だった。これは、エンドユーザーがAIとの対話の中で「機能や価格の比較」などの具体的な回答を要求した際、構造化された詳細データページを、RAG(検索拡張生成)がピンポイントで参照していることを意味している。
システム運用やWebサイト構造の観点から言えば、クローラーの種類によってクロールバジェット(検索エンジンがサーバ負荷などを考慮してサイトごとに割り当てる、巡回頻度やリソースの上限)の消費や巡回アルゴリズムが異なる。内部リンク階層の最適化、構造化データによる仕様・価格情報の明視化、インデックスを妨げないサイトアーキテクチャの構築が、AI時代のWebサイト管理における新たな技術要件となる。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget ニュースプラス
国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
[パロアルトネットワークス株式会社] 現代の働き方に潜むセキュリティ課題とは? 解消に導く2つの注目技術を解説 -
製品資料
[パロアルトネットワークス株式会社] 生成AIのセキュリティリスクにどう対処する? 経営層が知るべきポイント -
製品資料
[パロアルトネットワークス株式会社] AIで真の包括的セキュリティを実現、ハイブリッドワーク時代に選ぶべきSASEとは -
市場調査・トレンド
[パロアルトネットワークス株式会社] 最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策 -
製品資料
[クラウドストライク合同会社] AIシステムのセキュリティを確保するためのプレイブック
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
2
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
3
PHPはそもそも必要か? 脆弱性で問われる自社サイト安全性と保守負担のバランス
-
4
「顧客の声」は負担ではなく資産 サーモスのコンタクトセンターに見る未来の姿
-
5
「Copilot」がIT予算を食いつぶす? 高額請求を招く課金体系と節約術
-
6
なぜデータの民主化は失敗するのか ゴールの誤りを正すAI活用の新アプローチ
-
7
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
8
Microsoft月例パッチ1400件超で過去最多 「限界点」を迎えたパッチ管理
-
9
なぜ「Claude Code」拡張は消しても危ないのか? Cursorで不正版配信
-
10
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
顧客対応自動化の要点:RAGとデータ連携で“業務で使える生成AI”にする方法
-
3
侵入から横展開まで27秒の脅威にどう立ち向かう? 防御のカギがEDRの理由
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
7
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
8
なぜAIは組織で定着しないのか? 全社展開を阻む「3つの壁」と突破のヒント
-
9
ランサムウェア攻撃“究極の対策”はこれだ
-
10
パスワードレスへの移行で失敗しないためには? 導入・運用上の注意点を解説
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー