Cloudflareの共同創業者兼CEOのマシュー・プリンス氏は、「オリジナルコンテンツがあるからこそ、インターネットは20世紀で最大の発明の一つになった」と語る。AIクローラーは無制限にそうしたコンテンツをスクレイピング（自動的にデータを取得、抽出すること）してきた。「当社の目標は、クリエイターの手に権限を戻しながらも、AI企業の革新を手助けすることだ」（プリンス氏）

　インターネットは長年、検索エンジンがコンテンツのインデックスを作成してユーザーをWebサイトに誘導し、トラフィックと広告収入を生み出すというシンプルなやりとりで運営されてきた。このシステムは、コンテンツクリエイターとWebユーザーの利益になるという点で、矛盾を生じないものだった。

　だが、AIクローラーの出現により、この関係は破綻した。AIクローラーは、Webユーザーを本来の情報源に導くことなく、コンテンツのスクレイピングによって生成AIモデルの出力データを向上させておきながら、コンテンツクリエイターからビュー（閲覧）と収益を奪う。コンテンツを制作し続ける意欲を失わせることは、より広範な損失につながる。

　Cloudflareは2024年9月に、Webクローラーをブロックできるオプション機能を導入した。同社によると、これまでに100万ユーザー以上が利用しているという。今回発表になった新機能により、Webサイトの運営者は、AIクローラーがコンテンツにアクセスするのを望むか否かを選択し、AI企業にどのような利用方法を許可するかについて自ら決定できる。一方、AI企業はWebサイト所有者が許可すべきかどうかを判断する手掛かりとして、クローラーの利用目的（トレーニングか、推論か、検索か）を通知する。

　Cloudflareのツールを新たに利用する場合、AIクローラーを許可するか、ブロックするかを問われる。デフォルトではAIクローラーによるアクセスは制御されることになるため、許可する場合は、明示的にそれを選択する必要がある。既存のユーザーにおいては、希望する場合はいつでもAIクローラーを許可できる。

　Cloudflareの顧客の一部は、すでにこの機能を利用する意向を表明している。この仕組みが「コンテンツクリエイターが置かれた状況を一変させる“ゲームチェンジャー”だ」と評価する声も少なくない。メディア企業Conde NastのCEO、ロジャー・リンチ氏は、「AI企業が欲しいものを無料で手に入れられなくなることは、許可と提携に基づいた持続可能なイノベーションへの第一歩だ」と述べる。それはクリエイターを保護し、質の高いジャーナリズムを維持し、AI企業に説明責任を追及するための土台となる。

　通信社The Associated Press（AP）の最高収益責任者（CRO）、クリスティン・ハイトマン氏は「情報分野は急速に変化し続けているが、事実に基づいた正確で偏りのないジャーナリズムの価値が、これまで以上に重要だったことはない」と述べる。

　ワシントンD.C.に拠点を置く非営利団体International Center for Journalists（ICFJ）のプレジデントで、ジャーナリストや技術者が情報を配信する重要なインフラを提供するICFJ+の共同CEO、シャロン・モシャブ氏も、支持を表明して次のように述べる。「世界各国のジャーナリストが、地域社会に対して重要な独自の報道をしている。botが彼らの報道を無料でスクレイピングする一方で、ニュース編集室は運用を維持するために苦労しているのが現実だ」

　ICFJ+は小規模なニュースサイトと協力し、ジャーナリストが独自の報道の価値を守ったり、取り戻そうとしたりするのを手助けしている。「われわれはCloudflareのこの有望な構想を歓迎している」（モシャブ氏）