OpenAI、CloudflareのリアルタイムWebシグナルへの「優先アクセス権」を獲得――クローラー分離が鍵に

Cloudflareは2026年7月8日、OpenAIとの共同研究パイロットプログラムを発表した。これは、Cloudflareのグローバルネットワークから得られるリアルタイムのWeb更新シグナルを、ChatGPTの検索インデックスシステムに直接フィードする試みである。Web全体の20％以上に介在するCloudflareが、特定のAI検索エンジンに対して、従来のクローラーよりも高速に最新コンテンツを検出・インデックス化させるテストを開始したことで、業界に大きな波紋が広がっている。

■AI検索が抱える「インデックスの鮮度」という課題

従来のWebクローラーは「プル型」のシステムである。検索エンジンは各ページの更新頻度を予測してスケジュールを組み、コンテンツが実際に更新されたかどうかにかかわらず、そのスケジュールに従ってクローラーを派遣する。Cloudflareのネットワークデータによると、適切に動作しているボットによるクローリング要求の半分以上は、前回の訪問から変更されていないページを再取得しているという。これらの無駄なクローリングは、AI企業とパブリッシャー（サイト運営者）の双方に不要なコストを強いる一方で、インデックスの品質向上には寄与していない。

その結果、ユーザーには「インデックスの遅延」という形で影響が及ぶ。コンテンツが変更されてからAIのインデックスに反映されるまでにタイムラグが生じるため、変化の激しいニュースについてチャットボットに質問しても、前日のWeb情報に基づいた回答しか得られない事態が発生する。OpenAIの研究担当VPであるニック・ライダー氏は共同発表の中で、「ChatGPTを利用する人々に正確な回答を提供するためには、最新の情報が重要である。Cloudflareとのこのパイロットにより、ネットワークレベルのインサイトがコンテンツをより効率的に発見するのに役立つかどうかを検証できる」と述べている。

■CDNレイヤーにおけるシグナル駆動型クローリングの仕組み

WebページがCloudflareのネットワークを介して配信される際、Cloudflareのエッジにはそのコピーがキャッシュされる。キャッシュされたコピーで次のリクエストを処理できれば「キャッシュヒット」となるが、コンテンツが変更されて新しいコピーを提供できない場合は「キャッシュミス」が記録される。このキャッシュミスイベントこそが、ページが更新されたことを示す信頼性の高いリアルタイムのシグナルとなる。

Cloudflareは以前からこのメカニズムを活用してきた。2021年10月には、キャッシュミスを監視し、検出時にMicrosoftやYandexが開発したオープンプロトコル「IndexNow」を介して参加検索エンジンに通知を送る「Crawler Hints」機能を立ち上げた。この通知は検索エンジンに対し、該当URLが変更されたため、次の定期巡回を待たずに今すぐクローリングするよう促すものである。Cloudflareによると、この機能の開始以来、従来の検索エンジン向けに6000億件以上のシグナルを処理してきたという。MicrosoftのBing、Yandex、Seznam、Naver、AmazonがIndexNowに参加しているが、Googleは参加しておらず、独自のプル型クローン巡回スケジュールと個別のIndexing APIに依存し続けている。

今回のOpenAIとのパイロットは、このアーキテクチャをより豊かなシグナルタイプで拡張するものだ。基本的なページ変更イベントに加え、コンテンツの鮮度情報（いつ、どの程度変更されたか）、トラフィックの品質指標（実際の人間がどのページに集まっているか）なども共有される。この組み合わせにより、OpenAIのクローンディスパッチャーは、IndexNowの単純なURL変更通知よりも詳細な状況（どのページが更新されたかだけでなく、どのページが重要か）を把握できるようになる。

CloudflareのCEOであるマシュー・プリンス氏は、この取り組みの目標を「双方向の効率化」と表現している。ただし、Cloudflareのブログ記事では、このプログラムは「設計上ニュートラル」であり、「公平にルールに従う」意思のあるすべての検索エンジンに対して「2026年後半に広く提供する予定」であると強調されている。OpenAIは最初のパートナーに選ばれただけであり、恒久的な独占パートナーではない。

■なぜOpenAIが最初のアクセス権を得て、Googleは期限に直面しているのか

OpenAIがパイロットの最初のパートナーとなったのは、優遇措置によるものではなく、同社が2026年前半に行ったコンプライアンス上の決定によるものであり、Googleがまだ行っていない選択の結果である。

Cloudflareが2026年7月1日に発表したポリシー改定（同社が「コンテンツ独立記念日」と呼ぶ年次発表の2回目）では、AIクローラーを「検索（AI検索結果のインデックス作成用）」、「エージェント（リアルタイムのクエリを行うユーザーに代わってページを取得する用）」、「トレーニング（言語モデルの学習用）」の3つのカテゴリに分類した。2026年9月15日以降、Cloudflareのデフォルト設定では、新規ドメインおよびオプトアウトしない既存の無料プラン顧客の広告付きページにおいて、トレーニング用およびエージェント用のクローラーがブロックされる。複数の用途を兼ねる「混合利用」のクローラーは、適用されるルールのうち最も制限の厳しいルールに従って処理される。

このポリシーは、Googlebot、Applebot、BingBotに影響を与える。これら3つのボットは、単一のボットIDで検索インデックス作成とAIモデルトレーニングの両方のクローリングを行っているため、Cloudflareの新フレームワークでは「混合利用」とみなされ、2026年9月15日以降、デフォルトで広告収益化ページからブロックされることになる。

一方、OpenAIはこれに先立ちクローラーを分離していた。同社のトレーニング用クローラー「GPTBot」は、ChatGPT検索用のリアルタイムWebクエリを処理するボットとは別個に動作している。そのため、OpenAIの検索用クローラーは単一目的のIDとして、Cloudflareが許可する「検索」カテゴリに適合し、この適合性こそがOpenAIをパイロットの最初のパートナー資格へと導いた。Googleは今後、Googlebotを分割して既存の統合トレーニングデータパイプラインを危険にさらすか、あるいは現在のアーキテクチャを維持してWeb上の広告付きページの5分の1へのクローンアクセスを失うかという、より厳しい選択を迫られている。

■1,700対1というクローン対リファラル比率がもたらした必然性

このパイロットの背景には、従来の「クローリングを許可する代わりにアクセス（リファラル）を送る」という互恵関係が崩壊しているという、2025年6月にCloudflareが初めて文書化したネットワークデータがある。当時、Googleのクローラーはパブリッシャーのサイトから約14ページを取得するごとに1人の訪問者を送り返しており、この比率は経済的に成立していた。しかし、OpenAIの比率はパブリッシャーに送り返す訪問者1人に対して約1,700ページのクローリング、Anthropicにいたっては約73,000対1という極端な非対称性を示していた。

パブリッシャーは、ほとんどトラフィックが戻ってこないにもかかわらず、膨大なクローリングコストを負担させられていた。Pew Research Centerの調査によると、GoogleがAIによる要約を表示した場合、ユーザーが従来の検索結果リンクをクリックする割合はわずか8％（要約がない場合の約半分）であり、AIの要約内にあるリンクをクリックする割合はわずか1％にとどまる。一方で、経済的利益を守るためにAIクローラーをブロックしようとしたパブリッシャーは、別の問題に直面した。ラトガース大学とウォートン校のアカデミック研究によると、AIクローラーをブロックしたサイトでは、月間訪問者数が約23％減少したという。

これに対しCloudflareは、過去1年間にわたり「Pay Per Crawl」（1997年から休眠状態だったHTTP 402 Payment Requiredコードを活用）や、3カテゴリの分類器、新しい「Attribution Business Insights」ダッシュボードなどのツール群を構築し、パブリッシャーに対抗手段を提供してきた。今回の鮮度シグナルパイロットも同様のフレームワークに位置づけられており、AI検索企業に対して、検索とトレーニングのクローラーを分離するというルールへの準拠と引き換えに、高品質なクローリングへの効率的な経路を提供するものである。

■コンテンツアクセス議論の両側に立つCloudflare

このパイロットにおける構造的な緊張関係は明白である。Cloudflareはこのパイロットを発表した8日以内に、Web史上最も重要なクローラーであるGooglebotを、インターネットの5分の1を占める広告付きページからブロックすると警告する業界向けの期限を設定した。ルールを執行する企業が、OpenAIはすでに満たしており、Googleは現在満たしていない形でルールを設計したことになる。

Cloudflareは「独占的な優位性」という見方を否定している。同社のドキュメントでは、鮮度シグナルプログラムは要件を満たすすべての検索エンジン向けに設計されており、2026年後半に広く利用可能になるとされている。この違いは重要であり、PerplexityやAnthropicの検索ツール、あるいは将来の競合他社が検索クローラーを分離し、Cloudflareの透明性要件を満たせば、理論的には同じシグナルを受け取る資格を得られることになる。

しかし、この説明では、プログラムが広く公開されるまでの期間における格差や、Cloudflareがクローラーをブロックするツールを販売する一方で、クローラーにデータを供給するインフラをテストしているという構造的事実には十分に答えていない。同社は、他社にはない可視性を持つ単一のネットワークポジションから、コンテンツアクセス市場の両側にサービスを提供している。The Next Webの分析では、この動きを「コンテンツ発見の境界線の両側に座っている」と評している。

この二重のポジショニングが規制当局の監視を招くかどうかは、米国や欧州連合（EU）の競争当局が、CDNレイヤーにおける優先的なデータ共有をどのように捉えるかにかかっている。既存のネット中立性の枠組みは、ISPレベルでのパケット転送を対象としており、世界のWebトラフィックの20％を支配するCDNが、競合する検索エンジンに対してリアルタイムのデータシグナルをどのように分配するかを規定する非差別要件は現在存在しない。この規制の空白地帯こそが、今回のパイロットがもたらす最も構造的に重要な影響である。

■競合AI検索企業に欠けているもの

Perplexity、Google AI Search、Anthropicの検索ツールなど、Webをクローリングする他のAIシステムは、1990年代から続く方法、すなわちスケジュールに従ってページを訪問し、過去のデータと比較することでページの変更を検出している。彼らは、自社のクローラーが実際にページを取得して変更を確認するまで、そのページが更新されたことを知ることができない。

これに対し、Cloudflareのエッジネットワークは、参加しているすべてのサイトにおいて、すべての訪問者によるページの変更をリアルタイムで継続的に監視している。パブリッシャーがニュース記事を投稿してからCloudflareがその存在を認識するまでの時間はミリ秒単位で測定できるが、従来のクローラーがそのURLを次に巡回するまでの時間は時間単位で測定される。

このパイロットは、そのリアルタイムシグナルをOpenAIのクローンディスパッチャーにルーティングすることで、実務上のタイムラグを解消できるかを検証する。もし成功すれば、ChatGPTのリアルタイム検索回答は、従来のプル型クローンシステムよりも正確にWebの最新状態を反映できるようになる。この優位性が、プログラムが他の適格なエンジンに開放された後も維持されるのか、あるいはAI企業がより新鮮なデータを得るためにCloudflareのルールへの準拠を競い合うような、新たなインフラ競争へと発展するのかが、今後の焦点となる。

なお、Cloudflareのプレスリリースでは、この研究プログラムの商業化フェーズのスケジュールや、結果がいつ公表されるかについては明記されていない。同社は、コンテンツの発見可能性向上やサーバーへの不要なクローリングの削減など、サイト所有者にとってのメリットを含めた調査結果を公表する意向を示している。

また、Scotiabankのアナリストであるパトリック・コルビル氏は、最近の一連の発表を受けてCloudflareの投資判断を「アウトパフォーム」に引き上げ、AIインフラにおける同社の役割拡大を理由に、目標株価を225ドルから300ドル（約4万8,600円、1ドル＝162円換算）に引き上げた。同社の株価は52週高値付近の268.83ドル（約4万3,550円）前後で取引されており、時価総額は950億ドル（約15兆3,900億円）に迫っている。

■注目ポイントQ&A

●CloudflareのリアルタイムCDNシグナルは、どのようにしてOpenAIの検索インデックスに届くのですか？

Cloudflareのネットワーク下にあるページが変更されると、エッジキャッシュでキャッシュミスが発生します。これはページが更新されたことを示すリアルタイムの指標となります。2021年から構築され、すでにIndexNowプロトコルを介して従来の検索エンジン向けに6000億件以上のシグナルを処理している「Crawler Hints」インフラが技術的基盤となっています。OpenAIとのパイロットでは、ページの変更通知だけでなく、変更の時期や規模、人間のトラフィック量などの追加シグナルも提供され、これらを受け取ったOpenAIのシステムが適切なタイミングでクローラーを派遣します。

●このパイロットは、ChatGPTに競合他社に対する不当な構造的優位性を与えることになりますか？

現時点ではOpenAIが唯一のパートナーですが、Cloudflareは2026年後半に「公平にルールに従う」他の検索エンジンにもプログラムを開放するとしています。OpenAIが最初に選ばれたのは、検索用とトレーニング用のクローラーを事前に分離しており、Cloudflareの新ポリシーに適合していたためです。Googlebotなどは両用途を兼ねているため、9月15日以降はデフォルトで広告付きページからブロックされる対象となり、現時点ではシグナル提供の対象外です。なお、Webトラフィックの20％を握るCDNがこのようなシグナルを非差別的に分配する義務があるかについては、現在の規制の枠組みでは定義されていません。

●Cloudflareを利用しているパブリッシャーは、このパイロットについて何を認識しておくべきですか？

パブリッシャーの参加はオプトイン方式であり、ユーザーが共有を選択したシグナルのみが共有されます。このプログラムは検索インデックスの作成に限定されており、コンテンツ自体の共有や基盤モデルのトレーニングへのデータ利用は行われません。参加したパブリッシャーは、ChatGPTの検索システムによってコンテンツがより迅速に検出・インデックス化されるようになります。また、AIボットのブロック設定を行っているパブリッシャーは、9月15日からの新ルールにおいて、自身の検索クローラー設定がどのように機能するかを確認することが推奨されます。

●このパイロットがGoogleやPerplexityなどの競合他社にも拡大された場合、どうなりますか？

プログラムが広く開放された場合、競争の焦点は「シグナルへのアクセス権の有無」から「各検索エンジンがそのシグナルをいかに効率的にインデックス処理に活用できるか」へと移行します。パブリッシャーにとっては無駄なクローリングが削減され、ユーザーにとってはどのAI検索を使っても最新の情報が得られるようになるというメリットがあります。長期的には、アクセス制限ルールを執行する立場でありながら、ルール準拠企業に優先データを提供するCloudflareのポジションが、規制上の監視対象になるかどうかが注目されます。

元記事: OpenAI Gets First Access to Cloudflare’s Real-Time Web Signals by Separating Its Crawlers