CloudflareとOpenAIの実証、約1％の参加サイト群から数億ページを新たに発見・登録

Cloudflareは2026年10月15日、OpenAIとの研究実証で、同社ネットワークから得た信号を活用し、OpenAIが数億件のWebページを新たに発見・検索インデックスへ登録したと発表した。対象はCloudflareのネットワーク全体の約1％に当たる参加サイト群だ。両社は今後、ページが発見された後のサイトへの効果を調べる。

■ネットワークの信号でページを発見

両社が研究実証を発表したのは2026年7月8日だ。Cloudflareによると、今回追加されたのは、それまでOpenAIの検索インデックスに入っていなかったページである。OpenAIは発見したページの関連性や有用性を独自に評価し、検索での表示を決める。

クローラーはページ間のリンクなどを手掛かりにWebを巡回する。他サイトからのリンクが少ないページは見つけにくい場合がある。Cloudflareは、洗濯機の特定機種の説明書、パスポート申請の要件や手数料、地域の飲食店のメニューを、利用者には役立つがリンクが少ないこともある情報の例に挙げている。

Cloudflareは、世界のWebの20％超が同社ネットワークの背後にあるとしている。同社の設備を経由するサイトへのリクエストやページの変化から得た信号を、OpenAIの検索クローラーによる発見に役立てるのが、この実証の狙いだ。

■更新の把握と不要な巡回の削減

Cloudflareが挙げる信号には、コンテンツの新しさ、トラフィックの質、ページの変化がある。既知のページをいつ再訪するかという判断と、新たなページの発見の双方に、ネットワークで得た情報を生かす。OpenAIの研究担当バイスプレジデント、Nick Ryder氏は7月の発表で、最新情報を効率よく見つけ、ChatGPTの回答に役立てることが実証の目的だと説明した。

Cloudflareには、キャッシュの状態を基にページ更新の可能性を検索エンジンへ知らせる「Crawler Hints」もある。これはIndexNowに対応し、サイト側が機能を有効にすると更新情報の通知に利用できる。今回の実証は、更新の把握に加えて、OpenAIのインデックスに未登録だったページの発見も対象としている。

Cloudflareによると、存在しないURLへのボットのアクセス、ほぼすべてのURLをトップページへ転送するサイト、同じ内容を示す複数のURLは、不要な巡回を生む。同社は、こうしたパターンを見分けてクロールの無駄を減らす手法も検証している。新しいページを評価する段階では巡回が増えることもあり、今後はページ選択と更新信号を改善する方針だ。

■安全性の確認とサイト運営者の選択

両社は、有害なページを見分ける信号も試している。Cloudflareは、正規のサイトでも攻撃者により特定のページへ偽のログインフォームが置かれる場合を例示した。初期結果では、問題のあるページをURL単位で特定し、インデックスから除外する判断に役立つ可能性があるという。

Cloudflareによると、実証でOpenAIと共有するのは検索と発見に使うWebのメタデータで、モデル学習用のページ本文ではない。ページに関する信号は、そのページへのアクセス許可を意味しない。検索クローラーが内容を利用するには、サイトの設定に従ってページを取得する必要がある。

サイト運営者はCloudflareの「AI Crawl Control」でクローラーの活動を確認し、アクセスを許可またはブロックできる。CloudflareはAI関連のアクセスを検索、エージェント、学習の用途別に管理する設定も提供する。2026年9月に示した新規ドメイン向けの推奨設定では、広告で収益を得るサイトについて、検索を許可し、学習を認めない設定と広告掲載ページでエージェントをブロックする設定を組み合わせている。

■発見されたページはサイトへの訪問につながるか

Cloudflareは2025年、サイト運営者がAIクローラーのアクセスにリクエスト単位の料金を設定できる「Pay Per Crawl」を発表した。また、巡回を拒む指示に従わないボットをAI生成ページへ誘導する「AI Labyrinth」も提供している。これらの製品と今回の実証は、サイト運営者がアクセスを管理しながら、許可した検索クローラーによるページの発見を助ける取り組みとして位置付けられる。

クローラーの用途を区別する動きには、競争政策上の論点もある。Cloudflareは英国競争・市場庁（CMA）のGoogleに関する提案を巡り、検索と生成AIで共用されるGooglebotを用途別に分けるべきだと主張している。サイト運営者がコンテンツの利用目的ごとに選択できるようにするためだ。

ページの発見がコンテンツ提供者にどんな利益をもたらすかは、次の調査対象となる。Cloudflareは、ページ選択や更新信号を改善するとともに、発見後にサイトで何が起きるかを測定するとしている。ChatGPT Searchには情報源へのリンクがあるが、今回の発表に、追加登録されたページからサイトへの訪問数は示されていない。

出版社の送客を巡っては、Axiosが2026年3月、Chartbeatの集計を報じた。従来型検索からの参照流入は過去2年間で、1日1000～1万ページビューの小規模媒体で60％、中規模媒体で47％、大規模媒体で22％減少したという。一方、ChatGPT経由のページビューは2024年12月から2025年12月にかけて200％超増えたが、チャットボット全体からの参照は出版社の全参照ページビューの1％未満だった。

元記事: ChatGPT Search Gained Hundreds of Millions of Pages Link Crawlers Never Found