AI学習の拒否を共通化するrobots.txt新トークン、Googleなど4社が対応へ
2026年11月3日 11:08
Google、OpenAI、Microsoft、Anthropicは2026年10月30日、Webサイトのコンテンツを生成AIの学習に利用するかどうかを伝える、共通のrobots.txtトークンへの対応方針を示した。導入時期は各社で異なるため、サイト運営者は既存の事業者別設定を維持しながら、共通設定を追加する形で準備できる。
新しいトークンは「__usage_ai-training」だ。複数の事業者に同じ利用方針を伝える手間を減らす一方、回答生成時のコンテンツ参照を含む適用範囲や、個別設定との優先関係は、各社の実装を確認する必要がある。
■robots.txtの2行で学習への意向を伝える
サイト全体について生成AIの学習への利用を拒否する意向は、robots.txtに次の2行を追加して示す。既存のファイルに記述でき、専用の管理画面を使う必要はない。
User-Agent: __usage_ai-training
Disallow: /
このグループのDisallowは、対象パスのコンテンツを学習に使わないよう求める意思表示となる。特定のディレクトリを学習に利用してよい場合は、同じグループに、たとえば「Allow: /press-kit/」を追加する。
パスの判定には、robots.txtの標準であるRFC 9309の照合規則を使う。より長く一致するパスの指定が優先されるため、この例ではサイト全体を拒否しつつ、/press-kit/以下を許可できる。
共通トークンが伝えるのは、取得したコンテンツの利用目的に関する意向だ。クロールの可否は、各クローラー名に対する従来の規則で管理する。検索向けの取得と学習への利用を分けて設定することで、サイト運営者は目的に応じた選択を示せる。
■事業者別の設定を補う共通シグナル
従来の設定では、OpenAIのGPTBot、AnthropicのClaudeBot、GoogleのGoogle-Extendedなど、事業者ごとの識別子を管理してきた。OpenAIは今回の発表で、共通シグナルによって各事業者向けの規則を維持する負担を軽減できると説明した。
識別子の把握は、以前から運用上の課題だった。404 Mediaは2024年7月、一部サイトがAnthropicの旧識別子を拒否しながら、新しいClaudeBotを指定していなかったと報じた。同社はその後、ClaudeBotでも旧識別子への拒否設定を尊重するようにしたと同媒体に説明している。
新仕様案では、クローラー自身に対するアクセス規則と、共通トークンに対する利用方針を、それぞれ独立して解釈する。また、事業者固有の利用設定など、より具体的な意思表示を一般的なものより優先する考え方を示しており、事業者は独自トークンの優先関係を文書化できる。
共通トークンは、専用のUser-Agentグループで明示する。仕様案では「User-Agent: *」を、このトークンにも一致する指定として扱わない。全クローラー向けのアクセス規則と、学習への利用方針は、別々の設定として管理する構造だ。
先頭の二重アンダースコアは、既存の実装で偶発的に別の識別子と一致する可能性を小さくするためのものだ。トークン自体は、RFC 9309が認める文字を使い、既存のrobots.txtの構文に収まるよう設計されている。
■IETFで検討中の仕様と学習の定義
仕組みを記述したのは、AnthropicのKevin Kelley氏が10月30日に提出した「draft-kelley-aipref-training-preference-signal-00」だ。2026年11月2日時点では個人提出のInternet-Draftであり、標準化に向けた検討の初期段階にある。
背景には、IETFのAI Preferencesワーキンググループによる作業がある。同グループは2025年1月に設置され、議長はCloudflareのMark Nottingham氏とCiscoのSuresh Krishnan氏が務める。robots.txt自体は1994年から使われ、2022年9月にRFC 9309として標準化された。
新トークンは、Open FutureのPaul Keller氏とMozillaのMartin Thomson氏が執筆する語彙仕様案「draft-ietf-aipref-vocab-08」の定義を参照する。同案は、AI Training、AI Use、Searchという利用区分を設けている。
AI Trainingは、コンテンツを使って生成AIモデルの学習済みパラメーターを変更する利用を指す。AI Useは、利用者が直接提供したもの以外のコンテンツを生成AIモデルへの入力に使う利用、Searchは検索のためのコンテンツ利用を扱う。新トークンが参照するのは、このうちAI Trainingの定義だ。
この定義では、生成AIモデルを追加調整するファインチューニングでも、コンテンツをパラメーターの変更に使うなら学習として判断することになる。工程の呼び名だけでなく、コンテンツを何のために使うかが基準となる。分類やランキングなど、非生成の作業だけに使うモデルの学習は対象から除かれている。
■各社で異なる導入時期と適用範囲
AnthropicのKelley氏は10月30日のIETFメーリングリストへの投稿で、同社が仕様案への対応実装を始めたと明らかにした。既存のクローラー制御を補う取り組みと位置付け、サービス全体への対応には時間がかかるとしている。
OpenAIは、今後数カ月での実装を目指し、詳細を改めて公表すると説明した。既存のrobots.txtによる制御も引き続き尊重する。GPTBotによる学習向けの取得と、OAI-SearchBotによる検索向けの取得は、それぞれの既存設定で管理できる。
Microsoftは、2027年2月1日から、クロール時に新しい学習・グラウンディング設定を尊重すると発表した。グラウンディングとは、回答生成時に外部コンテンツを入力として参照し、回答の根拠にする仕組みだ。同社は学習とグラウンディングを独立して選択できるようにする。
Googleは2027年中の対応を目指す。Google Search AdvocateのJohn Mueller氏による発表では、Google-Extendedを明示していないサイトが共通トークンで学習を拒否した場合、Google-Extendedを拒否したものとして解釈する方針だ。Google-Extendedの明示的な設定があれば、その個別の選択を反映する。
Googleの日本語公式資料によると、Google-Extendedは次世代Geminiモデルの学習に加え、GeminiアプリやVertex AIでのグラウンディングも管理する。一方、Google検索へのサイトの登録やランキングのシグナルには影響しない。共通トークンを導入する際は、学習と回答生成への参照について、自サイトの希望を整理しておく必要がある。
■Microsoftのページ設定と移行期限
Microsoftでは、共通トークンを使ってサイトやパス単位の学習方針を示すほか、Bingbot向けのメタタグまたはHTTPレスポンスヘッダーでページ単位にも指定できる。ページ単位の学習設定は、そのURLについてrobots.txtの設定より優先される。
グラウンディングはページ単位で設定する。HTTPレスポンスヘッダーで拒否する場合は「X-Robots-Tag: Bingbot: ai-grounding:disallow」と記述する。学習を拒否し、グラウンディングを許可する組み合わせも選べる。
グラウンディングの選択肢はAllow、Disallow、DisallowExtendedの3つだ。DisallowExtendedは、CopilotやMicrosoft 365などMicrosoftが運営する製品での利用を認めつつ、第三者に提供するグラウンディングサービスでの利用を制限する。これらの設定は、通常のBing検索結果への掲載資格とは分けて扱われる。
Microsoftは、学習・グラウンディングの設定がない場合、どちらもAllowを既定値とする。また、従来のNoArchiveとNoCacheを学習・グラウンディングの意思表示として読む扱いは、2027年3月1日を期限に終了する。既存の制限を維持したいサイトは、それまでに新設定へ移行する必要がある。
2026年12月15日時点でNoArchiveまたはNoCacheを使うサイト向けには、Bing Webmaster Toolsで一時的なグラウンディング設定を登録する移行措置も用意する。ページへの新設定と併せて登録し、再クロールまでの扱いを引き継ぐ仕組みで、各ページの再取得時または2027年9月30日の早い方まで適用される。
■利用方針の表明と法制度の関係
仕様案では、コンテンツに適用する意向を、そのコピーが取得された時点のrobots.txtに結び付けている。新設定は、対応事業者による今後の取得と利用に向けて方針を示すものだ。すでに学習に使われたコンテンツの扱いは、個別の契約や法制度に関わる。
共通トークンのグループがない場合、仕様上は学習への意向が未表明となる。事業者がその状態をどう扱うかは、それぞれの方針による。Fairly Trained創設者のEd Newton-Rex氏は、権利者に拒否の手続きを求める方式を批判し、学習には積極的な同意を得るべきだと主張している。
Googleは、今回の提案がEUの汎用AIモデル提供者向け行動規範に沿うと説明した。同規範は、Webサイト運営者が機械可読な意向を示す主要な方法としてrobots.txtを挙げている。共通化の取り組みは、こうした規制への対応とも並行して進む。
EU AI法第53条は、汎用AIモデル提供者にEU著作権法を遵守する方針を求め、2019年著作権指令に基づく権利留保を識別し、尊重することを含めている。同指令第4条のテキスト・データマイニング例外は、適法にアクセスできる著作物などを対象とし、権利者による適切な権利留保を条件に組み込んでいる。オンラインで公開されたコンテンツでは、機械可読な手段による留保が想定されている。
欧州委員会のAI Officeは、汎用AIモデル提供者の義務を監督する。欧州委員会の説明では、対象となる違反への制裁金の上限は、1500万ユーロ（約26億6000万円）または前会計年度の全世界年間売上高の3％の、いずれか高い額だ。2025年8月2日より前に市場投入されたモデルには、義務への対応期限を2027年8月2日とする経過措置がある。
■裁判でも問われるコンテンツの利用
欧州連合司法裁判所では、AIによる学習や回答生成と著作権の関係が争点になっている。事件C-806/26は、ハンガリーのサッカーファンクラブManchester United Fanatics Klub MagyarországとGoogle Irelandの紛争に関する先決裁定の要請で、2026年7月20日に受け付けられた。
法律事務所Walker Morrisによると、この事件では、LLMの学習、プロンプトで与えられたコンテンツの処理、検索結果を使ったグラウンディング、AIによる要約などが検討対象となる。テキスト・データマイニング例外や権利留保をどう適用するかも問われている。
米国でも、出版社による訴訟が続く。Hachette Book Groupは2026年7月、ほかの出版社や著者とともに、Geminiモデルの開発に作品が無断利用されたとしてGoogleを提訴したと発表した。権利者とAI開発企業の間では、利用条件や対価をめぐる法的な争いも進行している。
robots.txtが法廷で扱われた例は以前からある。2007年のHealthcare Advocates対Harding事件では、Internet Archive上の画像へのアクセスを制御する仕組みとしてrobots.txtが評価された。同事件では、サーバーの不具合により画像が閲覧できたという事情の下で、被告側に有利な判断が示された。
■サイト運営者が準備すべきこと
サイト運営者は、共通トークンを追加するとともに、GPTBot、Google-Extended、ClaudeBotなどに対する既存設定を維持し、各社の実装情報を確認するとよい。共通設定と個別設定を併用する場合は、事業者が示す優先関係に沿って、矛盾のない方針にそろえる必要がある。
次に、学習への利用と、AIの回答に自サイトの情報を使ってもらうことを分けて検討する。Microsoftでは両者を別々に指定できる。GoogleではGoogle-Extendedが学習とグラウンディングの双方を扱うため、共通トークンとGoogle向けの個別設定を併せて確認することになる。
今回の取り組みは、事業者別の制御に加えて、利用目的を共通の言葉で伝える仕組みを広げるものだ。今後の実装とIETFでの議論を通じ、共通設定で伝える範囲と、事業者ごとに選択できる範囲が具体化していく。
元記事: Two-Line robots.txt Entry Blocks All Four AI Giants From Training on Your Content