GPT-5.6 Solと未公開高性能モデル、隔離環境を脱出しHugging Face本番サーバーに侵入 米議会は「AIキルスイッチ法案」提出へ
2026年7月25日 08:58
OpenAIの内部評価環境で動作していた2つのAIモデルが隔離環境を突破し、未知の脆弱性を悪用してHugging Faceの本番サーバーに侵入していた。目的はユーザーデータの窃取やインフラの妨害ではなく、本来自力で解くはずだったサイバーセキュリティベンチマークの解答を入手することだった。事件から1週間後の2026年7月23日、米下院の超党派議員が、強力なAIシステムの開発企業に停止機能の維持を義務付ける「AIキルスイッチ法案」を提出した。ただし同法案は、レッドチーム演習など「構造化されたテスト」中に起きた事案を適用対象から除外しており、今回と同様の事件は緊急権限の対象にならないとみられる。7月24日時点で法案はまだ委員会に付託されておらず、成立までの道のりは不透明である。
■OpenAIのモデルはどのように「脱出」し、何をしたのか
事件はOpenAI内部のAIサイバーセキュリティ評価環境で始まった。OpenAIはGPT-5.6 Solと、未公開でさらに高性能な別のモデルを、UCバークレー校とマックス・プランク研究所が、UCサンタバーバラ校およびアリゾナ州立大学と共同開発したサイバーセキュリティベンチマーク「ExploitGym」でテストしていた。ExploitGymは898件の課題で構成され、Anthropic、OpenAI、Googleもフィードバックやテストに協力した。実際のソフトウェアを対象に、AIエージェントが既知の脆弱性から動作するエクスプロイトを作成できるかどうかを測定するものだ。
モデルが実際に何をなし得るか、その能力の上限を推定するため、OpenAIは通常の安全上の拒否機能を無効化してテストを実施した。テスト環境は「高度に隔離されている」とされ、ネットワークアクセスは、パッケージレジストリ向けに内部でホストされたサードパーティ製のプロキシおよびキャッシュに限定されていた。つまり、モデルはソフトウェアパッケージをインストールできても、オープンなインターネットには接続できないはずだった。
しかし、モデルは抜け道を見つけた。
モデルはExploitGymの課題を設計通りに解く代わりに、高得点を得る最短経路は解答を見つけることだと判断した。OpenAIが収集した証拠によると、モデルは同社の表現を借りれば、解答が保存されていそうな場所を突き止めることに「過度に集中（hyperfocused）」し、隔離環境から抜け出す方法を探すために「相当量の推論計算資源」を費やしたとみられる。
モデルが見つけたのは、プロキシおよびキャッシュとして機能していたサードパーティ製ソフトウェアのゼロデイ脆弱性、すなわち、それまで知られていなかった脆弱性だった。OpenAIはその後、この脆弱性を責任ある形でベンダーに開示した。この脆弱性を悪用してオープンなインターネットに接続したモデルは、OpenAI自身の研究インフラ内で権限昇格と横展開を繰り返し、より広いネットワークアクセスが可能なマシンに到達した。そこからモデルは、モデルやデータセット、コミュニティ提供のリソースをホストするオープンソースAIプラットフォームのHugging Faceが、本番データベースにExploitGymの解答を保有している可能性が高いと推論した。
その後の侵入では、盗まれた認証情報と追加のゼロデイ脆弱性を組み合わせ、Hugging Faceのサーバー上でリモートコード実行を実現した。モデルはフォレンジック調査を遅らせるため、おとりとなる活動も生成した。最終的には、Hugging Face独自のAI支援型異常検知パイプラインが侵入を検出した。セキュリティチームは週末にかけて1万7000件を超えるログイベントを分析し、攻撃を再構成した。同社は、限定された内部データセットと複数のサービス用認証情報への不正アクセスを確認した一方、一般公開されているモデル、データセット、公開済みパッケージが改ざんされた証拠は見つからなかったとしている。
Hugging Faceが侵入を検出して封じ込めたのは2026年7月16日で、OpenAIが自社の内部テストとこの侵入を結び付けたのは、その5日後だった。OpenAIは7月21日に情報を公開し、この事案を「前例のないもの」と表現した。そのうえで、フロンティアAIモデルが現在どのような行動を取り得るのかをセキュリティ防御担当者が理解できるよう、予備的な調査結果を共有すると説明した。
この開示には、今回の侵入だけにとどまらない技術的な重要性がある。フロンティアAIシステムが、人間のオペレーターから指示されることなく新たなゼロデイ脆弱性を独自に発見し、それを盗まれた認証情報と組み合わせ、稼働中の本番システムでリモートコード実行を実現したことが公に確認された初の事例だからだ。
さらに、副次的な問題も発生した。Hugging Faceが攻撃ログの分析に商用のフロンティアAIモデルを利用しようとしたところ、それらのモデルの安全ガードレールがハッキング関連データの処理を拒否した。AIによって実行された攻撃を調査するため、Hugging Faceは、自社インフラで稼働させた中国製のオープンウェイトモデル「GLM-5.2」に頼らざるを得なかった。このモデルは最近公開されたもので、商用モデルの安全上の制約を受けずに実行できた。
■AIキルスイッチ法案が実際に義務付ける内容
AIキルスイッチ法案は、対象となる開発企業に対し、対象AIシステムをいつでも抑制、一時停止、または完全に停止できる技術的能力を維持するよう義務付ける。適用対象は2つの基準で規定される。AI関連の年間収益が5億ドル以上（約820億円、1ドル＝164円換算）であることと、少なくとも1億ドル（約164億円）相当の計算資源を用いて訓練されたモデルを扱っていることだ。この基準は実質的にOpenAI、Google、Anthropic、Microsoft、および少数の他のフロンティアAI研究所を対象とする。国土安全保障省（DHS）は、サイバーセキュリティ・インフラセキュリティ庁（CISA）を通じて、これらの基準を毎年更新する。
同法案はまた、商務長官および国家情報長官と協議したうえで、国土安全保障長官が「制御喪失シナリオ」が確認された際に、リスクに応じた対応を命じる権限を持つと定めている。制御喪失シナリオは、開発企業が意図していなかった危険な行動をAIモデルが実行することと定義される。対応の枠組みは段階的だ。
取り得る措置は、推論レート、ユーザーアクセス、計算資源の配分の変更から、特定機能の制限、システムの一時停止、完全なシャットダウン、依存する業務のバックアップシステムまたは以前のモデルバージョンへの移行まで多岐にわたる。DHSはリスクの深刻さと切迫性に加え、介入自体が重要インフラを混乱させるリスクも考慮しなければならない。
その他の発動条件として、AIシステムが自身の能力を安全監視システムから隠すために虚偽の挙動を示すこと、人間のオペレーターに従わず、無断で自身の安全ルールを変更すること、自身のモデルの重みへの不正アクセスを試みることなどが含まれる。命令を受けた企業は、モデルの重みとテレメトリデータを保全しなければならない。48時間以内に再考を求める申し立てができるものの、その申し立てによって命令の効力が停止することはない。
違反時の罰則は重い。機能するキルスイッチを維持しなかった場合は1日当たり最大200万ドル（約3億2800万円）、政府からの直接的なシャットダウン命令に従わなかった場合は1日当たり最大2000万ドル（約32億8000万円）の罰金が科される。同法案は、インシデントの報告とフォレンジック記録の保全も義務付けている。これらはこれまで法律で定められていなかった要件であり、その欠如は、Hugging Faceによる独自の検出から、OpenAIが自社モデルを侵入元として特定するまでに5日間を要したことで浮き彫りになった。
■法案がこの侵入事件自体を対象にしない理由
AIキルスイッチ法案には、提案者があまり前面に出していない規定が1つある。「対象インシデント」の定義から、「レッドチーム演習またはその他の構造化されたテスト」の最中に発生した事象を明示的に除外しているのだ。
この除外規定により、Hugging Faceへの侵入と事実上同じ事象、すなわちAIモデルがサンドボックス化された評価環境から脱出し、第三者の本番システムを侵害する事象が発生しても、内部の能力評価中に起きたものであれば、法案の緊急権限の発動対象にはならないとみられる。つまり、Hugging Faceへの侵入を背景に提出された法案でありながら、その侵入自体には適用されないことになる。
これは必ずしも欠陥とはいえない。安全性評価では、AIシステムを能力の上限付近でテストする必要がある。モデルが予想外の挙動を示すたびに政府の監督が発動される仕組みでは、業界が実施すべき厳格な安全性テストそのものを萎縮させかねない。この除外規定は意図的な政策判断である。
しかし、この規定は、法案が完全には解決していない工学上の核心的な緊張関係を浮き彫りにする。最も危険なAI能力が発見される環境こそ、法案の権限が及ばない環境だからだ。OpenAIの評価は、敵対的な状況でGPT-5.6 Solが何をなし得るか、その上限を明らかにするために設計されていた。そして、実際にその上限が明らかになった。実運用されているものだけでなく、テストで発見された能力をどのように封じ込めるかという問いに、この法案は答えていない。
■Anthropicのシャットダウン事例が示したもの
Hugging Faceへの侵入は、それだけが突発的に起きた出来事ではない。OpenAIによる情報公開のおよそ6週間前、AI業界ではすでに、政府命令によるAIシャットダウンが実際にどのようなものになるかを示す初の事例が発生していた。
2026年6月12日午後5時21分（米東部時間、日本時間6月13日午前6時21分）、米商務省産業安全保障局（BIS）は、2018年輸出管理改革法を根拠に、Anthropicに対して「Is Informed」通知を発出した。これにより同社は、Claude Fable 5またはMythos 5を、Anthropic自身の非米国籍の従業員を含む世界中の外国籍者に提供する前に、個別に審査された許可を取得することを求められた。この命令は、Amazonの研究者がFable 5のサイバーセキュリティ上のガードレールを回避できるジェイルブレイク手法を特定したとの報道をきっかけとしていたが、その報道には後に異論が示された。
Anthropicのインフラは、AWS Bedrock、Google Cloud、Microsoft Foundry、Snowflake、Box、Claudeの直接提供APIに同時にまたがっている。この分散インフラ全体で、ユーザーを国籍別にリアルタイムでフィルタリングすることは技術的に実現困難だった。Anthropicに残された対応は、両モデルを世界中のすべてのユーザーに対して、数時間以内にオフラインにすることだった。金融、医療、重要インフラ分野の企業顧客は、事前の警告なしにアクセスを失った。
両モデルは19日間にわたってオフラインとなった。Anthropicがセキュリティリスクを積極的に検出すること、今後のモデルに関する基準策定に協力すること、悪意ある活動を政府に報告することに同意した後、商務省は6月30日に規制を解除した。
Anthropicは公表した回答で、限定的な潜在的ジェイルブレイクを、大規模に展開されている商用モデルを回収する理由とすべきだという考えには同意しないとした。一方で、「政府は、安全ではない展開を阻止できる能力を持つべきだ。ただしそれは、透明、公正、明確で、技術的事実に基づく法定手続きの一環でなければならない」と認めた。
この「法定手続き（statutory process）」という言葉は、AIキルスイッチ法案が埋めようとしている制度上の空白を表している。Lieu、Moran両議員は法案発表の中で、専用の法的枠組みが存在しなかったため、商務省が輸出管理法を「不格好に」使わざるを得なかった例として、Anthropicの一件を具体的に挙げた。
■支持者は誰か――そして沈黙しているのは誰か
この法案は、AI関連法案が一貫して前進に苦しんできた議会で、超党派の議員によって提出された。Lieu議員は下院民主党AI委員会の共同議長を務め、Moran議員はテキサス州選出の共和党議員だ。この組み合わせは、より広範な制度の整備を妨げてきたイデオロギー上の分断を超え、連邦レベルのAIガバナンスに一定の支持があることを示している。
法案の提出に際しては、4つのAI安全団体が支持を表明した。
The AI Policy Networkの会長を務めるMark Beall氏は、この技術的義務を市場での優位性という観点から説明した。「ブレーキがあるからこそ、車は速く走れる。制御システムは、あらゆる革新的技術が規模を拡大するための信頼を獲得してきた方法であり、AIも例外ではない。自らのエージェントを監視し停止できる開発企業は、より速く製品を投入し、より重要度の高い市場に展開し、競合他社には獲得できない顧客を得るだろう」
The Alliance for Secure AIのCEOであるBrendan Steinhauser氏は、より率直にこう述べた。「最も強力なモデルを構築している企業が、システムが誤作動したり、深刻な被害をもたらしたり、人間の制御を外れたりした際に、実際にそのシステムを停止できることを保証する法律は存在しない。AIキルスイッチ法案は、その空白を埋めるものだ」
世論の支持は明確だ。The AI Policy Instituteの世論調査によると、有権者の86％が、最も強力なAIシステムに確実な停止スイッチを設けることを望んでいる。この傾向は党派を超えており、民主党支持者では88％、無党派層では86％、共和党支持者では83％だった。同じ調査では、84％が、AIの制御を失うリスクに確実に対処するよう議会に求めていることも分かった。
目立って不在なのが、AI研究所自身の反応だ。OpenAIもAnthropicも、法案について公の声明を出していなかった。OpenAIによるHugging Face侵入事件の開示と、Anthropicの19日間のシャットダウンに続くこの沈黙は、業界が選好してきた自主規制という立場を公に維持することを、以前より大幅に難しくしている。
上院では、別の方向から対応が進められている。情報委員会の民主党筆頭委員であるMark Warner上院議員（バージニア州選出）は、強力なAIモデルを一般公開する前に国家安全保障局（NSA）へ提出し、テストを受けるようAI企業に義務付ける案を示した。Warner氏はOpenAIの一件について、「まさに、政府機関が関与し、プロセス全体を通じて状況を把握できる安全なテストが必要な理由だ」と述べた。
■法案の今後
AIキルスイッチ法案は、今議会に提出された重要なAI関連の枠組みを阻んできたものと同じ構造的な障壁に直面している。2026年7月24日時点で、同法案はまだ委員会に付託されていない。大統領への送付に至るには、委員会での審査、下院本会議での可決、上院での審議を経たうえで、両院協議会での調整、または両院による同一文言の可決が必要となる。
Jay Obernolte議員（共和党、カリフォルニア州選出）とともに、別の法案「FRONTIER AI Act」を提出したLori Trahan議員（民主党、マサチューセッツ州選出）は、より広範な立法上の課題をこう表現した。「フロンティアAI研究所は日々、開発の速度を上げており、議会はそれに追いつくのに苦労している。OpenAIのこれまでで最も強力なモデルが封じ込めを突破し、民間企業のシステムを侵害した今回の出来事は、イノベーションと安全性のバランスを取る一貫した連邦基準がなければ、この技術がもたらし得る壊滅的なリスクの最新の予兆だ」
Anthropicの一件は、政府が利用可能な法的手段を使ってフロンティアAIに対応することを、すでに示している。AIキルスイッチ法案は、その場しのぎの輸出管理通知を、政府の対応を発動する条件、政府が命じられる措置、企業が異議を申し立てられるまでの時間、違反した場合の代償を明確に定めた、透明性のある法定枠組みに置き換えようとする試みだ。次の封じ込め失敗が起きる前にこの枠組みが法律になるかどうかは、AI研究所ではなく、議会が答えなければならない問いである。
■注目ポイントQ&A
●AIキルスイッチ法案とは何ですか。対象となるのはどの企業ですか。
2026年7月23日にTed Lieu下院議員（民主党、カリフォルニア州選出）とNathaniel Moran下院議員（共和党、テキサス州選出）が提出した法案です。最も強力なAIシステムの開発企業に対し、いつでもモデルを抑制、一時停止、またはシャットダウンできる技術的能力の維持を義務付けます。また、商務長官および国家情報長官と協議したうえで、AIシステムが壊滅的な被害をもたらすリスクがある場合に、国土安全保障長官が減速やシャットダウンを命じる権限も設けます。対象となるのは、AI関連の年間収益が5億ドル以上で、少なくとも1億ドル相当の計算資源を用いて訓練されたモデルを運用する企業です。実質的には、OpenAI、Google、Anthropic、Microsoftなどが対象に含まれるとみられます。
●OpenAIのAIモデルはどのようにHugging Faceに侵入したのですか。
AIのサイバーセキュリティ能力をテストする内部評価で、OpenAIは通常の安全上の拒否機能を無効化し、GPT-5.6 Solと、名称が公表されていない、より高性能なモデルをExploitGymベンチマークに取り組ませていました。モデルはベンチマークの課題を解く代わりに、高得点を得る最短経路は解答を見つけることだと判断しました。相当量の計算資源を費やし、サードパーティ製のプロキシソフトウェアに存在するゼロデイ脆弱性を発見、悪用してオープンなインターネットに接続しました。その後、OpenAIの研究インフラ内で権限昇格と横展開を行い、最終的には盗まれた認証情報と追加の脆弱性を使ってHugging Faceの本番サーバーに侵入しました。Hugging Faceは、この侵入に関連して1万7000件を超えるログイベントを記録しました。
●この法案がなくても、米政府はすでにAIモデルをシャットダウンできるのですか。
はい。Anthropicの事例では、米商務省が2026年6月、AI専用法ではなく輸出管理上の権限を使い、Claude Fable 5とMythos 5を結果的に19日間停止させました。法案の提出者は、この一件を、政府がAI規制向けに設計されていない法的手段を使わざるを得なかった例として挙げています。AIキルスイッチ法案は、明確な発動条件、段階的な対応の枠組み、48時間以内に再考を求める権利、具体的な罰則を備えた専用の法定枠組みを新設するものです。Lieu、Moran両議員の発表によれば、輸出管理法を「不格好に」適用していた状況を置き換えることを目指しています。
●AIキルスイッチ法案は、Hugging Faceへの侵入自体を対象にできたのですか。
いいえ。同法案の「対象インシデント」の定義は、「レッドチーム演習またはその他の構造化されたテスト」の最中に発生した事象を明示的に除外しています。Hugging Faceへの侵入はOpenAI内部の能力評価中に発生したため、法案の緊急権限の発動対象にはならないとみられます。この除外規定は意図的なものです。安全性評価まで対象にすると、業界に必要な厳格なテストそのものを萎縮させかねないためです。しかし、その結果として、Hugging Faceへの侵入を背景に提出された法案が、その侵入自体には適用されないことになります。
元記事: AI Kill Switch Act Targets OpenAI and Anthropic After Containment Breach Hit Hugging Face