米上院、危険なAIモデルの公開阻止を協議―先端AI開発企業に「注意義務」

米上院で、最も高度なAIモデルを開発する企業に法的な「注意義務」を課し、重大な危険があると判断されたモデルの公開を政府が阻止できるようにする法案が協議されている。企業が政府の判断を連邦裁判所で争える仕組みも検討されているが、法案の条文や政府権限の範囲は固まっていない。

法案を巡る協議には、上院院内総務のJohn Thune、上院商務委員長のTed Cruz、Amy Klobuchar上院議員らが参加している。11月3日の中間選挙まで議会日程が限られており、法案が提出や採決に至るかは不透明である。

■先端AIの開発企業に「注意義務」

協議中の法案は、先端AIモデルの開発企業に対し、製品の設計段階から「破滅的リスク」の防止を図る責任を負わせる構想である。交渉内容を知る上院スタッフらの説明に基づき、Reutersが9月11日に報じた。

ここでいう「注意義務」は、一般に、予見可能な危害に対して合理的な予防措置を講じることを求める法的な考え方である。具体的な責任の範囲は最終的な条文や適用法によって決まるため、現段階では、どのような場合に企業が法的責任を負うかまでは明らかになっていない。

検討対象には、悪意ある人物がAIを利用して生物兵器や核兵器の設計を進める危険などが挙げられている。Cruzは、Thune、Klobucharとともに、生物・核の脅威を含む破滅的リスクに対処する法案に取り組んでいると説明している。

■政府による公開阻止と裁判所への異議申し立て

協議中の案には、米政府が安全ではないと判断した特定のAIモデルについて、一般公開を阻止する権限を設ける構想も含まれる。企業は政府の判断に異議がある場合、連邦裁判所で争える制度が検討されている。

もっとも、どの政府機関が判断を下すのか、どのような基準で危険性を評価するのか、阻止できる期間や条件をどう設定するのかといった制度の詳細は、なお交渉中である。法案の対象も、幅広いAIサービスではなく、最も高度な能力を持つモデルに限定する方向で検討されている。

Klobucharは、AIモデルがもたらす最大のリスクを政府が監督する超党派の合意を目指しているとしたうえで、開発企業と政府の専門家が協力し、モデルの検証や試験を行う仕組みを法案に含める考えを示している。

上院商務委員会の民主党筆頭委員を務めるMaria Cantwellも、先端AIモデルについて、国立研究所の科学者や専門家が中心となって試験する必要があるとの考えを表明している。

■自主的な安全対策から連邦法による監督へ

AI企業はこれまで、安全方針の公表、モデル公開前の評価、外部専門家との協力といった自主的な取り組みを進めてきた。今回の協議は、こうした企業の自主対応だけに委ねず、最も重大なリスクに対する責任を連邦法で定めようとする動きである。

2026年6月に署名されたAIと国家安全保障に関する大統領令は、一定の先端AIモデルについて、企業が公開前に政府へアクセスを提供し、サイバーセキュリティ上の能力を評価する自主的な枠組みを設けた。参加は任意であり、AIモデルの開発や公開に政府の許可を必須とする制度ではない。

協議中の上院法案が成立すれば、政府による試験や公開への介入を、自主協力ではなく法律に基づく制度として設ける可能性がある。ただし、法案はまだ交渉段階にあり、具体的な条文は公表されていない。

■AI悪用を巡る懸念

法案協議の背景には、能力を高めるAIモデルが、サイバー攻撃や生物・核関連の危険な活動に利用される可能性への懸念がある。

Anthropicが9月10日に公表した脅威インテリジェンス報告書は、2025年12月から2026年8月までに同社が把握し、阻止したClaudeの悪用事例をまとめている。対象にはサイバー活動、監視、影響工作、詐欺、生物分野の悪用、通常兵器の開発などが含まれていた。

同社は、報告書に掲載した事例について、一般的な利用状況を示すものではなく、確認した中でも特に注目すべき新しい脅威事例だと説明している。また、関係するアカウントの停止、安全対策の強化、必要に応じた政府機関や業界関係者との情報共有を行ったとしている。

こうした事例は、モデルそのものの能力評価だけでなく、利用者の意図、アクセス管理、安全機能、異常な利用を検出する仕組みを組み合わせてリスクを管理する必要性を示している。上院で協議されている法案は、特に重大な結果につながり得る用途を対象に、開発企業と政府の責任分担を法律で定めることを目指している。

■下院でも先端AIの監督法案

下院では2026年7月23日、超党派の「FRONTIER Act」が提出された。大規模な先端AI開発企業を対象に、リスク管理の枠組み、独立監査、重大な安全インシデントの報告、継続的な評価などを求める法案である。

FRONTIER Actは、企業規模や開発するモデルに応じて義務を段階的に設定する構成を採る。今回報じられた上院案とは別の法案であり、両者の規定や法的責任の強さを正確に比較するには、上院案の条文公開を待つ必要がある。

■州のAI規制との関係も焦点

上院案には、対象となる一部の重大リスクについて、州独自のAI法の執行を制限する条項を盛り込むことも検討されている。連邦政府が全国共通の基準を設ける一方、州が独自に追加規制を実施できる範囲を狭める可能性がある。

州法に対する連邦法の優先は、米国のAI規制を巡る主要な争点の一つである。2025年には、州によるAI規制を広範に停止する条項が上院で削除された経緯がある。今回、対象を生物・核などの破滅的リスクに限定した規定がどこまで支持を得られるかは分かっていない。

California州では9月9日、AIシステムやモデルを評価する独立検証機関の枠組みと、AI監査機関の登録・独立性に関する基準を設ける二つの州法が成立した。連邦法案に州法の適用を制限する規定が入れば、こうした既存制度との関係も調整する必要がある。

■中間選挙までの議会日程が壁に

法案成立に向けた大きな障害は、11月3日の中間選挙までに残された議会日程である。Reutersによると、選挙前に下院が開会を予定している期間は1週間、上院は3週間にとどまる。

法案は現在も交渉中で、最終的な条文は公表されておらず、採決日程も決まっていない。政府に与える権限、企業が負う注意義務の範囲、州法との関係など、調整が必要な論点も残されている。

それでも、上院の超党派議員が、最も高度なAIモデルの安全対策を企業の自主的な取り組みから法的義務へ移す構想を具体的に協議していることは、米国のAI政策が新たな段階に入りつつあることを示している。

元記事: Thune, Cruz, and Klobuchar Move AI Safety From Voluntary Pledge to Legal Duty