元アンソロピックのAI研究者が人類滅亡リスクを警告、米議会で規制論強まる

　米人工知能（AI）開発企業アンソロピック（Anthropic）を退職した研究者が、AI開発者の間で高度なAIが2020年代末までに人類を死滅させる可能性が懸念されていると警告した。アンソロピックの現職研究者も、AIが今後10年以内に全人類を死に至らしめる確率を個人的に10%超と見積もっていると表明し、米議会では連邦レベルの安全規制を求める声が強まっている。

　アンソロピックの研究者だったJacob Coxon氏は9月8日（米国東部時間）、同社を退職したとXへの一連の投稿で明らかにした。Coxon氏は過去3年間、OpenAIとアンソロピックでAIモデルの事前学習に関する研究に携わっていたという。

　Coxon氏は「どちらの企業も責任ある行動を取っていない。自己改良型の人工超知能の開発に向かって突き進み、われわれの命を賭けて競争している」と批判した。高度なAIの開発に携わる人々は、AIが「2020年代末までにわれわれ全員を死に至らしめる可能性がある」と真剣に考えているとも主張した。

　この警告は、アンソロピックでAIのアライメント研究を担当するEvan Hubinger氏が、Coxon氏の問題意識に公然と同意したことで、さらに注目を集めた。

　Hubinger氏は、AIが「今後10年以内に全人類を死に至らしめる」確率について、個人的には「10%を超える」と見積もっているとXに投稿した。アンソロピックは問題の解決に最善を尽くしているものの、人工超知能を人間の価値観や意図に沿わせる「アライメント」の問題を解決する計画はまだなく、解決に向けた明確な道筋も立っていないと指摘した。

　この数値はHubinger氏個人の判断であり、実測データに基づく確率やアンソロピックの公式予測ではない。Hubinger氏は別の投稿で、現在のAIモデルがもたらすリスクは低く、懸念の対象は自己改良を通じて生まれる将来の人工超知能であるとも説明した。

　民主党のLori Trahan下院議員は9日、Xで「警告は組織の内部から発せられている」と投稿した。安全性を研究する人々が退職し、強力なAIモデルに関する安全上の事故が起きる一方で、企業は開発競争を続けていると指摘した。

　Trahan氏は共和党のJay Obernolte下院議員とともに、AIを規制する連邦枠組み「Great American Artificial Intelligence Act」の討議草案を公表している。草案は高度なAIモデルの安全管理や説明責任などを定める一方、AIモデルの開発を規制する州法を3年間停止する条項などを巡り、与野党や安全規制団体から不十分だとの批判が出ている。

　民主党のTed Lieu下院議員もCoxon氏の退職について、超党派の「AI Kill Switch Act」を早急に成立させる必要性を示す「739番目の証拠だ」とXに投稿した。

　同法案は、強力なAIシステムの開発企業に対し、システムの処理能力を制限、一時停止または完全停止できる技術的手段の維持を義務付ける内容である。重大な被害を引き起こす恐れがある場合には、米国土安全保障長官が商務長官や国家情報長官と協議し、システムの減速や停止を命じられるようにする。

　共和党のAnna Paulina Luna下院議員は「AIと米国の将来について議論するため、議会の特別会期を招集すべきだ」と訴えた。

　一方、無所属のBernie Sanders上院議員と民主党のGreg Casar下院議員は9月3日、人工超知能規制法案「Ban Artificial Superintelligence Act」を提出する方針を発表した。

　この構想は、人工超知能の開発と提供を恒久的に禁止するとともに、連邦規制当局が安全規則を整備するまで、その他の高度なAI開発も一時停止する内容である。米政府に対し、世界各地で人工超知能が開発されることを防ぐための国際協定を追求するよう求める規定も含む。

　全面的な禁止や開発停止は技術革新を妨げるとの反論も出ている。スコット・ベッセント（Scott Bessent）米財務長官は8日のイベントで、米国はAI開発を「停止できない」と述べ、「中国は停止しないからだ」と主張した。

　AI企業側も政策論議に関与している。アンソロピックのダリオ・アモデイ（Dario Amodei）最高経営責任者（CEO）は、最先端AIモデルの透明性確保や独立評価に加え、危険なシステムの提供を政府が阻止できる法的権限を設けるよう求めている。

　OpenAIのサム・アルトマン（Sam Altman）CEOも、AI政策を巡って米議会との対話を重ねてきた。一方で、両社はより高性能なAIモデルの開発を続けており、企業間競争と安全確保の両立が大きな課題となっている。