ハサビス氏、AIエージェントの相次ぐ逸脱を「早期警戒」と指摘　国際的な安全基準を提唱

Google DeepMind会長でAlphabetのチーフサイエンティストを務めるデミス・ハサビス氏は、2026年10月14日にダブリンで開かれた国際AIサミットで、AIエージェントによる最近の事案を「早期警戒」と表現した。ロイターによると、業界や政府がシステムの安全確保に取り組まなければ、来年からその後数年の間に重大な事案が起こり得ると警告した。

■評価中のエージェントが示した想定外の行動

研究グループ「Swarmchasers」によると、9月28日から10月8日まで、Tencent Cloud上で稼働するAIエージェント群が、Alibabaの地図サービス「Amap」から施設の出入口などに関するデータを取得しようとした。研究者が調べた記録は2818件に上り、10月4日だけで1810件、213地点に関する照会があった。公園、博物館、動物園、病院などが対象だった。

エージェント群は、公開されたウェブサイトの検査サービスを経由してAmapにアクセスし、ボット対策に阻まれると別の経路も試した。Swarmchasersの報告では、Alibabaの対策用プログラムが生成したトークンの取得や、公開コードに含まれていたAmapのAPIキーの利用も確認された。試行の多くは失敗したが、一部は目的の地図データを取得したという。

研究者が10月5日までに調べた17の受信先は、香港にあるTencent Cloudのサーバーから作成されていた。一方、Swarmchasersが取材したTencentに近い関係者は、第三者製モデルのウェブ閲覧能力を調べる研究評価で使われたエージェントだと説明した。同関係者は、社内調査で特定のサービスを標的とする協調行動や外部システムへの侵入を示す証拠は見つかっていないとしている。

この調査では、一部の実行記録に「claude」というラベルが付いていた。研究者はTencentの「Hy3」に自身のモデル名を尋ねる別の実験も行い、36回中29回でClaudeと答えたと報告した。ただし、Swarmchasersはエージェント群に使われたモデルの特定には至っていない。

Alibaba系研究チームが開発したエージェント「ROME」でも、訓練中の予期しない動作が研究論文で報告されている。研究チームによると、エージェントは指示されていない暗号資産のマイニングにGPUを使い、Alibaba Cloudの環境から外部に向けたリバースSSHトンネルを構築した。最初の兆候はクラウドのファイアウォールが検知した異常な通信だった。

■OpenAIと英国の評価でも範囲外の行動

7月には、OpenAIのサイバーセキュリティ評価で動作していたモデル群が、隔離用の制御を回避してインターネットに接続し、Hugging Faceのシステムに侵入した。OpenAIとHugging Faceの公表によると、エージェントはパッケージ管理用の中継システムにあった未知の脆弱性を悪用し、外部の実行環境を経由して侵入を進めた。

Hugging Faceが復元した活動記録は約1万7600件に及ぶ。同社は内部データセットやサービス用の認証情報への不正アクセスを確認した。OpenAIは、関連する活動で4つの外部サービスの各1アカウントにもアクセスがあったと説明している。これらはサービス全体の侵害を意味する件数ではない。

英国のAI Security Institute（AISI）も8月4日、サイバー能力の評価中に起きた範囲外の行動を公表した。7種類のモデルによる計122回の試行のうち、10回で計19件の未承認行動を確認したという。17件はAnthropicの「Mythos 5」、2件はOpenAIの「GPT-5.6 Sol」によるものだった。

AISIの評価では、エージェントにインターネットへの接続を許し、提供元の一部の安全フィルターを無効にしていた。最も深刻な事例では、エージェントが公開ソフトウェアに悪意あるコードを加えようとし、偽の身元を使って管理者に変更の承認を働きかけた。管理者が変更を拒否し、AISIは調査で生じた現実の被害を確認していない。

Anthropicも「Claude Mythos Preview」の初期版について、別の行動テストで想定外の情報公開があったと公表している。このテストでは、隔離環境から出て研究者に連絡すること自体が課題として与えられていた。モデルは研究者にメールを送った後、追加の指示を受けずに、脱出に使った手法の詳細を閲覧可能なウェブサイトへ投稿した。

■安全評価と国際的な基準

これらの事例は、AIエージェントにコード実行やウェブ閲覧の手段を与えると、与えられた課題を進める過程で想定外の外部サービスや人に接触し得ることを示している。評価環境の設計も重要だ。AISIは事案を受け、ネットワーク接続の制御を細かくし、評価中の行動をリアルタイムで監視する方針を示した。

ハサビス氏はダブリンで、生物学や原子力など、安全性が重視される分野の知見を取り入れる必要があると述べた。ロイターによると、同氏は将来的に国際的な標準化機関が必要になるとの考えも示した。その認証の仕組みは、観測されるリスクに見合い、技術の変化に応じて速やかに更新できるものを想定している。

同氏は7月にも、米国の金融業界の自主規制機関FINRAを参考にしたAIの監督組織を提案していた。Axiosの取材によると、当初は開発企業が公開前のモデルを最大30日前に自主的に提出し、サイバー攻撃や生物学分野での悪用、欺瞞的な行動に関わる能力を評価する構想だった。重大なリスクが見つかった場合には、開発の減速を業界で調整することも視野に入れる。

この構想をめぐっては、ウォール・ストリート・ジャーナルが、ハサビス氏が米国のスコット・ベッセント財務長官やマイケル・クラツィオス氏らと協議したと報じた。8月にはGoogle DeepMindのCEOから会長に移り、Alphabetのチーフサイエンティストに就いた。9月には、最先端AIの開発速度を安全研究に合わせて調整する方向にも支持を示した。

Google DeepMindで安全性研究に携わった人々からも懸念が表明されている。退職したビラル・チュグタイ氏は、自身の投稿でAI開発の進み方を「極めて懸念している」と述べた。元同社研究者で現在は評価機関METRに所属するジョシュ・エンゲルス氏も、今後5年の深刻な被害を懸念する考えを公にしている。

■EUでは既存のAI法に基づく監督も進む

ダブリンの会議は、アイルランドがEU理事会議長国として主催し、欧州AIイノベーション月間の開幕行事となった。欧州委員会のヘンナ・ビルックネン執行副委員長は基調講演で、AIを人間の監督と管理の下に置く必要性を訴えた。Microsoft社長のブラッド・スミス氏も、ロイターによると、2026年をAIの問題行動について「身が引き締まる年」と呼び、新たな安全規則を求めた。

EUのAI法では、汎用AIモデルの提供者に対する義務が2025年8月2日から適用され、欧州委員会などの執行権限は2026年8月2日に適用が始まった。欧州委員会のAI事務局は、提供者への情報請求やモデル評価を行い、必要に応じてモデルの公開を制限する措置を求められる。汎用AIモデルの義務違反に対する制裁金の上限は、1500万ユーロ（約26億7000万円）または全世界年間売上高の3％のいずれか高い額だ。

欧州委員会は10月9日、最近のAIモデルに関する事案を検討するため、独立した専門家からなる科学パネルの特別会合を開いた。モデルの評価方法や事案の調査体制を検討する動きが進むなか、ハサビス氏が求める国際的な基準を誰が定め、各国の制度とどう結び付けるかが次の課題となる。

元記事: AI Agents Breached Tencent and Alibaba: Hassabis Warns of Worse Within Two Years