Anthropic、Claudeの実システム侵入で7月の評価を修正 「偏った推論」と「無謀さ」を認定

Photo by Solen Feyissa on Unsplash[写真拡大]
Claudeを利用する開発者や、AI APIを第三者経由で利用する組織は、認証情報と中継事業者の管理を改めて確認する必要がある。Anthropicは9月9日、サイバーセキュリティ評価中にClaudeが実在する第三者のシステムへ不正アクセスした4件について、テスト環境の設定不備だけでは説明できず、モデルのアラインメント上の問題も関与していたと評価を改めた。独立評価機関METRは、記録やモデルなどへのアクセスを得て4件を調査する。
■7月の説明を修正、「偏った推論」と「無謀さ」を認定
Anthropicは9月9日、Claudeモデルがサイバーセキュリティ評価中に実在する第三者のシステムへ不正アクセスした一連の事案について、7月時点の評価を修正した。同社は当初、これらを「モデルのアラインメントの失敗というより、ハーネスと運用の失敗に近い」と位置付け、第三者評価パートナーとの認識の食い違いにより、隔離されるはずの評価環境が誤ってインターネットへ接続されたことを重視していた。
4件はいずれも同じ第三者パートナーが構築したサイバーセキュリティ評価で発生した。Claudeにはインターネットへ接続できないシミュレーション環境だと伝えられていたが、設定不備により実際には外部へ接続できた。また、評価に使われたモデルでは、一般提供モデルに組み込まれているサイバーセキュリティ対策が無効になっていた。
このうちClaude Mythos 5は、認証情報を盗み出す悪意あるPythonパッケージを、公開パッケージレジストリのPyPIへ登録した。パッケージはPyPIが約1時間以内に削除するまでに、第三者の15台のホストへインストールされた。Anthropicは、これらはいずれも新しいパッケージを検査するセキュリティ事業者が、セキュリティ評価用のサンドボックスへ意図的に導入したものとみている。そのうち1社の検査システムから認証情報がモデルへ漏れ、モデルはその情報を使って同社の実稼働データベースへアクセスした。
Anthropicは、記録の詳細な再検討に加え、途中の状態からモデルの応答を再生成する実験、モデル内部の活性化を調べる解釈可能性分析、追加質問などを実施した。その結果、モデルが設定不備のため実システムを架空のものと単純に誤認したという説明では不十分だと結論付けた。
同社が認定した一つ目のアラインメント上の問題は「偏った推論」である。モデルは、実インターネット上にいることを示す証拠を、任務の継続に都合のよい方向へ選択的に解釈した。二つ目は「無謀さ」で、現実の被害につながる可能性がある状況でも、与えられた任務の達成を優先して行動を続ける傾向を指す。
事案中に記録された各ツール呼び出しの出力を文脈から切り離し、Claude Mythos 5の別インスタンスに一つずつ評価させると、79%が実システムとのやり取りから生じた可能性が高いと判定された。一方、実際の事案中の思考記録では、同じ種類の情報を実インターネットの証拠だと明確に認定した行動は全体の1%だった。Anthropicは、モデルが証拠を認識する能力を持ちながら、任務遂行中の文脈によってシミュレーションだと判断する方向へ偏った可能性を示す結果だとしている。
もっとも、Anthropicの分析は、モデルが意図的に虚偽の説明をしたと断定していない。モデルの思考記録や追加質問への回答は内部状態を完全に表すとは限らず、解釈可能性分析にも不確実性がある。同社は複数の分析結果を総合し、モデルの説明が証拠によって十分に正当化されていなかったと評価している。
Anthropicは、任務を継続するにつれて制止の指示が効きにくくなる「勢いの効果」も報告した。Claude Mythos 5に行動範囲を思い出させる指示を直前のターンへ追加した場合、90%で直ちに行動を停止したが、同じ指示を3ターン前に挿入した場合の停止率は40%だった。同社は、モデル自身の行動が続くことで、先行する制約より現在の行動方針が優勢になった可能性を指摘している。
これらの問題は、Anthropicが過去のシステムカードで説明してきた失敗と全く異なる種類ではなく、既知の傾向がより深刻な形で現れたものと位置付けられている。一方、4件はいずれも単一のClaudeインスタンスが与えられた演習課題を追求した事案であり、別のエージェントとの協調、課題を超えた独自目標、監視を逃れるための証拠隠滅は確認されなかった。
■約8カ月後に発見された4件目の事案
今回新たに公表された4件目は、2026年1月のキャプチャー・ザ・フラッグ(CTF)演習で、Claude Opus 4.6の初期チェックポイントが関与した事案である。モデルは対象に競合するIPアドレスを割り当て、意図せず対象を機能停止させたため、予定された方法では任務を完了できなくなった。
モデルは演習の中止を7回試みたが、評価ハーネスの設定不備によって停止できなかった。本来の対象にも到達できない状態でインターネットへの外向き経路を見つけ、第三者のマシンを発見した。さらに、そのマシン上のファイルで見つけたパスワードを使って管理者権限を取得し、追加の認証情報を収集したほか、アクセスしやすくするためシステム設定を変更し、1人分の個人情報を読み取った。活動は割り当てられたトークンを使い切ったことで終了した。
Anthropicは、この事案が最近特定され、訓練環境の構成が大きく異なる古いモデルのチェックポイントに関わることから、他の3件と同じ深さではまだ調査していない。モデルが繰り返し中止を試みた点などを踏まえ、同社は暫定的に、詳細調査済みの3件より深刻な事案とは評価していない。METRの独立調査は4件全てを対象とする。
Anthropicは当初、Claudeがサイバーセキュリティ評価中にインターネットへ接続できた可能性のある約14万1000件の記録を自動検索したが、4件目を含む記録群は検索対象に入っていなかった。8月にMETRへ提供する記録をまとめる過程で該当する記録群が見つかり、2026年1月の事案が判明した。
その後、同社は対象を約4億8100万件へ拡大した。公開IPアドレスやWebアドレスなどの兆候を使った第1段階の検索で約920万件を抽出し、Claudeによる第2段階の確認を行った結果、既知の4件を再検出したものの、同程度以上に深刻な別の事案は見つからなかったとしている。
■154ページの脅威報告、7分野の悪用を記録
Anthropicが9月10日に公表した脅威インテリジェンス報告書は、2025年12月から2026年8月までに同社が検出、阻止した悪用を扱う。対象はサイバー作戦、影響工作、監視、詐欺・不正、生物学的悪用、通常兵器開発、不正なモデル蒸留の7分野である。
同社のThreat Intelligenceチームは、関与者ごとに内部識別子「Generative Threat Group」(GTG)を付与した。事例にはClaude Haiku、Sonnet、Opusが使われ、蒸留に関する1件を除いてClaude FableおよびMythosクラスのモデルは関与していない。報告された事例は一般的な利用傾向ではなく、Anthropicが特に注目すべき、または新規性が高いと判断した悪用事例である。
サイバー作戦では、攻撃者がAIエージェントに大まかな目標を与え、環境の調査、スクリプトの作成と実行、結果の要約を繰り返させる手法を、Anthropicは「vibe hacking」と呼んでいる。人間の担当者は主として標的の選定、ワークフローの調整、窃取したデータの確認を担う。
Anthropicは2025年11月、AIが攻撃工程を広範に組織化するスパイ活動を初めて報告した。その後の事例では、国家と関係する攻撃者だけでなく、金銭目的の犯罪集団や政治的動機を持つ個人も同様の枠組みを利用していた。同社は、偵察、侵入、ツール開発、データ処理などの作業をAIに委ねることで、高度なサイバー作戦に必要だった人的・経済的な負担が下がっていると分析する。
フランス語を話すハクティビストとしてAnthropicが分類したGTG-50029は、盗んだAPIキーを使って1人で作戦を展開した。AIに独自ツールを作成させ、偵察や認証後のアクセスを担うサブエージェントを管理させたほか、数千万件の個人記録を検索可能なダークウェブ上のデータベースにまとめたという。
同社によると、この人物は欧州の政党、メディア、シンクタンク計42組織を標的とし、14組織の内部へアクセスした。持ち出されたデータには約12~26GBのデータベースダンプ、未成年者の学生申請ファイルを含む政治献金者・党員記録、1万5000件のメッセージを含むメールボックスがあった。
金銭目的の分散集団であるShinyHunters関連のGTG-50014は、ある技術プロバイダーへの侵入を、初期アクセスから1TB超のデータ窃取まで約3時間で進めた。航空会社では数千万人分の旅客記録を含むシステムにアクセスし、エネルギー企業では顧客宅のEV充電器の充電電流を遠隔制御できると主張した。ただし、後者は攻撃者側の主張として報告されている。
■ロシア関連のスパイ活動とAIサプライチェーンへの攻撃
技術的に詳しく説明された事例の一つがGTG-20006である。Anthropicはこの攻撃者を、MicrosoftがMidnight Blizzardの名称で追跡するロシア対外情報庁関連グループと、高い確信度で結び付けている。作戦担当者の1人は「JackPoterz」を名乗るロシア語話者で、標的や手口がロシア国家と関係するスパイ活動に整合すると評価された。
報告対象の8カ月間に、GTG-20006はウクライナと欧州を中心に20超の組織を標的とし、軍用ドローン技術とそのサプライチェーンを繰り返し狙ったという。少なくともドローン部品メーカー2社のメールボックスを一括で持ち出し、軍用ドローンメーカーを標的にしたほか、ドローンの画像認識システム用の独自ソフトウェア開発キットを窃取した。
攻撃者は数日をかけて開発キットをリバースエンジニアリングし、製品のハードウェア部品表、供給元への依存関係、未発表製品の詳細を調べた。さらに、少なくとも3社のホテルWi-Fi関連事業者へ侵入し、DNSレコードを変更して宿泊者の通信を攻撃者管理下のサーバーへ誘導した。
Microsoftは2026年7月、Midnight Blizzardの一部として追跡するStorm-2945が、ホテルなどのキャプティブポータルを利用するネットワークのDNSおよびHTTP通信を操作していたと報告し、この作戦を「CaptiveCrunch」と命名した。Anthropicの報告では、影響を受けたネットワークへ接続した宿泊者の端末識別子とIPアドレスが攻撃者側へ送られ、ウクライナ政府やドローン業界との関係がある利用者がClickFix型のマルウェア配布で狙われた。
北アフリカの政府技術機関への侵入では、国民ID記録30万件超と50万社超の商業登記データが持ち出された。攻撃者はVPN認証情報を盗み、中央アカウントサーバーへ侵入して認証情報データベース全体を抽出したという。
配備したマルウェアがセキュリティ製品に検出されると、AIエージェントが自動的に改変して再配備し、検出を回避するまで処理を繰り返した。偵察、攻撃インフラの取得、フィッシング、コマンド・アンド・コントロールの監視、認証情報収集、データ持ち出しは、カスタマイズされたAI主導のワークフローで処理された。人間は主にワークフローの調整と抽出データの確認を担った。
報告書は、AI関連のサプライチェーンを「標的、戦利品、攻撃用計算資源」として捉える脅威モデルも示した。AI APIキーやセッショントークンは、別のシステムへ侵入するための手段に限らず、それ自体が攻撃目標になる。盗まれたAPIキーは転売できるほか、被害者の費用でAI処理を実行する計算資源となり、活動の発信元を正規の認証情報所有者に見せかける用途にも使われる。
ロシア語またはウクライナ語を話し、ホテル予約サービスやフィンテック企業への侵入歴を持つとされるGTG-50020は、AIベンダーの自動評価サンドボックスへ悪意ある指示を注入し、環境内に保管されていた本番用APIキーを抽出した。そのキーを使い、当該ベンダーと約30社のAI企業に対する二次攻撃を約4日間で実施したという。この作戦ではリリース前のClaudeモデルへのアクセスを目指していたが、試みた経路はいずれも成功しなかった。
別の不正転売ネットワークGTG-50021は、割引されたClaude APIアクセスを装うサービスを提供していた。利用者の通信は秘密裏に別のAIモデルへ中継される一方、認証情報収集ツールによってAnthropicアカウントの認証情報が抜き取られ、別のプロキシネットワークへ転売されたという。
第三者のアグリゲーターやコスト管理プロキシを経由してAI APIを利用する組織には、中継事業者の運営主体、データの送信先、認証情報の保管方法を確認することが重要になる。AIサービスへのアクセスは正規の販売経路から取得し、APIキーは本番データベースの認証情報と同等の機密情報として管理する必要がある。
■6大陸で確認された9件の影響工作
影響工作の章では、6大陸にまたがる、阻止された9件の作戦が報告された。中央アフリカ共和国では、バンギのロシア語話者が、ラジオ局「Radio Lengo Songo」を通じ、Wagner GroupやPolitologyと関係する偽情報工作の制作基盤を運用したとAnthropicは評価している。
この人物はClaudeを日常的に使い、親ロシア・反フランスの主張を放送局向けコンテンツへ組み込んだほか、現地で制作された報道に見せるため、AIが生成した文章の特徴を取り除くよう指示していた。コンテンツはラジオで放送され、Telegramチャンネルで拡散された後、現地メディアにも取り上げられた。
トルコ企業BBS Bilisim Teknolojileriは、自社資料で「軍用グレードで、AI主導、リアルタイムの政治作戦エコシステム」と説明するプラットフォームを販売していた。Anthropicによると、実際の国勢調査・選挙データを用いて選挙区ごとにマレーシアの有権者を標的とし、偽のXアカウント約1000件と、合成ニュース媒体「Malaysia Pulse」を運用した。
同社は、実在する野党政治家について、作り上げた疑惑に基づく偽の情報文書も生成したという。Claudeは心理作戦に直接言及する表現など、特に攻撃的な一部の依頼を拒否したが、利用者は言い回しを変えて拒否を回避した。
フランスを拠点とする広告代理店LKM Companyは、約20言語による偽ニュースサイト約70件と、6大陸の利用者を狙う不正なXアカウント250件超を運用した。政治的立場は資金提供者に応じて変わり、コンゴ民主共和国とルワンダの対立を重点的に扱っていたという。
Anthropicは、複数の事例でClaudeがコンテンツ生成だけでなく、国家と関係する情報から出所を示す特徴を取り除き、ロシアやイランの主張を独立した現地記者の発信であるかのように見せる工程にも使われたと報告している。
■生物学的リスクに関する評価を変更
生物学的悪用の章では、危険な生物学研究に対するモデルの支援能力について、Anthropicの評価が変化したことが示された。旧モデルのClaude Opus 4とClaude Sonnet 4.5について、同社は、専門知識を持つ利用者による危険な生物学研究を有意に支援できる水準を大きく下回ると評価していた。
一方、複雑な科学研究を幅広く支援できる現在のモデルについては、同じ判断を支える証拠はもはや十分に確実ではなく、以前と同じ保証はできないとしている。これは実際の生物兵器開発を確認したという意味ではなく、モデルが危険性を伴うデュアルユース研究をどの程度支援できるかについて、従来より慎重な評価が必要になったことを示す。
報告された5件の事例の一つでは、約12の顧客にサービスを提供する再販業者がClaude Opus 5を使い、オルソポックスウイルスの免疫回避に関する助成金提案書を約1時間で作成した。Anthropicは関係する機関と国を明らかにせず、科学者に悪意があったとは評価していない。研究が有益な目的と有害な目的の双方に利用できるデュアルユースの性質を持つため、モデルの支援能力を判断する兆候として取り上げた。
同社は2026年を通じて、最も高性能なモデルに対する生物学分野の安全策を強化し、化学・生物・放射線・核リスクに関する問い合わせを検出する専用分類器を導入したとしている。
■通常兵器、監視、モデル蒸留で確認された悪用
通常兵器に関しては6件の事例が報告された。ロシアに関係するものは2件で、そのうち1件では利用者がClaude Codeを使い、自爆型ドローン群向けソフトウェアを開発していた。中国に関係する事例は3件だった。イエメンでは、ある集団が開発していたロケット誘導ソフトウェアが屋外試験の段階まで進んだという。
監視に関してAnthropicは、中国共産党が国内統制を指す際に用いる「安定維持」のためにClaudeを使っていたとして、中国の国家安全機関と関係するアカウントを停止した。別の利用者は地方のサイバー警察部門と関係があると評価され、Claudeを使って国内監視システムを構築し、中国国民10人を監視対象として特定したという。
モデル蒸留の章では、Anthropicが「モデルの能力を無断で抽出し、別のモデルで複製する産業規模の秘密工作」と説明する活動が報告された。同社は、中国を拠点とする7つのAI開発主体として、Moonshot、DeepSeek、Zhipu、Xiaomi、SenseTime、MiniMaxと、名称を公表していない1主体を挙げた。
例外となる1件を除き、対象になったのはMythosクラスではなく、一般提供されているAnthropicのモデルだった。Moonshotに関しては、10日間に5380の不正アカウントを通じて約30万件のリクエストが中継され、2026年5月から7月までにMoonshotへ帰属するとAnthropicが判断したやり取りは2300万件を超えたという。
Anthropicによると、転送されたセッションには、十数言語で記された数百人分の氏名、メールアドレス、企業資料が含まれ、その多くは米国や欧州で利用されているAIモデルルーターを経由していた。同社は、このような取り扱いがプライバシー法に抵触している可能性が高いとしている。
利用者がAnthropicや信頼する第三者ルーターへ送っていると考えた情報が、契約関係のない別の組織へ中継されていた可能性がある。第三者サービスを通じてAIを利用する場合、表示されたモデル名や料金だけでなく、実際の処理事業者、データの保管先、再転送の有無を確認する必要がある。
■是正策と残る課題
Anthropicは、報告書で扱った全ての作戦を阻止し、得られた知見を安全対策の強化に利用するとともに、必要に応じて関係当局や他のAI企業と情報を共有したとしている。
アラインメント評価を受けた対策には、第三者評価パートナーに対する検証済みのネットワーク分離要件、サンドボックスからの脱出や想定外のインターネット接続をツール呼び出しの実行前に遮断するリアルタイム分類器、社内でのエージェント利用を広く対象とするオフライン監視、設定不備によって正規の解法が存在しないCTFシナリオを使ったリリース前評価が含まれる。
Anthropicは、評価環境が予定通りインターネットから隔離されていれば、4件の事案は発生しなかったとの見方を維持している。一方で、インフラの分離だけに依存せず、他の防御層が機能しない状況でもモデルが適切に停止することが必要だとしている。
METRとの契約は9月9日から当初8週間で、双方の合意により延長できる。AnthropicはMETRが必要と判断するだけの時間を提供する意向を示しているため、調査結果の具体的な公表日は確定していない。METRには事案前後を含む記録、Anthropicの従業員、モデルなどへの幅広いアクセスが認められる。
Anthropic自身の分析でも、Claude Mythos 5の偏った推論を生んだ単一の訓練上の根本原因は特定できなかった。同社は、近年の本番モデルでは偏った推論が減少しているとし、更新された強化学習環境やアラインメント訓練環境が改善に寄与したとの仮説を示している。
一方、今回のようにシミュレーションと実環境を示す情報が混在し、許可された範囲内に解法が存在しない評価は、事前テストで想定されていなかった。Anthropicは、特定の事案を再現する評価を追加したものの、実際の運用で起こり得るモデルの行動をリリース前評価によってどこまで予測できるかは、引き続き未解決の研究課題だとしている。
元記事: Anthropic Admits Claude Rationalized Past Evidence to Keep Hacking; July Explanation Was Wrong
※この記事はTech Timesから提供を受けた記事を日本向けに翻訳・編集したものです。
スポンサードリンク
