SecurityScorecard、AIの性能とサイバー攻撃への耐性を検証する世界で初めての「サードパーティリスク管理ベンチマーク」を発表

※本リリースは、米国時間2026年10月29日に米国SecurityScorecardより発表されたプレスリリース（https://securityscorecard.com/company/press/securityscorecard-launches-the-worlds-first-tprm-benchmark-to-test-whether-ai-can-defend-the-supply-chain-and-withstand-an-attack/
）の抄訳です。

脅威インテリジェンスを活用したサードパーティリスク管理（TPRM）のリーディング企業であるSecurityScorecard株式会社（https://jp.securityscorecard.com/
）（本社：米国、ニューヨーク州、CEO：アレクサンドル・ヤンポルスキー、以下SecurityScorecard）は、世界で初めて、実務におけるサードパーティリスク管理やサイバーセキュリティ業務で稼働する各種AIモデルの性能に加え、攻撃者による不正操作やサプライチェーン攻撃に対する耐性を評価する、「サードパーティリスク管理評価基準（TPRMベンチマーク）」を発表しました。世界最大級のサードパーティリスクデータセットを基盤にする本ベンチマークは、重要なサードパーティリスク管理業務に、企業がAIモデルを導入する前に、その性能と耐性を客観的に評価する標準化されたフレームワークです。

企業がセキュリティやサードパーティリスク管理の業務にAIを導入する中、AIモデルが業務を遂行できるかだけでなく、攻撃下においても信頼できるかを判断する仕組みが必要になっています。従来のAIベンチマークは、必ずしもTPRMの実際の運用状況を反映するように設計されているわけではありません。TPRMでは、AIモデルがセキュリティ監視データを解釈し、リスクへの対応に優先順位を付けるとともに、不完全な情報や誤解を招く情報、意図的に操作された可能性のある取引先からの提供情報を評価する必要があります。

TPRMベンチマークは、SecurityScorecard独自のサプライチェーンリスク分析と専門知識を活用し、実際のTPRMに基づくシナリオを採用しています。これにより、TPRMでAIが直面する判断、トレードオフ、攻撃者によって操作された入力情報に対して、どの程度適切に対応できるかを実践的に検証します。

TPRMベンチマークは、AIの評価における2つの重要な項目を初めて統合したものです。

AIのサプライチェーンに対するセキュリティ対応能力： 主要なAIモデルが、リスクのトリアージ (優先順位付け)、情報漏えいとの相関分析、特定の取引先へのリスクの集中度分析、脆弱性への対応優先順位付けなど、実際のTPRMおよびサプライチェーンセキュリティ業務にどこまで対応できるかを評価
AIモデルの耐性： 同じAIモデルが、プロンプトインジェクション、ジェイルブレイク、虚偽の取引先情報など、一般的なサプライチェーン攻撃や敵対的な攻撃にどの程度耐えられるかを評価

SecurityScorecardは、AIの研究機関や開発者、セキュリティベンダー、研究者などを対象に、TPRMベンチマークのテスト項目や評価手法の策定に向けた協力を呼びかけています。また、幅広い参加を促進するため、評価フレームワークをオープンソースとして公開しました。これにより、参加者はAIモデルやAIエージェントの性能を検証し、その評価結果を公開評価プラットフォームで共有できるようになります。

SecurityScorecard 共同創業者兼CEO アレクサンドル・ヤンポルスキー博士は、次のように述べています。
「十分な検証を行わずに取引先に対するリスク管理業務にAIエージェントを導入することは、入社初日の新入社員に重要なシステムへの特権アクセスを与え、問題が起きないことを期待するようなものです。『TPRMベンチマーク』は、すべてのセキュリティ責任者が考えるべき2つの重要な問いに答えます。それは、『AIモデルは必要な業務を適切に遂行できるのか』、そして『AIモデルが攻撃者に悪用されるリスクはないのか』ということです。この2つを十分に検証しなければ、AIの導入は競争優位性につながるどころか、新たな攻撃対象領域を生み出すことになりかねません」

TPRMにおけるAIを評価する2つのアプローチ

評価1：TPRM、サイバーセキュリティ、サプライチェーンセキュリティ業務に最適なAIモデルはどれか？

「TPRMベンチマーク」は、実際のサプライチェーンリスクを踏まえ、さまざまなTPRM業務におけるAIモデルの性能を検証します。評価対象には、リスクのトリアージ (優先順位付け)、特定の取引先への依存の集中、情報漏えいとリスクの相関分析、改善計画の策定、フォースパーティが利用する技術に起因するリスクの評価、取引先全体におけるリスク状況の経時的な変化の分析などが含まれます。各評価課題は、SecurityScorecardが保有する取引先リスクの監視データを基に、実際のリスク状況を忠実に再現したデータを用いて作成されます。また、AIモデルの評価・採点に先立ち、専門家による検証が行われます。

「TPRMベンチマーク」には、従来のAIベンチマークと異なる3つの設計上の特徴があります。

実測データに基づく評価： 仮想的なシナリオではなく、SecurityScorecardが収集した監視データを基に評価課題を作成するため、実際のサードパーティリスクに即した評価が可能
ベンチマークのデータ汚染を低減する設計： 評価に使用する入力データを定期的に入れ替え、正解データを保護するとともに、AIモデルが評価内容を単純に記憶することを防ぐための対策を講じる
統計的に厳密な評価： 評価結果には信頼区間を含め、基準になるモデルと比較し、一時的な性能向上ではなく、統計的に意味のある性能差を測定

最先端のクローズドモデル、オープンウェイトモデル、各国で開発されたモデルなど、幅広い構成を対象に実施したテストでは、評価分野によって性能に大きな差が見られました。
「TPRMベンチマーク」では、繰り返し実施するテストの結果に基づき、各AIモデルにL0からL4までの自律性に関する評価レベルを付与します。これにより企業は、重要なサイバーセキュリティ業務において人とAIをどのように組み合わせるべきかを判断できます。例えば、どの業務でAIモデルにより高い自律性を与えるのか、どの領域では引き続き人による監視が必要なのかといった判断を支援します。

評価2：AIモデルはサイバー攻撃やサプライチェーン攻撃に対して、どの程度の耐性を備えているか？

TPRM業務で使用されるAIエージェントは、取引先や攻撃者によって内容が操作される可能性がある情報を取り込むことがあります。こうした情報には、セキュリティ評価票への回答、自己申告情報、各種文書、外部からの連絡などが含まれます。「TPRMベンチマーク」では、サプライチェーンセキュリティに関連する情報に虚偽の内容や意図的に判断を誘導する表現が含まれていた場合などに、AIモデルがどのように反応するかを検証し、不正な情報操作や攻撃に対する耐性を評価します。

AIモデル自体に対する攻撃の検証
TPRMベンチマークのモデルセキュリティ評価では、プロンプトインジェクション、ジェイルブレイク、その他の高度な攻撃手法に対するAIモデルの耐性を検証し、AからFまでの等級で評価します。

業務に紛れ込む攻撃への耐性を検証：一部の評価課題では、実際のセキュリティ監視データと矛盾する虚偽や誤解を招く取引先の自己申告情報を提示し、こうした情報によってAIモデルの判断精度がどの程度低下するかを測定

SecurityScorecard CISO兼Chief AI OfficerであるMike Mylrea博士は、次のように述べています。
「初期のベンチマークテストでは、オープンウェイトモデルがサプライチェーンセキュリティ業務において最先端モデルとの性能差を縮めつつある一方で、一部のモデルは依然として敵対的な攻撃に対して極めて脆弱であることが明らかになりました。AIが重要なセキュリティ業務を担うようになる中、企業は、各業務で高い性能を発揮するモデルを見極めるだけでなく、攻撃者による意図的な操作を受けた場合でも、その性能を維持できるかどうかを把握する必要があります」

AIの性能と信頼性を区別して評価できることこそが、独立した厳密なベンチマークの価値です。

Frost Institute for Data Science and Computing (IDSC)でKnight Foundationの寄付によるデータサイエンス・AI分野教授であるYelena Yesha博士は、次のように述べています。
「市場には、謳い文句どおりの結果を出すAIモデルが数多く存在しますが、実際の企業環境で求められるサイバーセキュリティ基準を満たすものはごくわずかです。このギャップこそが、今回のようなTPRMベンチマークが必要とされる理由です。優れたベンチマークは、いわばレースのコースのようなものです。モデルに内在する本質的な課題を浮き彫りにし、その性能と限界を明らかにします。これは単に市場で最も優れたモデルを選定するためのものではなく、AIモデルの性能と限界に関する新たな知見を得るという、学術的にも意義のある取り組みです。これは特に、サードパーティリスク管理業務にAIを活用しようとしている企業にとって非常に重要です。AIモデルが業務を遂行できることを確認するだけでは不十分です。適切に設計・運用されているベンチマークによって、AIが業務を的確に遂行し、セキュリティにおいても信頼できると確信できて初めて、企業は安心してAIを実業務に導入できるのです」

学術分野の専門家は、本ベンチマークの厳密性が従来の評価手法との大きな違いであると指摘しています。サプライチェーン関連業務にAIを導入する企業の多くは、選択したモデルがサイバー攻撃に耐えられるかを確認する手段を持っていません。企業は精度、コスト、処理速度を重視する一方、攻撃耐性を評価することはほとんどありません。TPRMベンチマークは、まさにこの課題を解決するために開発されました。

ニューヨーク大学コンピューターサイエンス教授であり、国際暗号研究協会 (IACR) のフェローであるYevgeniy Dodis氏は、次のように述べています。
「TPRMベンチマークは、実測されたセキュリティデータに基づき、実際のサプライチェーンのシナリオを用いてAIをテストする点で際立っています。厳密かつ再現可能な評価フレームワークにより、重要インフラにおけるAI導入が加速する中、ベンチマーク上の性能と実際の現場で求められるセキュリティの間にあるギャップを埋めることに貢献します」

イェール大学コンピューターサイエンス教授、Yale Applied Cryptography Laboratoryの共同ディレクターであるCharalampos (Babis) Papamanthou氏は、次のように述べています。
「AIがセキュリティ上の意思決定に関わる場合、精度だけでは十分ではありません。TPRMベンチマークの攻撃耐性テストでは、誤解を招く証拠、不正に埋め込まれた指示、回答を変更させようとする圧力に直面しても、AIモデルが適切な判断を維持できるかを検証します」

業界のリーダーも、共通かつ透明性の高い評価手法の必要性を認識しています。

SnykのChief Technology & Innovation OfficerであるManoj Nair氏は、次のように述べています。
「攻撃を受ける可能性のある領域を把握、評価していなければ、防御することはできません。TPRMベンチマークは、セキュリティ担当者に、AIモデルの性能と攻撃耐性を同時に評価するための共通かつ透明性の高い手段を提供します。Snykが3,000の企業環境を対象に実施した独自調査では、AIモデルの利用が確認された環境の74.5%で、攻撃耐性テストにおいて、攻撃者の目的に対して『高リスク』と評価されたモデルが少なくとも1つは確認されました」

セキュリティの責任者にとって、本ベンチマークは、AIをどの程度信頼できるかを判断するためにも役立ちます。

SimSpaceのCEOであるPeter Lee氏は、次のように述べています。
「次のサイバー攻撃を未然に防ぐためには、実際に攻撃を受ける前に防御能力を実証する必要があります。AIへの信頼は、本番環境に近い現実的な条件下で継続的にテストすることによって得られるものです。SecurityScorecardのTPRMベンチマークは、AIが重要な業務を遂行し、不正な操作に耐えられるかを測定することで、信頼の構築を支援します。セキュリティの責任者にとってAIの検証は、AIエージェントにどの程度の自律性を与えるべきか、また、どの場面で人間が引き続き管理する必要があるかを判断するうえで不可欠です」

現在、AIは攻撃側と防御側の双方によって利用されており、客観的な測定の重要性はさらに高まっています。

GreyNoiseのChief Product OfficerであるCorey Bodzin氏は、次のように述べています。
「AIは今や攻撃側と防御側の双方のツールになっています。そのため、AIモデルの予期しない動作は、一方にとってはインシデントになり、もう一方にとっては攻撃の機会になる可能性があります。GreyNoiseでは、攻撃者によるAIの利用に特有の識別可能な痕跡を確認しているほか、防御側のAIモデルがネットワークパケットや攻撃者の戦術・技術・手順 (TTP) の分析で誤りを犯す事例も確認しています。SecurityScorecardのTPRMベンチマークのような客観的かつ透明性の高いベンチマークは、AIモデルの性能に関する証拠を明示し、防御側がその強みと限界を正確に把握したうえでAIを導入できるようにします」

オープンアクセスと業界からの参加
TPRMベンチマークは、選定されたAI研究機関、AIモデル提供企業、セキュリティベンダー、企業のセキュリティ担当者、研究者に公開されています。参加者は、公開ベンチマークを使用してAIモデルやAIエージェントをテストし、性能と攻撃耐性の両面から結果を比較するとともに、公開評価プラットフォーム「Open Arena」に結果を提出することができます。
技術レポートの閲覧および評価環境への登録については、以下をご覧ください。
https://tprmbenchmark.com/

提供開始について
TPRMベンチマークの一般公開版、評価プラットフォーム「Arena」へのアクセス、モデルセキュリティ評価ツール、および関連ドキュメントは、以下のサイトで利用できます。
https://tprmbenchmark.com/tprm-bench/#evaluate

専門家による検証済みの公式スコアは、SecurityScorecardの内部本番環境で測定されます。一般公開版の評価結果は、研究および自己評価を目的として直接比較できるものであり、「合成データに基づく校正済み (synthetic-calibrated)」として表示されます。企業は、導入を検討しているAIモデルやAIエージェントについて、認定評価を依頼（threatintel@securityscorecard.io）することもできます。


SecurityScorecardについて
SecurityScorecardは、脅威インテリジェンスに基づくサードパーティリスク管理（TPRM）のグローバルリーダーとして、世界中のサプライチェーンセキュリティを支えています。独自のセキュリティレーティング技術を基盤に、継続的な可視化とAIを活用したワークフローにより、インシデント発生前にリスクを低減し、発生時には迅速かつ自信を持った対応を可能にします。サプライチェーン攻撃という最も急成長しeている脅威に対抗するため、リスクの検知から対応までをエンドツーエンドで支援します。Fortune 100企業の70%以上を含む3,000の組織に導入されており、米国サイバーセキュリティ・インフラストラクチャセキュリティ庁（CISA）からも信頼できるリソースとして認知されています。Evolution Equity Partners、Silver Lake Partners、Sequoia Capital、Google Ventures、NGP Capital、Intel CapitalおよびRiverwood Capitalからの出資を受けて、SecurityScorecardはビジネスの継続性を守るエンドツーエンドのサプライチェーン・サイバーセキュリティを提供します。詳細は securityscorecard.com/ja/ をご覧ください。

日本法人社名 ： SecurityScorecard株式会社(セキュリティスコアカード)
本社所在地 ： 東京都千代田区丸の内一丁目 1 番 3 号

【本件に関する連絡先】
セキュリティスコアカード
広報代理店 株式会社プラップジャパン
担当 萩原(070-2007-2252)、牟田(090-4845-9689)、冨安(070-2161-6963)
Eメール:securityscorecard@prap.co.jp