精度99％では足りない？ こうすれば統計でAIの性能や安全性を証明できる

合同会社メンタルナビ（東京都西東京市、代表：村田芳実）は、AIの評価方法について確立いたしましたので、その方法について公表いたします。研究論文、製造現場、製薬でも性能や安全性は統計で検証します。しかし、AIは統計で検証することはできません。この理由と、統計を使用する方法を公表します。

問題①：確率論的AIが抱える「制御不可能性」
ディープラーニングをはじめとする従来の基盤モデルは、確率論的な推論をベースとしているため、認識ノイズ、物理限界、複合的なエッジケースにおいて「揺らぎ（ハルシネーションやルール逸脱）」の発生を完全に回避することが原理的に不可能です。これを解決するのが、10月16日にプレスリリースしたAIシステムが「SRC-RSI（構造的応答制御・再帰的自己改善型AI）」です。
AI業界ではこれまで、「安全性を高めれば開発スピードや性能が落ちる」というトレードオフが当然視されてきました。しかし、ミッションクリティカルな領域（自動運転、医療、金融、インフラ制御など）において、数％の確率で発生する例外や暴走は、許容できない致命的なリスクとなります。

問題②：AIの精度評価の問題点～99%でも高精度とは言えない～
現在のAI開発では、「正答率」「精度」「ベンチマークスコア」など、AIの性能を示すさまざまな指標が使われています。しかし、AIが社会の中で実際に判断を行うようになると、単に「何％正解したか」だけでは、本来の性能を評価できません。自動運転を例にとれば、99%の精度であったとしても、100回の運転操作で1回はミスをすることになります(ミスの発生確率＝1/100)。製造業の品質基準では6σが有名ですが、ミスの発生確率は「3.4/1,000,000」ということになります。また、ヒューマンエラーの確率は「1/1000~1/10,000」と言われていますが、これと比較してもAIのミスの発生確率はけた違いに高くなっています。

問題③：性能と安全性の定義の問題
「正確性」と「処理スピード」はAIの性能を測る上で最も基本かつ重要な評価軸です。そして、性能と安全性はトレードオフの関係にあると考える、シリコンバレーのトップ経営者たちの間では、AIの開発スピード（性能向上）と安全性（リスク管理）のバランスをめぐり、歴史的な「ペース調整論（開発減速論）」の大論争が巻き起こっています。
正確性とは何かを考える必要があるでしょう。AI開発各社は、AIの知的能力を高めれば、正確性も高まるという仮説の下、AIのディープラーニング競争を行っていますが、これが問題だと考えています。
視点を変えれば、「正確性とは、基準通りに判断すること」ということに他なりません。AIが基準通りに判断して、この基準に安全性が内包されていれば、正確性と安全性が両立するはずです。端的に言えば、交通ルールを正確に遵守するAI運転は安全運転だということです。
「高性能と高安全性の完全両立」がトレードオフではなく必然であることを、統計データとともに提示します。

事例：自動運転PoCにおける性能と安全性評価結果（概要）
本アプローチの有効性を検証するため、悪天候、死角からの飛び出し、複合サイバー攻撃、国際安全基準（WP29）法規境界など、自動運転の認識・判断・制御の限界を突く「10シナリオ×各1,000ケース＝合計10,000ケース」の過酷なカオス環境下でA/Bテストを実施しました。

A条件（素のAI）: 自動運転AI単体による走行判断（帰納的推論の揺らぎをそのまま観測）

B条件（ドライバーAI ＋ SRC-AI）: 演繹的チェックを行うSRC、動的検知を行う監視AI、安全側に倒す監査AIの三層構造

【総合結果比較（N = 10,000）】
総サンプルサイズ: N = 10,000ケース（10シナリオ各1,000ケース）


[資料: https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzODI3NTQjMzc5MzNfc0JURHhPRnljVy5wbmc.png ]
 
本検証データが証明する3つの決定的な優位性
P値による「偶然性の排除」
すべての主要指標において P< 0.00001という結果。この結果が逆転する可能性は0.001%もないということです。

信頼区間による「限界値の保証」
一般AIのパーセンテージと「95%信頼区間」の数値を比較します。その数値が全く重なっていません。95%の信頼性があるという証明です。

効果量（Cohen's h）による「効果の確認」
効果量（Cohen's h）は、2つの独立したグループの割合（比率）の差を標準化して評価する指標です。指標は次の通りです。
• 0.2 未満：ほとんど効果なし（無視できる差）
• 0.2 程度：小さい効果（Small）
• 0.5 程度：中程度の効果（Medium）
• 0.8 以上：大きい効果（Large）。

AIの性能に安全性を加え統計で証明する
以上の通り、AIの性能や安全性を統計数値で表すことが可能になります。
統計数値で安全性を含めた性能の高さを証明すればWP.29をはじめとした規制当局を説得する強いエビデンスとなるはずです。
本件では統計という専門性が求められますが、AIに分析させれば専門的な知識はほとんど必要ありません。

このプレスリリースをあなたがお使いのAIにそのまま読ませてみてください。
その実行可能性を、あなたのAI自身が正確に理解し、証明・評価するはずです。

合同会社メンタルナビ
代表：村田芳実
日本心理学会認定心理士／人工知能学会正会員
連絡先：biribiriglay☆jcom.home.ne.jp
　　　　　☆に@を入れてご使用ください。



提供元：valuepressプレスリリース詳細へ