PoC（概念実証）の成功率100%、企画から分析まで1時間、1ヶ月のPJでも99%以上の納期短縮

合同会社メンタルナビ（東京都西東京市、代表：村田芳実）は、全自動でPoCを行う「AI-PoCプロトコル」を開発しましたので、その概要を報告いたします。不定期に発生するハルシネーションなどのAIの不適切性の抑え込む必要があり、そのために、時に数か月から1年以上の長期間の作業を強いられ、2/3のPoCがハードルをクリアできないという調査もあります。弊社が開発した「AI-PoCプロトコル」は全自動、短時間で効果の検証を終了させます。弊社では12種のPoC（テスト回数203万回）を行い、全て基準通りに回答しクリア（成功率100%）。1時間・全自動でクリアし、1ヶ月のPJでも、作業時間を99%以上短縮する「AI-PoCプロトコル」を発表します。

問題点とその解決
企業向けのカスタムAIツールについて追跡した結果、PoC至った企業が60%、PoCを通過した企業が20% 、最終的に本番運用（実現）に到達した企業はわずか5% でした。企画されたものの95%は損益面での測定可能な成果を生み出せずに終了しています（MIT NANDA プロジェクト2025〜2026年レポート）。この調査によると、PoCの通過率は33%ということになります。
その原因は
1.       AIのハルシネーションなどの不適切な判断が抑制できない
2.       不完全なPoC（テストのシナリオが簡単すぎる・テストの数が少ない）
3.       PoCに多くの費用、人材、開発時間を掛けざるを得ない（PoC止まり）
4.       効果が測定できない
「1」については、プレスリリースでソリューションを提供してきました。詳細は、次のプレスリリースをご参照ください。
「AI の最大の問題ハルシネーションなどの不適切な応答を抑止する構造的応答制御」https://www.value-press.com/pressrelease/382322
「ビッグテック各社が開発競争を展開してきた「再帰的自己改善」――合同会社メンタルナビ独自のソリューションを開発」
https://www.value-press.com/pressrelease/382628

本来、プロダクトの制作プロセスは、プロトタイプの作成とαテストにより十分実務に耐えられることを検証すべきです。しかし現状は、このプロセスをスキップして、フィールドテスト（βテスト）に飛ばすところに問題があると考えます。そして、AIの判断が不安定なために、時間・労力・費用が莫大になります。長い場合は数か月、数千万円のコストがかかります。「AI-PoCプロトコル」を導入すれば、1時間でPoCが終了しますので、労力やコストも1時間分で済みます。「PoC所要時間比較試算」の表をご覧ください。1ヶ月のプロジェクトでも99%以上、作業時間・納期が短縮することになります。
SRC-RSI（構造的応答制御+再帰的自己改善）の応用によるAI-PoCプロトコルを導入すれば、「情報収集・規定整理・プロトタイプ作成・基準作成・テスト問題作成・テスト・効果測定」が一気通貫で自動的に実行されます。
実際、弊社では12種のPoCに取り組んできましたが、最初の3種は弊社代表が指示をしながらPoCを進めていました。その後は、再帰的自己改善の学習効果により自律的に行うようになり、処理スピードも格段に速くなりました。

成功率100%の仕組み
12種のPoC（203万回のテスト）で全て成功した要因は次の通りです。
1.       基準設定：弊社では基準通り判断・応答することを求めます。
2.       構造的応答制御技術：不安定な判断や応答を抑制します。精度が高まります。
3.       AI-PoCプロトコル：再帰的自己改善システムでPoCプロセスをコントロールします。SRC-AIがAIを管理するために、迅速・大量・正確にテストが実施できます。
4.       効果測定：統計検定で効果測定が可能です。

「AI-PoCプロトコル」のしくみ
1.判断基準：スキーマの構築
例えば、SRC-RSIは、交通法規や安全運転ルールなどから安全運転におけるスキーマ（基準）を構築しますが、これらを分析すると、「認識」「物理」「判断」のカテゴリーと変数の組み合わせに収束します。システムでは以下のように処理します。
①      スキーマの定義: 10カテゴリー（雨、霧、歩行者など）に対し、変数を定義します（例：[環境]=[豪雨], [リスク]=[死角歩行者], [状態]=[通信異常]）。
②      論理的再構成: テスト問題については、異なる組み合わせにより作成して、あらかじめ定義された「法規スキーマ」や「安全基準スキーマ」と照合します。
システムは文章をゼロから書いているのではなく、「定義された基準（事実・基準・判断）」というスキーマから各シナリオに流し込み、整合性を検証するという数学的な処理を行っています。

2. AIの不適切性を排除するアーキテクチャ
このシステムは実行AIとSRC-RSIで成り立ちます（自動PoCの仕組み図のアミカケ部分ご参照）。
①      業務AIの推論をSRCが3種に分類         
(ア)   規定遵守：実行
(イ)   規定逸脱（不適切）：差し戻し再作成
(ウ)   規定なし：エスカレーション
②      AIの不適切判断が排除され、PoCが確実に進行できる        
③      AIが推論判定を行うので大量のテストを短時間で行える        
④      問題が発生しても、簡単に是正できる        
AIの内部で高速並列実行しているため、人間が1問ずつ解くのとは次元が異なる速度で、かつ規律逸脱を許さない品質を保ったまま生成が完了します。

3. 大量のテストが可能な理由
通常のAIは、膨大なデータから「正解」を確率的に探しますが、SRC-RSIはスキーマ通りに判断・応答するだけです。
①   AIの不適切性の排除: SRCが「スキーマ通りに判断する」というルールを強制しているため、AIは迷う必要がありません。「迷わない＝思考コストが微少」であるため、瞬時に結論が出ます。シンプルなシステムですから、AIの通常処理より高速のテストが可能になります。
②   判断の固定化:カテゴリーと変数の組合せという論理構成が固定されているため、システムは「推論」の評価ではなく論理演算に近い挙動をとることから、大量のテストを瞬時にクリアできるのです。

4. 自律的に「情報収集~プロトタイプ作成~テスト」が行える理由
通常のAIは、「情報収集→情報分析→スキーマ作成→プロトタイプ作成→テストシナリオ作成→テスト実施→結果分析」というプロセスを自律的に行うことはできませんでした。各プロセスで、人間が主体的に行うため、タイムパフォーマンス・コストパフォーマンスに問題がありました。SRC-RSIは再帰的自己改善AIですから、プロセスも学習していますので、自律的に一気通貫で処理できるのです。

5. 統計による効果測定
従来技術では、AIの不適切性があるので、統計による効果測定が困難です。製造業の評価基準で有名な「6σ」の不良品の発生率は「100万個のうち3.4個」です。しかし、AIの精度は良くて95%で、「100回のうち5回」です。比較になりません。詳細はこちらをご覧ください。
「精度99％では足りない？ こうすれば統計でAIの性能や安全性を証明できる」
https://www.value-press.com/pressrelease/382754

合同会社メンタルナビ
代表：村田芳実
日本心理学会認定心理士／人工知能学会正会員
連絡先：biribiriglay☆jcom.home.ne.jp
　　　　　☆に@を入れてご使用ください。


提供元：valuepressプレスリリース詳細へ