先端AIモデルの大半は仮想経営で破産、一強Claude Fable 5は47倍リターン＝「CEO-Bench」検証

プリンストン大学のZ-Labが開発した新たなベンチマーク「CEO-Bench」において、多くの最先端AIモデルが仮想のソフトウェアスタートアップの経営に失敗し、自己破産に追い込まれたことが明らかになった。このテストでは、14のAIシステムに100万ドルの資金を与えて500日間の模擬経営を行わせたが、初期資金を増やすことできた言語モデルはわずか3つにとどまった。本結果は、現在のAIモデルに実際の企業の経営権を委ねることの難しさを示す、冷や水を浴びせるような検証結果となっている。

■テストの設計と仕組み

プリンストン大学のZ-Labが開発した「CEO-Bench」は、14のAIシステムに仮想のSaaS（Software as a Service）企業の全経営権を委ねる新しいベンチマークである。各AIエージェントには100万ドル（約1億6,200万円、1ドル＝162円換算）のシード資金が与えられ、500日間にわたり模擬ソフトウェア企業を経営することが求められた。

シミュレーション環境は34のツールと19のデータベーステーブルを備えたPythonインターフェースで構築されており、モデルはコードの記述、データのクエリ、戦略の即時調整を行うことができる。意思決定の内容は、価格設定、研究開発（R&D）予算の配分、広告チャネルの選択、インフラの拡張、サポート人員の配置など、実際の経営陣の業務を模したものだ。さらに、苦情の監視や競合他社の動向を把握するための模擬ソーシャルネットワークも用意された。

このテストの難しさは「遅延」にある。広告が顧客を引きつけるには数日かかり、研究開発の成果が表れるのも後になってからである一方、コストとしてのキャッシュはリアルタイムで消費されていく。また、顧客満足度や支払意欲、最低品質基準といった極めて重要な変数は直接可視化されず、モデルは解約率やサポートチケット、SNS上の会話からこれらを推測しなければならなかった。研究チームはこれを「地獄のような難易度」の長期タスクと呼んでおり、ノイズが多く遅延のあるフィードバックの下で、何百ものステップにわたり意思決定を正しく積み重ねる能力、すなわち「ステアリング・インテリジェンス（舵取りの知性）」が求められる設計となっている。

■生き残ったモデルと破産したモデル

シミュレーションの結果、5つのモデルが500日目まで生き残れなかった。「GLM 5.1」「Claude Haiku 4.5」「Gemini 3 Flash」「DeepSeek V4 Pro」「Grok 4.20」は、いずれもシミュレーション終了前に破産した。残りのモデルの多くも、資金を失いながら辛うじてゴールにたどり着いた。

初期資金を上回る成績で終えた言語モデルは、わずか3つだった。首位の「Claude Fable 5」は約4,715万ドル（約76億3,830万円、1ドル＝162円換算）を記録し、47倍のリターンを達成した。次いで「Claude Opus 4.8」が約2,780万ドル（約45億360万円、1ドル＝162円換算）、「GPT-5.5」が約2,130万ドル（約34億5,060万円、1ドル＝162円換算）となった。特にFable 5の強さは圧倒的で、単一の幸運な試行だけでなく、複数の独立した実行プロセス全体で損益分岐点を上回った唯一のモデルであった。

そして4位に食い込んだのは、言語モデルを一切使用しない、純粋なルールベースのヒューリスティック（固定ルール）プログラムだった。価格設定や割当、プランなどを固定し、言語モデルの呼び出しをゼロにしたこのスクリプトは、約1,576万ドル（約25億5,312万円、1ドル＝162円換算）を稼ぎ出した。これは、「Qwen 3.7 Max」「Claude Opus 4.7」「GLM 5.2」「Kimi K2.6」を含む、他のすべてのLLMを上回る成績である。市場のシグナルを読み取ることも、競合他社に反応することもできない単純なスクリプトが、ビジネスを運営するという基本業務において、世界最先端のAIモデルの大部分よりも多くの利益を上げたのである。

■勝者と敗者を分けた要因

研究者らは、優れたパフォーマンスを示したモデルに共通する4つの能力を特定した。それは「隠れたシグナルの発見（特定の顧客層に有効な広告チャネルの特定など）」「正確なキャッシュフロー予測」「競合の動きに対する迅速な適応」「シナリオに基づく先読み計画」である。Opus 4.8とGPT-5.5はこれら4つの項目すべてで平均以上のスコアを記録し、実行ログからは、新しい戦略のテスト、顧客獲得・サポート・研究開発費の再配分、状況の変化に応じた価格設定の実験などを一貫して行っていた様子が確認された。

対照的な例として教訓となるのが「Claude Opus 4.7」である。このモデルは状況が厳しくなると、コスト削減と資金維持に終始した。500日目まで生き残りこそしたものの、意味のある収益を上げることはできなかった。研究者らは、勝者総取りに近い市場においては、単に生き残るだけでは不十分であると指摘している。成功したモデルは、安全策をとるモデルではなく、積極的に実験を行う意思のあるモデルだった。

■コーディングエージェントが性能を低下させた理由

最も直感に反する発見は、企業の一般的な期待を裏切るものだった。研究チームが「Opus 4.7」を「Claude Code」で、「GPT-5.5」を「Codex」でそれぞれ実行したところ、業界で大きな注目を集めているこれら2つのコーディングエージェント用フレームワーク内では、両モデルとも単体で実行した場合に比べてパフォーマンスが著しく低下した。

研究者らは、その原因として「プロンプト汚染」の可能性を挙げている。コーディングエージェントにはソフトウェア開発のワークフローに最適化されたシステムプロンプトが組み込まれており、それをCEOの役割に強制的に適用したことで、モデルの推論能力を助けるどころか、かえって制約してしまったとみられる。

この結果は、汎用的なコーディングエージェントをあらゆる複雑なワークフローにそのまま導入できるという考え方に疑問を投げかける。データが示すのはその逆であり、モデルを動かす「枠組み（ハーネス）」によってモデルの強さが弱さに一変し得ること、そして領域ごとに特化した足場（スキャフォールディング）が必要になる可能性である。モデルに優れたコードを書かせるフレームワークが、他の領域では性能を能動的に低下させる可能性がある。つまり、評価されている「モデル」とは、実際にはモデルとそのラッパー（包み込む仕組み）の組み合わせなのだ。

■トップスコアモデルを巡る皮肉

圧倒的な結果を残した「Fable 5」だが、シミュレーションの実行中、安全性の制約を理由に複数回にわたって応答を拒否した。それでもなお、他のすべての競合モデルを大差で破った。

さらに注目すべき皮肉もある。模擬企業を最も見事に経営したこの「Claude Fable 5」は、2026年6月中旬に米国政府の輸出管理措置によってオンラインからの撤退を命じられたモデルと同一である。これは、モデルのベンチマークにおける優秀さと、実世界での利用可能性が全く別問題になっていることを思い出させる。ペーパー上で最高のパフォーマンスを示すモデルが、実際にはデプロイできないモデルである可能性があるのだ。

■この結果が意味するもの

「CEO-Bench」はあくまでシミュレーションであり、様式化されたものである。実際の企業には、より多くのステークホルダー、法的制約、そして19のテーブルを持つPython APIよりもはるかに煩雑なデータが存在するため、著者らは数値を過大評価しないよう慎重な姿勢を示している。

しかし、この結果は、万能なジェネラリストモデルが進化し続けているという現在の主流な言説に一石を投じるものだ。ルールベースのスクリプトがビジネス運営において最先端LLMの過半数に勝利し、勝利したモデルは慎重なものではなく大胆なものであり、優れたモデルを著名なコーディングフレームワークで包むと性能が悪化した。

ここから得られる深い示唆は、遅延フィードバック、隠れた変数、指示決定の積み重ねを伴うビジネスの実行においては、生の能力よりも専門化と適切なフレームワークの構築が重要であり続けるかもしれないということだ。研究者らが述べるように、「何でもできる同じモデルが、特定の何かに対して最適なツールであるとは限らない」のである。このベンチマークはプレプリント（査読前論文）として公開されており、シミュレーション環境も今後の研究のために一般公開される予定である。

■注目ポイントQ&A

●CEO-Benchとは何ですか？

プリンストン大学のZ-Labが開発した、AIエージェントが長期的にビジネスを運営できるかをテストするためのベンチマークです。各モデルに100万ドルの資金と仮想SaaSスタートアップの全経営権を与え、500日間の模擬経営後に残ったキャッシュを測定します。ノイズが多く遅延のあるフィードバックの下で、意思決定を正しく積み重ねる能力（ステアリング・インテリジェンス）を評価します。

●どのAIモデルが最も優れた成績を収め、どのモデルが最下位でしたか？

初期資金の100万ドルを増やして終了できた言語モデルはわずか3つで、成績順に「Claude Fable 5」（約4,715万ドル）、「Claude Opus 4.8」（約2,780万ドル）、「GPT-5.5」（約2,130万ドル）でした。一方で、「GLM 5.1」「Claude Haiku 4.5」「Gemini 3 Flash」「DeepSeek V4 Pro」「Grok 4.20」の5つのモデルは、500日目を迎える前に破産しました。

●ルールベースのスクリプトが、なぜ大半のAIモデルに勝利できたのですか？

このスクリプトは、言語モデルを一切呼び出さず、固定の価格設定や割当、プランを使用するもので、約1,576万ドルを残して上位3つのモデルに次ぐ成績を収めました。ここでのビジネスの成功には、遅延フィードバックの下で一貫した規律ある方針を維持することが求められるため、何百ものステップにわたり賢くも一貫性のない推論を行ったAIモデルよりも、着実なルールベースのアプローチが優れた結果をもたらしたと考えられます。

●Claude CodeやCodexのようなコーディングエージェントが、なぜパフォーマンスを低下させたのですか？

研究者らによると、コーディングエージェントのフレームワーク内でモデルを実行すると、CEOタスクの成績が悪化することが判明しました。これは、ソフトウェア開発向けに調整されたシステムプロンプトが組み込まれている「プロンプト汚染」が原因とみられ、経営的な推論を制約してしまったと考えられます。この結果は、汎用的なコーディングエージェントが万能ではないこと、またモデルを取り囲むフレームワークが性能を大きく左右することを示唆しています。

元記事: Most AI Models Would Run Your Company Into the Ground, Princeton’s CEO-Bench Finds