AI評価の「飽和」に挑む新指標「Relay-Bench」登場、GPT-5.5の異領域推論は43%にとどまる
2026年7月23日 15:51
OpenAIのフラグシップモデル「GPT-5.5」は、コマンドライン操作の評価テストで高いスコアを記録する一方、領域をまたぐ連鎖推論を評価する新たなベンチマーク「Relay-Bench」では正解率が43.3%にとどまることが明らかになった。
7月20日にarXivへ投稿された論文で提案されたRelay-Benchは、従来の評価指標が抱える「ベンチマーク飽和」の問題に対応するために設計された。この結果は、単一分野で優れた推論能力を持つAIモデルであっても、複数領域をまたぐ推論の連携では課題が残る可能性を示している。
■既存AIベンチマークの「飽和」と性能差の消失
長年にわたり、AIの学術的能力を測定する標準として使われてきた「MMLU（Massive Multitask Language Understanding）」は、事実上その役割を終えつつある。Kili Technologyの2026年AIベンチマークガイドによると、現在の最先端モデルはすべてMMLUで88%以上のスコアを記録しており、差異は測定ノイズと区別できないレベルになっている。この問題を解決するために作られた高難度版の「MMLU-Pro」も、IntuitionLabsの分析によると主要モデルの正答率が約90%に達している。
同様の傾向は他の主要指標にも見られる。Akhtar氏らによる2026年の60件の主要ベンチマークを対象とした体系的調査では、約半数が高い飽和状態にあることが判明した。LXT.aiの分析によると、数学能力を測るGSM8Kやコード生成能力を測るHumanEvalでも、最先端モデルのスコアは90%台後半に達している。英国AI Security Instituteの報告書によれば、見習いレベルのサイバーセキュリティタスクにおける性能は2023年の10%未満から2025年には約50%へ上昇した。MIT Technology Reviewの報道によると、OpenAI共同創業者のAndrej Karpathy氏はこの状況を「evaluation crisis（評価の危機）」と表現している。
ベンチマークが飽和すると、業界は信頼できる物差しを失う。スコアは真の能力差ではなく、最先端モデルが共通して備える最低限の能力を示すものになってしまう。その結果、より難しい新ベンチマークの開発競争が起こるが、設計思想が変わらなければ同じ問題を抱えることになる。
■Relay-Benchの構造：領域をまたぐ問題連鎖とエラー伝播
Liam Swayne氏が提案したRelay-Benchは、単一の難問を与えるのではなく、異なる領域の問題を連鎖的につなぎ、前の回答を次の問題の入力として利用する構造を採用している。
対象となる領域は、視覚推論、コーディング、数学、情報抽出（特にWeb検索）、問題解決、一般知識、データ分析の7分野である。各テスト項目は2〜13段階の単一領域サブ問題を連結した複合問題で構成される。さらに、非標準形式の情報をまず解読しなければならないプロンプトエンコーディングや、大量のノイズ情報から必要な情報を抽出させる意図的なコンテキスト肥大化（context bloat）も組み込まれている。
モデルはコード実行やWeb検索など利用可能なツールの使用を制限されていない。これはTerminal-Benchなどのエージェント型ベンチマークと同様である。入出力はテキストのみで、視覚推論も画像ではなく言語的に表現される。
Relay-Benchを難しくしている要因は、個々の問題の難易度ではなく「エラー伝播」にある。13段階の連鎖の3段階目で誤りが起きると、その誤りが4段階目以降の前提となるため、後続の推論全体を汚染する。各サブ問題で90%の正答率を持つモデルであっても、理論上は2段階連鎖で約81%、5段階で約59%、10段階で約35%、13段階で約25%しか達成できない。こうした構造は、マルチステップの実運用ワークフローが最も弱い推論部分によって失敗する現実に近い。
■GPT-5.5が記録した43.3%の意味
Swayne氏が最先端モデルをRelay-Benchで評価した結果、GPT-5.5（xHigh）が43.3%で首位となった。Relay-Bench論文によると、このモデルは2026年4月23日にOpenAIが公開したGPT-5.5（コードネーム「Spud」）である。
WikipediaのGPT-5.5関連記事によると、GPT-5.5はTerminal-Bench 2.0で82.7%、FrontierMath Tiers 1〜3で51.7%を記録している。ただし、これらのスコアはいずれもベンダー報告値であり、Relay-Benchの結果は第三者評価によるものである。
Terminal-Benchの82.7%とRelay-Benchの43.3%の間には39ポイントの差がある。この差は単純な能力不足だけでは説明できない。単一領域内で高度な推論を行う能力は、複数領域をまたいで推論を継続する能力を自動的には意味しないからだ。コーディングと数学を個別には得意とするモデルでも、コードの出力結果を数学問題に引き継ぎ、その結果をさらにデータ分析へ渡すような連鎖では整合性が崩れる可能性がある。
Kili Technologyのガイドによると、企業向けエージェントAIシステムでは、研究室内のベンチマークスコアと実運用性能の間に37%のギャップが確認されている。Relay-Benchの設計は、その一因として従来ベンチマークが単一環境での性能しか評価しておらず、実際の業務で必要な異領域連鎖を十分に測定していない可能性を示している。
■Relay-Benchは何が構造的に異なるのか
過去2年間のベンチマーク研究は、主に単一領域の問題をより難しくするか、より高度で専門的な知識を問う方向で進んできた。Relay-Benchは異なるアプローチを取る。個々の問題を難しくするのではなく、問題同士の接続部分を難しくしているのである。
論文によれば、この構造こそが飽和耐性を生み出す。ベンチマークは、問題が学習データへ流入したり、必要な推論能力が十分に習得されたりすると飽和する。Relay-Benchでは連鎖構造そのものが制約となり、個別領域で性能が向上してもチェーン全体の達成率は各段階の誤り率の積によって制限される。そのため、長いチェーンは短いチェーンより常に難しい。
また、テキスト限定かつツール利用を前提とした設計であるため、マルチモーダル評価向けの追加インフラを必要としない。この点は、研究者による再現実験や評価パイプラインへの導入を容易にする。
■エージェント向けスコアは異領域性能を予測できるのか
Relay-Benchの結果が示す短い答えは「必ずしもできない」である。GPT-5.5のTerminal-Bench 2.0での82.7%とRelay-Benchでの43.3%の差は、これまで十分に測定されてこなかった能力差を示している。
Terminal-BenchはLinuxターミナルという単一環境内で複雑なワークフローを完遂する能力を測定する。タスクは多段階であり、計画立案やツール利用も求められるが、対象は計算インフラという単一領域に限定される。一方のRelay-Benchは、推論領域を途中で切り替えながら整合性を維持する能力を評価する。
現実の業務では、財務データを取得し、その処理コードを書き、結果を業界知識に照らして解釈し、最終的な文章を作成するといった流れが存在する。こうしたタスクはTerminal-Bench型ではなくRelay-Bench型である。エンタープライズ領域でモデルを選ぶ際、この違いは重要になる。
■Relay-BenchはAI評価を変えるのか
Relay-Benchが最先端モデル評価の標準となるかどうかはまだ分からない。2026年時点では、llm-stats.comが追跡するLLMベンチマークだけでも300件以上存在しており、方法論的に新しい評価手法が必ずしも広く採用されるとは限らない。
ただし、このベンチマークには明確な特徴がある。GPT-5.5が記録した43.3%は単なる数値ではなく、複数領域推論における具体的な能力ギャップを示している。そのギャップを定量化し、将来的な改善目標を提示した点は実用的であり、今後の研究を促す可能性がある。
また、テキスト限定かつツール利用型という形式は導入障壁を下げる。既にエージェント評価を実施している組織であれば、大規模なインフラ変更なしにRelay-Benchを組み込める。さらに、チェーン長や領域構成を柔軟に変更できるため、モデル性能の向上に合わせて進化できる点も、ベンチマーク飽和の原因の一部に対処する特徴といえる。
■注目ポイントQ&A
●ベンチマークの「飽和」とは何ですか？なぜ問題になるのですか？
ベンチマークの飽和とは、主要なAIモデルのスコアが上限近くに集中し、実際の能力差を判別できなくなる状態です。Akhtar氏らによる2026年の分析では、主要ベンチマークの約半数が飽和状態にあると報告されています。例えばMMLUで全ての最先端モデルが88〜93%に達すると、残る1〜2%の差は測定ノイズの範囲となり、どのモデルが本当に優れているのか判断しにくくなります。Relay-Benchは問題を難しくするのではなく、異領域チェーン構造を導入することで飽和への耐性を高めています。
●GPT-5.5がエージェントテストで82%を得ているのに、Relay-Benchでは43%にとどまるのはなぜですか？
両者は異なる能力を測定しているためです。Terminal-Bench 2.0はLinuxコマンドラインという単一環境でのマルチステップ作業を評価します。一方、Relay-Benchは7つの異なる推論領域をまたぐ連鎖問題を評価します。途中の誤りが後続段階へ伝播するため、各段階で90%の正答率を持つモデルであっても長いチェーンでは25〜35%程度まで成功率が低下し得ます。Relay-Benchの低スコアはエージェント性能と矛盾するものではなく、従来のエージェントベンチマークが測定してこなかった能力側面を示しています。
●マルチステップワークフローを導入する企業は、この結果をどう活用すべきですか？
企業向けエージェントAI導入では、研究室内ベンチマークと実運用性能の間に37%のギャップがあると報告されています。データ抽出、コーディング、専門分野分析、文章作成といった複数領域にまたがる業務では、Relay-Benchのような構造の評価結果がより参考になる可能性があります。重要なのは「難しいタスクで何点か」だけでなく、「難しい領域間を切り替えながら遂行できるか」を確認することです。
●Relay-Benchはどのようにして従来のベンチマークのような飽和を防いでいますか？
連鎖構造そのものが飽和耐性の仕組みになっています。個別領域の性能が向上しても、チェーン全体の成功率は各段階の誤り率の積によって制約されます。さらに2〜13段階のチェーン長、プロンプトエンコーディング、コンテキスト肥大化などの仕組みにより、単一の最適化だけで全体を攻略しにくくなっています。モデルが進化した場合でも、チェーン長や領域の組み合わせを増やして難易度を調整できます。
元記事: New AI Benchmark Holds GPT-5.5 at 43% on Cross-Domain Reasoning Chains