GPT-6 AstraとClaude Fable 5.1、AIベンチで総合同点もコスト・業務自動化・科学計算で強み分かれる

AIモデルの第三者評価を手掛けるArtificial Analysisは、2026年9月4日に「Intelligence Index v4.2」、同月7日にv4.3を公開した。最新版では、OpenAIのGPT-6 AstraとAnthropicのClaude Fable 5.1がともに53点で首位に並んだ。

一方、タスク当たりの評価コストやサブベンチマークの結果には大きな違いがある。モデルの導入を検討する際は、総合スコアだけでなく、使用したIndexの版、個別評価、推論設定、コストを用途に合わせて確認する必要がある。

■2度の更新で首位の状況が変化

GPT-6 Astraが発表された9月3日時点では、8月6日公開のIntelligence Index v4.1.1が使われていた。この版で最大推論設定のAstraは61点を記録し、前世代のGPT-5.6 Solと同点、Claude Fable 5.1の66点を5点下回った。

翌9月4日に公開されたv4.2では、非公開テストセットを使うエージェント型ナレッジワーク評価「AA-Briefcase」と、100件、計4592ページのPDFを対象に文書推論を測る「GDP.pdf」が加わった。一方、フロンティアモデルのスコアが飽和していた「GPQA Diamond」は構成から外れた。この版ではFable 5.1が57点、Astraが55点となった。

さらに9月7日のv4.3では、「Terminal-Bench」がv2.1からv4.0に更新され、顧客サポートを対象とする「τ³-Banking」に代わって「AutomationBench-AA」が加わった。その結果、Fable 5.1とAstraはともに53点となった。

66対61、57対55、53対53という変化は、短期間に両モデルの能力が近づいたことを意味しない。同じモデルを採点するベンチマークの構成や評価方法が更新された結果である。複合スコアを比較するときは、数値とともに版番号を確認することが欠かせない。

Artificial Analysisは、v4.2とv4.3について、今後のIntelligence Index v5に向けて計画していた変更の一部を前倒ししたものと説明している。既存評価の飽和を抑え、より複雑で現実的なタスクや非公開テストセットを増やすことが狙いだ。

■同じ53点でもタスク当たりコストに差

Artificial Analysisのv4.3における比較では、最大推論設定のGPT-6 Astraと、最大推論設定でフォールバックを有効にしたClaude Fable 5.1が、ともに53点を記録した。

一方、Intelligence Indexの加重平均による1タスク当たりコストは、Astraが3.26ドル、Fable 5.1が7.63ドルだった。Artificial Analysisの算定では、Astraの方が約57％低い。

評価スイート全体で生成した出力トークンは、Astraが約6000万、Fable 5.1が約1億8800万だった。両モデルとも通常のAPI料金は入力100万トークン当たり10ドル、出力100万トークン当たり50ドルだが、キャッシュ料金や実際に処理したトークン数なども評価コストに影響する。

このコストはArtificial Analysisの評価環境とタスク構成に基づく指標であり、実際のシステムにおける費用を直接示すものではない。それでも、同じ複合スコアに到達するまでに必要な出力トークンと評価費用が大きく異なることは、処理量の多い用途で重要な比較材料となる。

■サブベンチマークでは異なる強み

総合スコアの同点は、すべての能力が同等であることを意味しない。v4.3の最大推論設定同士の比較では、Fable 5.1がエージェント型ナレッジワークを測るAA-Briefcaseや、Pythonを使った科学計算問題を扱うSciCodeなどでAstraを上回った。

一方、AstraはTerminal-Bench v4.0で59.1％を記録し、Fable 5.1の52.0％を上回った。AutomationBench-AAの主要スコアでもAstraは68.5％、Fable 5.1は59％だった。

この結果から、Artificial Analysisの評価条件では、Astraはターミナルを使用する複数段階の作業や、複数の業務アプリケーションを横断するワークフローで比較的高い成績を示したといえる。Fable 5.1は、長期的なナレッジワークや科学計算を含む一部の評価で優位だった。

ただし、個別ベンチマークの順位だけであらゆる実務における優劣を決めることはできない。実際の導入では、自社のデータや作業手順を反映した評価を併用する必要がある。

■Terminal-Bench v4.0が測るターミナル作業

Terminal-Bench v4.0は、AIエージェントがターミナルインタフェースを使って、複雑な複数段階のタスクを完了できるかを評価する。対象はソフトウェア工学、機械学習、科学、運用、セキュリティ、ハードウェア、メディアの7分野にまたがる。

Artificial Analysisは66件のタスクを各3回実行し、初回試行で正しく完了できた割合を示す平均pass@1を報告している。v2.1からv4.0への更新では、利用できる計算資源と時間が再調整され、タスクの指示、実行環境、検証方法も改められた。

この評価でAstraは59.1％となり、GPT-5.6 Solの39.9％を19.2ポイント上回った。Fable 5.1は52.0％、Claude Opus 5は49.0％だった。少なくともTerminal-Bench v4.0では、Astraが前世代から大きく成績を伸ばしている。

■AutomationBench-AAは業務アプリ間の連携を評価

AutomationBench-AAは、ZapierのAutomationBenchを基にArtificial Analysisが実施する評価である。財務、人事、マーケティング、オペレーション、営業、サポートの6分野にわたる657件のタスクを、非公開のテストセットで評価する。

タスクは、メール、表計算、メッセージング、顧客管理、サポート、プロジェクト管理などを模した複数のSaaS環境にまたがる。エージェントは必要なAPIのエンドポイントを自ら見つけ、業務上のルールに従いながら、適切なデータを各システムへ反映させる。

主要スコアは、ガードレールに違反せず達成できた目標の割合を表す。タスク内でガードレール違反が起きた場合、そのタスクのスコアはゼロになる。部分的に目標を達成した場合には、条件に応じて部分点が与えられる。

v4.3で総合首位となった2モデルを比べると、Astraの主要スコアは68.5％、Fable 5.1は59％だった。全目標を達成し、ガードレール違反もなかったワークフローの割合は、Astraが41.6％、Fable 5.1が32.1％、Claude Opus 5が28.3％だった。

目標の一部を安全に達成することと、ワークフロー全体を完全に終えることは異なる。このため、主要スコアと完全に終了したタスクの割合には差が生じる。

■非公開テストセットの比重が45％に

Intelligence Indexに占める非公開ホールドアウトテストセットの比重は、v4.1の20％からv4.2で40％へ上昇し、v4.3では45％となった。Artificial Analysisは、v5に向けて非公開評価をさらに増やす方針を示している。

公開された設問が広く使われるようになると、モデルの学習データや開発時の評価に同一または類似の問題が含まれ、実際の応用能力とベンチマークへの適応を切り分けにくくなる。設問を非公開にすることには、特定問題への直接的な最適化を難しくする狙いがある。

一方、非公開評価では、外部の研究者が同じ設問を使って結果を完全に再現することが難しい。非公開部分の比重が高まるほど、タスクの設計、採点方法、モデルの実行条件、結果の監査可能性に関する説明が重要になる。

GPQA Diamondがv4.2で外れたのは、フロンティアモデルのスコアが上限付近に達し、モデル間の差を示しにくくなったためである。難易度の高い評価への入れ替えは、モデルの進歩に合わせてベンチマークの識別力を保つための対応と位置付けられる。

■v4.3の上位モデルとコスト効率

v4.3では、Fable 5.1とAstraの53点に続き、Claude Opus 5が51点、Claude Fable 5が50点、Muse Spark 1.3が48点、GPT-5.6 Solが47点となった。いずれもArtificial Analysisが指定した推論設定やフォールバック条件での結果である。

オープンウェイトモデルでは、GLM-5.3 Flashが42点、Qwen3.8 2.4T A95Bが40点、DeepSeek V4 Pro 0813が36点を記録した。ただし、Artificial AnalysisはGLM-5.3とKimi K3を、GLM-5.3 Flashより上位のオープンウェイトモデルとして掲載している。このため、GLM-5.3 Flashをオープンウェイトモデル全体の首位とみなすことはできない。

性能とコストの双方を考慮したパレートフロンティアには、GPT-6 Astraの複数の推論設定に加え、MiMo-V2.5-Pro、GLM-5.3 Flash、Claude Fable 5.1の一部設定が入った。

同じ42点のモデルを比較すると、GLM-5.3 Flashの1タスク当たりコストは0.25ドル、GPT-5.6 Terraは1.40ドルで、前者は後者の約18％だった。これらも、Intelligence Indexのタスク構成とArtificial Analysisの計算方法に基づく比較である。

■モデル選定では版と実行条件の記録が必要

Artificial Analysisによる短期間の更新は、既存評価の飽和や、より現実的なエージェントタスクへの対応を急いだ結果である。同社はv4.2とv4.3をv5に向けた段階的な変更と位置付け、v5の公開前にも追加更新を予定している。

そのため、Intelligence Indexのスコアを引用する場合は、版番号、モデルの推論設定、フォールバックの有無、確認日を併記することが望ましい。版の異なるスコアは評価項目や重み付けが異なる可能性があり、単純には比較できない。

v4.3における最大推論設定では、AstraとFable 5.1はともに53点だった。Astraはタスク当たりコスト、Terminal-Bench v4.0、AutomationBench-AAで優位な結果を示し、Fable 5.1はAA-BriefcaseやSciCodeなどでAstraを上回った。

ターミナルを使ったエンジニアリングや、複数の業務アプリケーションを横断する自動化を重視する場合、今回の結果はAstraを検討する材料になる。長期的なナレッジワークや科学計算を重視する場合は、Fable 5.1が優位だった個別評価も確認すべきだ。最終的な選定では、総合ランキングを結論として使うのではなく、実際の業務に近いタスクで品質、コスト、速度、安全性を評価することが重要である。

元記事: AI Leaderboard Rewrote Itself Three Times Last Week: Same Score, Half Cost