Claude Opus 5が難関AIテスト「ARC-AGI-3」で最高記録―空間の法則を「数式化」して問題を攻略

7月24日、Anthropicの「Claude Opus 5」は、AIの汎用推論能力を測る難関ベンチマーク「ARC-AGI-3」で過去最高の30.2%を記録した。ARC Prizeが独立して実施した評価では、テスト中にフロンティアモデルとして初めて明示的な反射方程式を自発的に生成したことも確認された。一方、別のパズル評価では能力向上の汎用性に疑問を投げかける結果も出ており、今回の伸びがどこまで未知の課題に通用するかは明らかになっていない。

ARC Prizeの結果ページによると、Opus 5の30.2%は、従来の最高記録だったGPT-5.6 Solの7.8%の約4倍に当たる。これまでどのAIもクリアできなかった5つの環境を解き、そのうち4つでは人間と同等以上の行動効率を示した。公開デモ環境でAIが解決した環境の総数も、1つから6つへ増えた。ARC Prizeによれば、Anthropicの前世代に当たるFableクラスのモデルは約20%、GPT-5.6 Solは最高の「Max」推論労力設定で7.8%だった。

スコアだけでも注目に値するが、そのスコアを生み出した方法が今回の結果の意味を変えた。

■ARC-AGI-3とは何か：推論を測るテスト

ARC-AGI-3は、一般的に使われている他のAI評価とは意図的に異なる設計になっている。ARC-AGI-3の技術論文に詳述されているように、ほとんどのベンチマークが知識の検索や、過去に何らかの形で見たことのあるタスクの実行をAIに求めるのに対し、ARC-AGI-3は、指示も言語も適用可能な領域知識もない未知のインタラクティブ環境にAIエージェントを置き、どれだけ効率よく環境の仕組みを解明できるかを測定する。

ARC Prize Foundationの技術レポートによれば、このベンチマークで前提とされるのは、設計者らが「コア知識の事前分布（Core Knowledge priors）」と呼ぶものだけである。これは、人間の乳児が正式な教育を受ける前に身につける、基本的な物体認識や物理的直感に相当する能力を指す。エージェントは探索を通じて各環境のルールを学び、その後、目標を達成するために行動しなければならない。技術論文の公開時データによると、2026年3月にサンフランシスコのY CombinatorでARC-AGI-3が発表された際、人間のテスターは全環境をクリアした一方、最も成績の良かったフロンティアAIモデルのスコアは0.37%にとどまった。

このベンチマークは、構造上の重要な点で前身と異なる。ARC-AGI-1とARC-AGI-2は静的なグリッドパズルであり、入出力変換の例をいくつか与えられ、そのルールを推論して適用する形式だった。ARC-AGI-3は、この静的パズルをターン制のインタラクティブゲームに置き換えている。エージェントは、どのようなゲームなのかも、何をすれば勝ちなのかも教えられないまま、行動し、その結果を観察し、環境の仕組みに関する仮説を更新して、効率的な戦略を組み立てなければならない。

■当てずっぽうを許さないスコア算出法

性能は、RHAE（Relative Human Action Efficiency、「レイ」と発音）と呼ばれる指標で測定される。ARC Prizeの技術レポートに示された計算式によれば、クリアした各環境について、AIのスコアは「人間の基準行動数をAIの行動数で割った値」の2乗として計算される。人間のテスターが10回の行動で環境をクリアし、AIが100回かかった場合、AIのスコアは（10÷100）²＝1%となる。AIが30回なら（10÷30）²＝11.1%、20回なら25%である。

この2乗の項によって、ARC-AGI-3は総当たりのアプローチが通用しにくくなっている。行動数が2倍になると、スコアは半分ではなく4分の1になる。あらゆる行動を試すエージェントは、最終的に成功してもスコアがほぼゼロになる。環境がどのように機能するかについて正確なモデルを素早く形成し、そのモデルに基づいて効率よく行動するエージェントだけが、意味のあるRHAEスコアを得られる。各レベルでは、人間の基準行動数の5倍が上限となり、それを超えると当該レベルのスコアはゼロになる。一方、特定の環境で2番目に成績の良い人間より少ない行動数でクリアしたエージェントは、100%を超えるスコアを得ることもできる。

この設計は、前世代のAIシステムが得意としていた網羅的なパターンマッチングを直接的に不利にする。その一方で、AIが歴史的に苦手としてきた、不確実な状況での迅速な仮説形成、仮説の更新、学習した戦略の効率的な実行を評価する。心理学で「流動性知能」と呼ばれる能力である。

■Opus 5のスコアとその背景

ARC Prizeの検証済み結果によると、公開から4カ月後、すべてのフロンティアAIが0.37%未満だったARC-AGI-3で、Claude Opus 5は30.2%を記録した。この数字の大きさだけでなく、誰が測定したかという点も重要である。Digital Appliedの独立分析で説明されているように、ARC Prizeは自らモデルをテスト環境で動かし、推論過程をすべて記録して結果を公開した。評価ハーネスや設定、出力をAnthropicが管理したものではない。

Digital Appliedのバイヤーズガイドによれば、フロンティアAIの発表で示されるベンチマーク数値のほとんどは、ベンダー自身が測定したものである。開発企業がベンチマークのバージョンを選び、評価ハーネスを設定し、推論労力のレベルを決めて結果を報告する。これに対し、ARC Prizeによる独立実施は、30.2%という数値が結果に利害関係を持たない第三者によって検証されたことを意味する。各環境におけるOpus 5の完全な推論過程を含むリプレイログは、Opus 5のスコアカードページから公開ダウンロードできる。

新たにクリアされた5つの環境は、ar25、ft09、lp85、r11l、s5i5である。このうち4つは人間と同等以上の行動効率で完了した。つまりOpus 5は、最も成績の良い人間のテスターより少ないか、それと同程度の行動数で解決した。6つ目のクリア済み環境であるvc33はRHAE 98.8%で、Opus 5による今回の実行以前からAIによるクリア記録があった。

公開されているデモ環境25個のうち、19個はいまだにどのAIも解決できていない。

■解釈を変えた「自発的な方程式」

30.2%というスコアは見出しになるだけの成果だったが、研究者の関心を集めたのは、そのスコアを生み出した振る舞いである。

ARC Prizeの公式X投稿に記録されているように、分析チームは、Opus 5がある環境に取り組んでいる最中、指示されていないにもかかわらず、空間的関係を表す形式的な代数表現を生成したことを確認した。その環境での23回目の行動時に、モデルの推論過程には「4_center = 2×axis − 5_center」という式が含まれていた。ARC Prizeが7月24日の発表で説明したところによると、これは物体の中心、対称軸、反射後の位置の幾何学的関係を符号化した反射方程式である。

ARC Prizeは、同団体の分析においてフロンティアモデルが生成した初の明示的な反射方程式だと説明した。この式は、反射を文章で説明したものではない。また、反射に関する訓練データ中の例をそのまま取り出したものでもないとARC Prizeはみている。モデルが環境をクリアするために利用する必要があった空間的関係を表す、形式的な記号表現として構築された。

これが技術的に重要なのはなぜか。ARC-AGI-3の環境には、言語による指示も数学的なプロンプトも含まれていない。モデルは空間的な対称性を含む環境に遭遇し、観察した内容を形式的な方程式で表し、その表現に基づいて行動した。これは、Opus 5が環境の状態について中間的な記号表現を構築している可能性を示唆する。言い換えれば、次に何をするかを決める前に、目の前の状況について推論するための内部的な形式言語を組み立てている可能性がある。ARC Prizeは、ARC-AGI-3での優位性をこの能力に直接結びつけ、論理的推論の強化によって、未知の環境における探索、計画、実行をより自律的に進められると指摘した。

■別のテストが示す複雑な実態

ARC Prize以外の研究者がOpus 5に対して実施した別の評価は、より複雑な状況を示している。

Guanghan Ning氏は、ARC-AGI-3と同様の考え方で構築された、評価用に取り分けられたインタラクティブなパズルゲームを使う「Witness」ベンチマークで、Opus 5の能力向上が異なるパズルに比例して転移していないことを確認したと、7月24日のX投稿で報告した。Ning氏のデータによると、すべてのモデルで同じ評価ハーネスとトークン予算を使用したWitnessの総合スコアは、Opus 5が43.4±3.2だった。これはKimi K3の42.8±1.9、Fable 5の43.8±9.7と統計的に同等である。Opus 4.8の34.8からは向上したものの、ARC-AGI-3における約4倍の伸びと比べれば、改善幅ははるかに小さい。

Ning氏のリプレイ記録は、具体的な説明も示している。Witnessで最も典型的な、よく知られた仕組みに基づくパズルでは、Opus 5は最初の行動を起こす前に隠されたルールを言い当て、すべてのテストシードでほぼ最適な手順を実行した。探索は一度も行わなかった。モデルは、すでにこの種のパズルを知っていたように見える。一方、パターンマッチングでは対応しにくい、珍しい仕組みを組み合わせたWitnessで最も新規性の高いパズルでは、Opus 5のスコアはOpus 4.8を下回った。Ning氏は、WitnessからAnthropicが使用した訓練データを特定することはできないと断ったうえで、この傾向は特定ジャンルのパズルデータを使った訓練と整合すると解釈した。

The Decoderの報道によると、Ning氏はその後、Opus 5がWitness全体では改善しているものの、その幅はARC-AGI-3よりはるかに小さいと補足した。同氏はこの傾向をコーディングベンチマークの発展になぞらえた。新しいベンチマークが主要な目標になると、まずその対策に訓練の労力が注がれ、研究者がエッジケースを追加するにつれて、モデルがより幅広いタスクを扱えるようになるという。

The Decoderの報道によれば、ARC PrizeのプレジデントであるGreg Kamradt氏は、Witnessの結果によって、より広範な推論能力の向上が否定されるわけではないと述べた。Opus 4.8も、総合スコアではOpus 5に大きく後れを取っている一方、ARC-AGI-3の一部の環境ではOpus 5を上回ったという。個別環境での性能低下は、総合的な推論能力の実質的な向上と両立し得る。改善がどこまで広範囲に及ぶかを判断するには、さらに多くの未知のタスクについて詳細な結果が必要になる。

■Anthropicが説明していないこと

比較を解釈するうえで重要な、評価方法上の注意点もある。ARC Prizeの結果ページによると、GPT-5.6 Solの7.8%は、利用可能な最高設定である「Max」の推論労力で評価された。一方、Opus 5の30.2%は、公開前のテスト期間が短かったため、「High」の推論労力でのみ評価された。推論労力の違いを考慮しても差は非常に大きく、成熟したベンチマークではHighとMaxが同程度の結果になることも多いが、両者の推論労力をそろえた比較ではない。

Anthropicは、ARC-AGI-3における能力向上の要因を公には説明していない。ARC-AGI-3のパズル形式に合わせたデータラベリングや、インタラクティブ環境のタスクを使った強化学習は、考えられる仕組みの一例である。Opus 5はARC-AGI-3の形式が公開された後に開発されたため、Anthropicがこのベンチマークで求められる特定の能力を訓練対象にできた可能性もある。The Decoderの分析が結論づけたように、そうした対策が能力向上のすべてを説明するのか、大部分なのか、一部だけなのかは、公開資料からは判断できない。

■スコア向上は真のAI進化を意味するのか

ベンチマークの設計者自身は、高スコアが何を意味するかについて慎重である。ARC-AGI-3は、未知のインタラクティブ環境を効率的に学習して進む能力について、AIと人間の間にある特定の差を測るために作られた。100%のスコアは、AIエージェントがすべての環境を2番目に成績の良い人間のテスターと同じ程度の効率で解決できることを意味する。ただし運営者は、それがAGI（汎用人工知能）の達成を意味するわけではないと明言している。AIと人間の適応学習の間にある、測定可能な特定の差が1つ埋まったことを意味するにすぎない。

この尺度で見れば、30.2%は大きいものの、部分的な進歩である。特にWitnessの別評価は、能力向上がOpus 5の訓練対象に似た環境に集中している可能性を示している。一方、代数表記を生成した振る舞いは、単純には退けにくい。未知の環境で遭遇した空間的関係を形式的な記号方程式で表すことは、記憶されたパターンを取り出すことと同じではない。ただし、それが真の能力向上なのか、モデルの規模拡大に伴う創発的な振る舞いなのか、より限定的な学習済みの振る舞いなのかは、依然として実証を要する未解決の問題である。ARC-AGI-3の設計だけでは、まだ明確に答えられない。

Witnessの結果が示す最も重要な意味はここにある。訓練データから獲得できない種類の推論を測るために設計されたベンチマークも、それ自体が訓練目標になり得る。その結果、真の流動的推論と、非常に洗練された結晶性知能に基づく検索との境界が曖昧になる。AIが新たな推論構造を組み立てているのか、それとも学習済みの構造を取り出しているのか。この区別こそ、ARC-AGI-3が検証しようとしている根本的な科学上の問いである。現時点で30.2%という数字は、人間とAIの差が縮まっていることを示す、この分野で最も明確なシグナルである。ただし、その縮小のうち、どこまでが真の推論能力を反映し、どこまでがAnthropicによる特定ベンチマークへの最適化を反映しているのかは、今後も検証すべき問題である。

■注目ポイントQ&A

●ARC-AGI-3とは何ですか？また、AIの性能をどのように採点しますか？

ARC-AGI-3は、ARC Prize Foundationが開発したインタラクティブなベンチマークです。AIエージェントが、指示や言語、タスクに関する事前知識なしに、未知の環境のルールを学び、戦略を立て、効率的に目標を達成できるかをテストします。採点にはRHAE（Relative Human Action Efficiency）という指標を使用します。クリアした各環境について、AIのスコアは、人間の基準行動数をAIの行動数で割った値の2乗になります。人間が10回、AIが100回の行動を要した場合、そのレベルでのAIのスコアは1%です。この2乗の計算式により、時間のかかる探索的な方法には重いペナルティーが科され、迅速で正確な仮説形成が評価されます。

●Claude Opus 5の30.2%というスコアは、他のフロンティアモデルと比べてどうですか？

ARC-AGI-3で記録された過去最高のスコアです。従来の記録は、GPT-5.6 Solが「Max」の推論労力で記録した7.8%でした。Anthropicの前世代に当たるFableクラスのモデルは約20%でした。Opus 5は「High」の推論労力で30.2%に到達しています。GPT-5.6 Solとは推論労力をそろえた比較ではありませんが、その点を考慮しても差は大きいといえます。ARC Prizeの公式結果ページによると、Opus 5は従来のARC-AGI-1で97.5%、ARC-AGI-2で90.4%を記録しています。ARC-AGI-1の結果は、実質的な飽和水準です。

●反射方程式はOpus 5について実際に何を示していますか？

ARC Prizeの公式分析によると、Opus 5は、ある環境での23回目の行動時に「4_center = 2×axis − 5_center」と記述しました。空間的な反射関係を形式的な代数式で表したものです。環境には数学的なプロンプトも言語による指示もなかったため、注目に値します。モデルは、進行中の空間構造について記号表現を構築したとみられます。ARC Prizeは、同団体の分析においてフロンティアモデルが生成した初の明示的な反射方程式だと説明しています。ただし、これが創発的な記号推論能力を示すのか、見慣れた空間パターンによって引き出された学習済みの振る舞いなのかは、Witnessの結果も踏まえて検証する必要があります。

●ARC-AGI-3は、真に新しい推論と洗練されたパターン検索を確実に区別できますか？

これは中心的な未解決問題です。Guanghan Ning氏によるWitnessの評価では、Opus 5は、よく知られたパズルジャンルで探索行動を一度も取る前にルールを言い当て、人間と同等以上の効率を示しました。その一方、特に新規性の高い仕組みの組み合わせでは、前世代のOpus 4.8を下回りました。学習では獲得できない種類の推論を測るために設計されたベンチマークも、それ自体が訓練目標になる可能性があります。arXiv:2601.10904に収録されたARC Prizeの2025年の技術レポートも、「現在のフロンティアAIの推論性能は依然として知識の範囲に根本的に制約されており、新たな形のベンチマーク汚染を生じさせている」と指摘しています。30.2%は人間とAIの差が縮まっていることを示す有力なシグナルですが、それが何を測っているかを解釈するには、ARC-AGI-3のスコアとWitnessの結果の両方を見る必要があります。

元記事: Claude Opus 5 Took ARC-AGI-3 Record With an Equation No AI Had Written Before