米AIスタートアップMagic、DeepSeek V4 Pro級のベースモデル品質を約50分の1の計算量で達成と主張

自律的なソフトウェア開発とAI研究の自動化を目指すAIスタートアップMagicは、DeepSeek V4 Proのベースモデルに匹敵する品質を、約50分の1の計算量で達成したと発表した。NVIDIA GB200を使った訓練コストは約50万ドル（約7700万円、1ドル＝154円換算）としている。

比較は、強化学習や教師ありファインチューニングを施す前のベースモデルを対象とし、非公開データに対するbits per byte損失を基準としている。モデル重みや訓練手法の詳細は公開されておらず、外部研究者による独立した再現検証も行われていない。

■約50万ドルでDeepSeek V4 Pro級とする結果

Magicは2026年9月8日、計算効率の高い事前学習に関する研究結果を公開した。同社によると、約1.58×10の23乗FLOPsの訓練によって、DeepSeek V4 Proのベースモデルに近い評価結果を得た。使用した計算量は、同社が比較に用いた近似ではDeepSeek V4 Proの約61分の1に当たるが、評価領域ごとの差を踏まえ、Magicは全体的な成果を「約50分の1」と説明している。

この計算量は、2020年に発表されたGPT-3の事前学習に使われた計算量のおよそ半分に相当する。Magicは、NVIDIA GB200上での費用を約50万ドルと見積もった。

DeepSeek V4 Proについて、Magicは推論時に約489億パラメータが有効になるモデルとして計算量を推定した。同社は「最先端の事前学習は大規模研究所だけのゲームだと言われている。われわれにはまだ10万個のチップはないため、方法は一つしかない。アルゴリズム効率だ」としている。

■トークナイザーの違いを補正するbits per byte

Magicの比較は、一般的な質問応答形式のベンチマークではなく、保留データに対するbits per byte（bpb）損失を中心に行われた。bpbは、テキストの各バイトを予測するのにどれだけの情報量が必要かを示す指標で、値が低いほど予測性能が高い。

言語モデルは、それぞれ異なるトークナイザーと語彙を使用する。例えば、同じ英単語でも、あるモデルでは1トークン、別のモデルでは複数のトークンに分割される。このため、トークン単位の損失やパープレキシティを異なるトークナイザー間で単純に比べることは難しい。

bpbはバイト単位で損失を正規化するため、トークンの分割方法が異なるモデル同士でも比較しやすい。特定の回答形式を要求しないことから、プロンプトの書き方や指示への追従能力がまだ整えられていないベースモデルの事前学習品質を調べる用途にも適している。

一方、この指標が直接測るのはテキストの予測性能であり、対話能力やエージェントとしての実用性能そのものではない。Magicの発表も、強化学習などを施す前のベースモデル品質についての主張である。

■非公開データと複数の推論環境で評価

Magicの保留評価セットは、非公開コードリポジトリ、研究論文、非公開の数学問題、一般テキストなどで構成された。コード分野には同社のコードベースと、他のスタートアップから取得した非公開コードベースが含まれる。研究分野では、コンピュータ科学、工学、数学、物理学などの比較的新しく引用数の少ない論文を使用した。

データ汚染を抑えるため、Magicは評価セットと正規化後の96文字の範囲が一致する訓練文書や、Jaccard類似度が一定の基準を超える文書を除外した。評価セットの作成には、事前学習パイプラインとは異なるパーサーや光学文字認識の処理も用いた。

比較対象となるオープンウェイトモデルについては、vLLMとSGLangを使用し、NVIDIA GB200とGB300の両方で対数確率を評価した。Magicは、推論基盤によって結果に不整合が生じる事例を確認したとしている。さらに推論サービスを提供するFireworksと協力し、別の推論エンジンでも比較対象モデルの対数確率を照合した。

ただし、Fireworksによる照合は比較対象の対数確率に限られる。評価セットの設計、Magicのモデルの訓練、最終的な分析は同社自身が行っている。

■多数の小さな改善を規模別に検証

Magicによると、効率向上は単一の技術的ブレークスルーではなく、モデルアーキテクチャ、オプティマイザー、訓練目的、データ選別にまたがる数十の変更を積み重ねた結果である。

同社は変更候補ごとに、計算量が2桁の範囲にまたがる3種類のモデルを訓練する。その結果をべき乗則の曲線に当てはめ、大規模化しても改善が見込まれる変更だけを採用する。小規模モデルで効果があっても、大規模な訓練では効果が失われる変更を取り除くための手法である。

数週間ごとに本格訓練の10分の1程度の中間実験を行い、数カ月ごとに大規模な訓練を実施した。従来のV2レシピに対する計算効率は、V3で約11倍、V4で約24倍、V5では約50倍に向上したとしている。

評価領域によって効率差は大きく異なる。Magicが公表した比較では、DeepSeek V4 Proに対する計算効率は、非公開コードで48倍、保留した研究論文で45倍、非公開数学問題で127倍となった。このため、約50倍という表現は、すべての分野に共通する固定倍率ではなく、複数の評価結果を踏まえた同社の代表的な説明である。

■Nemotron 3 Ultraの事前学習品質にも注目

比較では、NVIDIAのNemotron 3 Ultraが、複数の評価領域と推論環境においてDeepSeek V4 Proより低いbpb損失を記録した。

Magicは、この結果から、Nemotron 3 Ultraがポストトレーニング後の一部ベンチマークで振るわない場合、その差がベースモデルの事前学習品質ではなく、強化学習など後工程の影響を受けている可能性があるとみている。

これはMagicによる評価と解釈であり、Nemotron 3 Ultraのポストトレーニング品質を独立して検証したものではない。それでも、事前学習とポストトレーニングを分けて評価する必要性を示す結果となっている。

■短期間の強化学習後に数学評価で72％

ベースモデルの品質差がポストトレーニング後にも残るかを確認するため、Magicは数学問題を使った短期間の強化学習を実施した。教師ありファインチューニングや蒸留を行っていないベースモデルから開始し、思考過程の出力上限を1万6000トークンに設定した。

計算量が約1.63×10の24乗FLOPsのモデルを基にしたV5 e24は、同社が作成した400問の非公開競技数学評価において、Pass@1で72％を記録した。Magicは、この評価セットをAIMEより難しいものと説明している。

同社の比較表では、DeepSeek V4 Proが65％、Kimi K3が75％、Nemotron 3 Ultraが27％だった。ただし、評価セットは非公開であり、比較対象モデルの強化学習に使われた計算量や訓練条件も同一ではない。

この実験は、Magicのモデルが完成済みの商用モデルを総合的に上回ったことを示すものではない。事前学習で得られた性能が、比較的小規模な強化学習を加えた後も直ちには失われなかったことを確かめるための社内実験と位置付けられる。

■1億ドル超との比較はMagicの外挿値

Magicは、約50万ドルを投じたV5 e23相当の品質をDeepSeek V4 Proの訓練方法で得るには、1億ドル超（約154億円）が必要になると試算した。

この金額はDeepSeekが公表した実際の訓練費用ではない。Magicが自社の計算量とbpb損失の関係にスケーリング則を当てはめ、DeepSeek V4 Proの計算効率で同じ水準に到達する場合の費用を外挿したものである。

Magicはさらに、同じ訓練レシピを約10倍の規模に拡大し、約400万ドル（約6億1600万円）を投じたモデルが、公開されているオープンウェイトのベースモデルをパープレキシティ評価で上回ったとしている。この結果も同社内の評価に基づいており、外部機関による検証結果は公表されていない。

■アルゴリズムの効率向上は規模に左右される可能性

Magicの結果を評価するうえでは、各種の改善が小規模な訓練でも同じ割合の効果をもたらすかが重要になる。

MIT FutureTechの研究チームがICML 2026のワークショップで発表した研究では、AIの学習効率を高めてきた重要なアルゴリズム上の革新の効果は、計算規模によって変化することが示された。特にLSTMからTransformerへの移行など、規模が大きくなるほど効率上の利益が拡大する技術が、過去の大幅な改善の多くを占めたと分析している。

この研究はMagicの訓練手法を評価したものではなく、同社の改善が同じ性質を持つかは分からない。仮にMagicの技術にも強い規模依存性がある場合、約50倍という利点が、小規模な研究環境でもそのまま得られるとは限らない。

約50万ドルという訓練費用も、個人や多くの大学研究室にとって容易に負担できる規模ではない。Magic自身もモデル重みや詳細な訓練レシピを公開していないため、現段階では他の組織が同じ条件を再現できる状態にはなっていない。

■長文脈と長期的に動くエージェントへ

Magicは、事前学習、エージェント型強化学習、長文脈モデリングを主要な研究分野に位置付けている。2024年8月には、最大1億トークンのコンテキストを扱う研究用モデルLTM-2-miniを発表した。1億トークンは、同社の換算ではコード約1000万行または小説約750冊に相当する。

Magicによると、1億トークンのコンテキストを使用する場合、LTM-2-miniのシーケンス方向の処理は、Llama 3.1 405BのAttention機構より、出力トークン当たりで約1000分の1の計算量になる。この比較は長文脈を処理する部分に限定され、モデル全体の推論コストを比べたものではない。

同社は今後、長いコンテキストを使って長期間の課題に取り組み、運用開始後も学習を続けるエージェント向けの強化学習を拡大する方針である。強化学習時の安全要件やモデル公開の判断基準を盛り込んだ、AGI Readiness Policyの更新版も公開する計画だ。

Magicは将来的なモデル公開にも言及しているが、時期や公開方法は示していない。今回の発表が独立して検証可能になるかは、モデル重み、訓練手法、評価データに関する追加情報がどこまで開示されるかに左右される。

元記事: Magic Matched DeepSeek V4 Pro Base Quality for $500K, Using 50 Times Less Compute