NVIDIA、ドラフトモデル不要の自己投機的デコード技術を発表、同一重みで3つの生成モードを切り替え

NVIDIAの研究チームは、自己回帰モデルと拡散言語モデルを同一の目的関数で共同学習させ、推論時に重みを変更することなく3つの生成モードを切り替えられる新しいモデルファミリー「Nemotron-Labs-Diffusion」を発表した。これにより、投機的デコード（Speculative Decoding）の運用で課題となっていた「個別のドラフトモデルの維持」が不要になる。本成果は、商用利用可能なオープンウェイトとしてHugging Faceで公開されている。

■1つのモデルで3つのテキスト生成モードを実現

NVIDIAの研究チームが2026年7月7日に公開したarXivのプレプリント（査読前論文）によると、自己回帰（AR）モデルと拡散言語モデルは競合させる必要はなく、同じ目的関数で同時に学習させることが可能であるという。このアプローチにより、推論時に重みを一切変更することなく、3つの生成モードを切り替えられる単一のモデルが実現した。

今回発表された「Nemotron-Labs-Diffusion」は、自己回帰（AR）目的関数とマスク拡散目的関数の両方で同時に学習されたモデルファミリーである。論文によると、8B（80億パラメータ）の指示追従（Instruct）版モデルは、同等のARモデルと比較して1回のフォワードパスあたり6倍多くのトークンをデコードできる。さらに、NVIDIAのサービングベンチマークにおいて、GB200 GPU上で推論フレームワーク「SGLang」を用いて自己投機（Self-Speculation）モードでデプロイした際、4倍高いスループットを記録したという。ただし、これらの数値は査読前かつ他ハードウェアでの独立した再現検証が行われていないプレプリント段階のものである点に留意する必要がある。

現在広く普及している大規模言語モデル（LLM）は、1回のフォワードパスで左から右へ1トークンずつ生成する「自己回帰（AR）」方式を採用している。数百人のユーザーが同時に利用するような高コンカレンシー（高並行性）環境では、GPUがバッチ処理で常に稼働するため、この逐次アプローチでも効率的に動作する。しかし、AIエージェントのループ処理や、単一ユーザーのAPI呼び出し、エッジ推論といった低コンカレンシー環境では、トークン生成の各ステップでGPUがアイドル状態になりやすく、演算処理よりもメモリ転送のボトルネック（メモリ帯域幅制限）に陥ってしまう。

これに対し、拡散言語モデルは、完全にマスクされたシーケンスから開始し、複数回のパスを経てすべての位置を同時に洗練していくアプローチをとる。2025年5月にはGoogle DeepMindの「Gemini Diffusion」が自己回帰モデルと同等の商業レベルの品質を実証したが、純粋な拡散モデルは自然言語が持つ「左から右への強い構造」を無視してすべてのトークン順序を等確率として扱うため、逐次的な一貫性が求められるタスクで精度が低下しやすく、同等の品質に達するには大幅に多くの学習データを必要とする課題があった。

Nemotron-Labs-Diffusionは、これら2つのパラダイムが相反するものではなく、相互補完的であると主張する。研究チームは、Mistral AIの「Ministral3」ベースモデルを出発点として、まず純粋な自己回帰目的関数で約1兆トークンの学習を行い、その後、両方の損失を組み合わせた共同目的関数でさらに3000億トークンの追加学習を行った。アブレーション（要素排除）調査では、拡散ベースラインにAR損失を追加したことで、精度が7.48%向上するという最大の個別改善効果が確認された。逆に、ARモデルに拡散損失を追加した場合の精度向上はわずか（ベースモデルで0.14%）であったが、重要なことに性能の低下（退行）は見られなかった。ベースラインに対するパイプライン全体の累積改善率は16.05%に達している。

実用的な仕組みはシンプルである。どちらの推論モードも同じ重みのセットで動作し、変化するのはフォワードパス中に適用されるアテンション（注意）パターンのみである。自己回帰モードでは標準的な因果関係（下三角）マスクを使用し、拡散モードでは32トークンのブロック内でブロック双方向アテンションを適用しつつ、ブロック間には因果関係アテンションを適用する。これにより、従来の拡散LLMに欠けていたKVキャッシュ（Key-Valueキャッシュ）との互換性が維持されている。自己投機モードでは、まず拡散アテンションパターンを実行してドラフトブロックを並列生成し、次に自己回帰アテンションパターンを実行して、自身の予測と一致する最長の一致プレフィックスを検証する。

■自己投機により「2モデル構成」の運用負荷を解消

投機的デコードは、小さな「ドラフト」モデルが候補トークンを提案し、大きな「ターゲット」モデルがそれらを並列で検証する技術である。1回のフォワードパスで複数の提案トークンを検証するコストは、単一のトークンを生成するコストとほぼ同等であるため、ドラフトモデルの予測精度が高ければ、追加の計算コストをほとんどかけずにスループットを大幅に向上させることができる。

しかし、従来の運用上の制限は、ドラフトモデルそのものの維持にあった。例えば、NeurIPS 2025で発表された優れた補助ヘッド手法である「Eagle3」は、ターゲットモデルの隠れ状態に学習済みのドラフトコンポーネントを取り付ける。これは好条件下で3倍から6.5倍のスループット向上をもたらすが、メインモデルとともにGPUメモリ上に保持し、バージョンを一致させ、ベースモデルが変更されるたびに再調整する必要がある別個のコンポーネントを維持しなければならない。

Nemotron-Labs-Diffusionの自己投機は、ドラフトと検証の役割を単一の重みセットに統合することで、この運用オーバーヘッドを排除する。拡散アテンション経路がドラフト作成を担い、自己回帰アテンション経路が検証を担う。両者は同じKVキャッシュを共有し、処理全体が単一のモデルチェックポイントとして実行される。

また、約3600万パラメータ（8Bモデル全体の約0.4%）の小さなオプションのLoRAアダプターを拡散ドラフト経路に適用することで、その出力をAR検証モデルとより高精度に適合させることができ、精度の低下を最小限に抑えながらステップあたりの承認トークン数を増やすことができる。このアダプターがない状態でも、自己投機はマルチトークン予測（MTP）手法を上回る性能を示し、アダプターを適用することでその差はさらに広がる。

NVIDIAの「SPEED-Bench」評価（バッチサイズ1、コンカレンシー1、GB200 GPU、SGLang実行環境）において、LoRAアダプターを適用した8Bモデルは、ドラフトステップあたり平均6.82個の承認トークンを記録した。これに対し、Eagle3は平均2.75個、マルチトークン予測のベースラインであるQwen3-9B-MTPは平均4.24個であった。コーディング、数学、推論、多言語などの構造化コンテンツタスクではその優位性がさらに顕著になり、Eagle3の平均2.81個に対し、Nemotron-Labs-Diffusionは平均8.69個の承認トークンを記録した。

ただし、これらのスループット向上には、わずかながら精度のトレードオフが存在する。自己投機モードの8Bモデルは、10個の評価タスク全体で平均精度62.81%を記録し、自身の純粋なARモード（63.61%）をわずかに下回ったものの、Qwen3-8B（62.75%）はわずかに上回った。また、論文では2つの特定のタスク、すなわち指示追従（IFEval、3.01%低下）とコード生成（HumanEval、2.44%低下）において性能の低下が報告されている。本番環境のユースケースがこれらのタスクに大きく依存している開発チームは、スループットの向上と精度の低下を天秤にかけて評価する必要がある。

フラグシップであるGB200以外のハードウェア構成における数値も注目に値する。Hugging Face上のNVIDIAの8Bモデルカードによると、一般的なGPUシステムである「DGX Spark」において、自己投機モードの8Bモデルは毎秒112トークンを生成し、自己回帰ベースラインの毎秒41.8トークンに対して2.7倍の性能向上を示した。データセンター向け最上位ハードウェア以外でも、絶対的な数値は下がるものの、有意義なスループット向上が得られることが示されている。

なお、SPEED-BenchはNVIDIA独自のベンチマークであり、同社のハードウェアおよび推論フレームワークを用いて測定されたものである。4倍のスループット向上というヘッドライン数値は、GB200とSGLangという特定のスタックを反映したものであり、H100や一般的なコモディティGPUを使用する実務者がまったく同じ結果を再現できるとは限らない。多様なハードウェアにおける独立した再現検証が、今後のコミュニティの課題となる。

■限界性能を探る「Speed-of-Light」分析

本論文の最も有益な貢献の1つは、並列で安全に確定できるすべての位置を正しく識別できる「仮想的なオラクルサンプラー」を仮定し、1回のフォワードパスあたりの理論上の最大トークン数を推定する「Speed-of-Light（光速）」分析である。この分析によると、ブロック長32における理論上の上限は、フォワードパスあたり平均7.60倍のトークン数に達し、コーディングや多言語コンテンツでは10倍を超える。これに対し、現在の確信度ベースのサンプラーは、同等の精度で約3倍のトークン数を達成している。SPEED-Benchで示された「ステップあたり6.82個の承認トークン」という数値は、特定のサービング構成を反映したものであり、サンプラー自体の生の限界値とは異なる指標である。

実質的な意味として、このアーキテクチャが秘める潜在能力は、今回のリリースで提供されている性能を大幅に上回っているということである。現在のサンプラーとオラクル上限の間には約2倍の開きがあり、モデルの再学習や重みの変更を行わずとも、サンプラーの研究開発だけでさらなるスループット向上が期待できる。論文では、オラクル上限に迫るサンプラーの設計を未解決の研究課題として挙げている。

もう1つの重要なアーキテクチャ上のニュアンスとして、論文では8Bモデルにおいてフォワードパスあたり6.38倍のトークン数と平均精度64.04%を達成する「二次（quadratic）」自己投機バリアントについても言及されている。これは「線形（linear）」バリアントよりも両方の次元でわずかに優れている。しかし、二次バリアントの実機での効率は、現在のハードウェア実装において最適化が進んでいないFlexAttentionカーネルに依存しているため、現時点では線形バリアントの後塵を拝している。理論上の優位性と実用上の優位性が異なる方向を向いているため、モデルを評価するエンジニアは、まず線形バリアントからテストすることが推奨される。

■実務者が評価すべきポイント

モデルファミリーは3B、8B、14Bの3つのサイズで展開され、それぞれにベースモデル、指示調整（Instruction-tuned）モデル、ビジョン言語（Vision-Language）モデルが用意されている。重みは「NVIDIA Nemotron Open Model License」に基づいて公開されており、商用利用が可能である。推論サポートはvLLMおよびSGLangを介して提供されており、SGLangのメインブランチへの3モード切り替え機能の完全な統合は、現在GitHub上で進行中である。

Hugging Faceのチェックポイントにはカスタムのモデリングコードが同梱されているため、ロード時に `trust_remote_code=True` を指定する必要がある。また、CUDA対応のGPUハードウェアが必要であり、PEFTをインストールすることでLoRAを強化した自己投機バリアントを有効にできる。

現在、本番環境でEagle3やマルチトークン予測を運用しているチームにとっての実質的な問いは、「承認率は向上するか」だけでなく、「このモデルを採用することは、ベースモデルファミリーの移行を意味するか」である。答えは「イエス」である。Nemotron-Labs-DiffusionはLlamaやQwenではなく、Ministral3から初期化されている。そのため、非Nemotronモデルに多大なファインチューニング投資を行ってきたチームは、新規にデプロイメントを構築するチームよりも複雑な移行経路に直面することになる。

一方で、これから新しい推論スタックを選択する新規デプロイメントにおいては、Nemotron-Labs-Diffusionを評価する価値は極めて高い。バッチ処理によってGPUが満たされる高コンカレンシー環境では自己回帰モード、逐次的なトークン生成がボトルネックとなる低コンカレンシー環境では自己投機モードといったように、ワークロードに応じて単一のチェックポイントで適応できる。モードの切り替えに必要なのは設定の変更のみであり、アーキテクチャの変更は不要である。

ただし、本論文は公開されたばかりのプレプリントであり、スループットの数値はNVIDIA以外の多様なハードウェアで独立して再現されていない。また、従来の投機的デコードを支える理論的な品質保証（ドラフトモデルと検証モデルが別個ではなく重みを共有している場合に、数学的な承認基準による出力品質の維持が成立するかどうか）は、本論文では解決されていない未解決の理論的課題である。研究チームは自己投機を「拡散ドラフトを検証するための信頼性の高いメカニズム」と表現しているが、標準的な投機的デコードが持つ品質同等性の厳密な証明は、このアーキテクチャにおいてはまだ確立されていない。

この未解決の課題があるからといって、本研究の重要性が損なわれるわけではない。それこそが査読やコミュニティによる独立した再現検証が果たすべき役割である。オープンウェイトとarXiv論文が公開されたことで、これらの検証は直ちに開始されることになる。

■注目ポイントQ&A

●言語モデルにおける「自己投機（Self-Speculation）」とは何ですか？なぜ重要なのですか？

自己投機とは、単一のモデルがドラフト生成器と出力検証器の両方の役割を兼ねる投機的デコードの変種であり、個別のドラフトモデルを用意する必要をなくす技術です。Nemotron-Labs-Diffusionでは、拡散アテンションモードが並列で候補トークンブロックを生成し、自己回帰アテンションモードがそれらを検証します。これらは同じ重みチェックポイントと共有KVキャッシュを使用します。運用上の重要性は、2つのモデルを維持し、バージョンを一致させ、同時にGPUメモリに保持するという、従来の投機的デコードに伴う標準的なオーバーヘッドが不要になり、単一のチェックポイントで両方の役割を処理できる点にあります。

●自己投機は、従来の投機的デコードと同様に出力品質を維持できますか？

従来の投機的デコードには、承認基準が正しく適用されれば、出力分布がターゲットモデル単体で生成したものと完全に同一になるという数学的な保証があります。しかし、この保証はドラフトモデルと検証モデルが独立した分布を持つ別個のモデルであることに依存しています。ドラフトと検証が同じモデルの異なる推論モードであり、重みとKVキャッシュを共有している場合に、同等の品質維持保証が成立するかどうかは、本論文では解決されていない未解決の理論的課題です。研究チームはタスク全体の精度を「同等」と説明していますが、拡散目的関数を追加したことで、指示追従（3.01%低下）やコード生成（2.44%低下）などの特定のタスクで性能低下が報告されています。実務者は、スループットの向上値だけでなく、実際のワークロードにおける品質を評価する必要があります。

●Eagle3と比較してどうですか？移行する価値はありますか？

NVIDIAのSPEED-Bench評価において、Eagle3のドラフトステップあたりの平均承認トークン数が2.75個であるのに対し、LoRAアダプターを適用したNemotron-Labs-Diffusionは平均6.82個を記録しており、約2.5倍の優位性があります。また、Eagle3はターゲットモデルの隠れ状態に合わせた個別の学習済みコンポーネントを必要としますが、Nemotron-Labs-Diffusionは単一のチェックポイントで処理を完結できます。トレードオフはモデルファミリーの固定化です。Nemotron-Labs-DiffusionはMistralのMinistral3から初期化されているため、LlamaやQwenなどの他アーキテクチャに多大なファインチューニング投資を行っているチームにとっては、移行コストが大きくなります。また、これらのスループット数値はNVIDIAのGB200以外のハードウェアで独立して再現されたものではありません。

●拡散言語モデルの速度限界はどこにあり、今回のリリースはどこまで迫っていますか？

論文の「Speed-of-Light（光速）」分析によると、並列で安全に確定できるすべての位置を完全に識別できる理想的なオラクルサンプラーを仮定した場合、ブロック長32において1回のフォワードパスあたり平均7.60倍のトークン数（コーディングや多言語タスクでは10倍以上）が理論上の上限とされています。現在のサンプラーは同等の精度で約3倍を達成しています。SPEED-Benchで示されたステップあたり6.82個という数値は、特定のサービング構成（SGLang、GB200 GPU）におけるものであり、サンプラー自体の生の限界値とは直接比較できません。現在の実装と理論上の上限との間には約2倍の開きがあり、モデルの再学習を行わずとも、サンプラーの設計改善だけでさらなるスループット向上が期待できるとされています。

元記事: Diffusion LLM Learns to Be Its Own Draft Model: NVIDIA Releases Tri-Mode Open Weights