NVIDIA、ドラフトモデル不要で推論を6倍高速化する新LLM「Nemotron-Labs-Diffusion」を発表
2026年7月10日 19:33
NVIDIAの研究チームは、補助的なドラフトモデルを一切必要とせずに、LLMの推論速度を大幅に向上させる新しい言語モデルファミリー「Nemotron-Labs-Diffusion」を発表した。このモデルは1つの重み（ウェイト）セットから3つの異なる生成モードを切り替えることができ、すでにHugging Faceで商用利用可能なライセンスとして公開されている。未査読の論文段階ではあるものの、従来の投機的デコード手法を大きく上回るスループット向上が報告されており、推論コストやVRAM容量に制約のある開発者にとって注目すべき選択肢となりそうだ。
■1つのチェックポイントで3つのモードを切り替え
現在広く普及している大規模言語モデル（LLM）は、テキストを1トークンずつ順番に生成する「自己回帰（Autoregressive）」方式を採用している。この方式は、1トークン生成するたびにGPUメモリから巨大な重み行列をすべて読み込む必要があるため、単一のユーザー要求を処理するような低コンカレンシー（並行性）の環境では、GPUの演算器がデータ移動待ちでアイドル状態になり、メモリ帯域幅がボトルネックになるという課題があった。
これに対し、ブロック単位で並列にノイズ除去を行う「拡散（Diffusion）」言語モデルが開発されてきたが、従来の拡散モデルは自然言語が持つ「左から右へ」という強い構造を無視して学習するため、自己回帰モデルと同等の品質に達するには膨大な学習データを必要とする欠点があった。
NVIDIAが発表した「Nemotron-Labs-Diffusion」は、これら2つのパラダイムを融合させたものだ。自己回帰と拡散の共同目的関数で学習されており、推論時には重みの更新や別ファイルの読み込みを行うことなく、アテンション（注意）パターンを変更するだけで以下の3つのモードを切り替えることができる。
1. 自己回帰モード：標準的な因果的アテンションを使用し、1回のフォワードパスで1トークンを生成する。個別トークンの遅延に関わらずGPUを飽和させることができる、高コンカレンシーなクラウドサーバーでの運用に適している。
2. 拡散モード：固定長のブロックを同時に処理する。ブロック内では双方向のアテンションを行い、ブロック間では因果的アテンションを維持することで、以前のブロックのKVキャッシュ（Key-Valueキャッシュ）を再利用する。軽量な信頼度サンプラーが各マスク位置の予測が正しいかを予測し、閾値を超えたトークンを確定させることで、1回のフォワードパスで複数トークンを確定できる。
3. 自己投機（Self-Speculation）モード：本論文の最も斬新な貢献であり、最大の高速化を実現するモードである。
■「自己投機」がドラフトモデルの課題を解消
投機的デコード（Speculative Decoding）は、軽量な「ドラフト（下書き）」モデルが候補トークンを生成し、強力な「ターゲット」モデルがそれらを並列に検証する技術だ。1回のフォワードパスで複数トークンを検証するコストは、1トークンを生成するコストとほぼ同等であるため、出力品質を落とさずに2〜3倍の高速化を実現できる手法として普及している。
しかし、実用上の制限はドラフトモデルそのものにあった。例えば、NeurIPS 2025で発表された優れた手法「Eagle3」では、メインモデルの隠れ状態を利用して学習された補助的なドラフトコンポーネントを必要とする。これは3.0〜6.5倍の高速化をもたらすが、メインモデルとは別に管理し、GPUメモリに同時にロードし、ベースモデルの変更に合わせて再調整しなければならない。VRAM容量に限りのあるシングルGPU環境やエッジデバイスでは、この「2つのモデルを同時に動かす」という要件が大きな障壁となっていた。
Nemotron-Labs-Diffusionの「自己投機」は、この要件を完全に解消する。同じ重みがドラフト役と検証役の両方を兼ねる。自己投機モードでは、まず拡散アテンション経路が候補トークンのブロックを並列に生成し、次に自己回帰アテンション経路がその候補に対して2回目のフォワードパスを実行して、自身の予測と一致する最長のプレフィックス（接頭辞）を採用する。両方の役割が同一のチェックポイントと共有KVキャッシュで処理されるため、運用オーバーヘッドは実質的にモデル1つ分で済む。
論文によると、拡散ドラフト経路の出力を自己回帰検証器に適合させるための小さなLoRAアダプター（約3600万パラメータ、8Bモデルの約0.4%に相当）をオプションで適用することで、精度をほぼ維持したまま、1ステップあたりに受け入れられるトークン数をさらに増やすことができるという。このアダプターがなくても、自己投機は競合するマルチトークン予測手法を凌駕するとしている。
■共同学習がもたらす相乗効果
研究チームの重要な発見は、自己回帰と拡散の目的関数を同時に学習させることが、ゼロサムゲームではないということだ。拡散学習はモデルの「先読み計画能力（数ポジション先を予測する能力）」を向上させ、自己回帰学習は言語生成を一貫したものにする「左から右への言語的プライア（事前知識）」を提供する。両モードの性能は同じ重み付け係数（拡散損失のα = 0.3）でピークに達し、0.1から0.5の範囲において、一方が他方の犠牲になることなく向上したという。
学習は2段階で行われた。まず「Ministral3」をベースモデルとして、自己回帰目的関数のみで約1兆トークンを学習させ、強力な左から右へのプライアを構築した。その後、256基のNVIDIA H100 GPUを使用し、共同目的関数でさらに3000億トークンの追加学習を行った。アブレーション実験（要素別評価）では、この2段階アプローチにより平均精度が5.74%向上し、自己回帰損失の追加自体が7.48%という単一で最大の改善をもたらしたことが示されている。ベースラインに対する累積的なパイプラインの改善効果は16.05%に達した。
■既存の投機的デコード手法との性能比較
コーディング、数学、科学的推論、指示追従、一般知識など10のタスクにわたる評価において、8B（80億パラメータ）のインストラクトモデルは、自己回帰モードで平均スコア63.61%を記録した。これはQwen3-8Bの62.75%やMinistral3-8B-Instructの58.02%を上回る数値である。さらに、LoRAアダプターを適用した自己投機モードでは、平均精度62.81%を維持しながら、1回のフォワードパスあたり5.99倍のトークンを生成した。精度はわずかに低下しているものの、6倍のスループット向上を考えれば、多くの実用開発チームにとって許容範囲内と言える。
SPEED-Benchを用いた評価では、LoRAアダプターを適用したNemotron-Labs-Diffusionは、1ドラフトステップあたり平均6.82トークンを受け入れた。これに対し、Eagle3は平均2.75トークン、マルチトークン予測のベースラインであるQwen3-9B-MTPは平均4.24トークンであった。コーディングや数学、推論、多言語タスクなどの構造化コンテンツ分野ではその差がさらに広がり、Nemotron-Labs-Diffusionが平均8.69トークンだったのに対し、Eagle3は2.81トークンにとどまった。
また、14B（140億パラメータ）スケールでは、1回のフォワードパスあたり5.96倍のトークン生成で平均精度66.36%を達成し、標準的な自己回帰モードのQwen3-14B（65.17%）を上回った。さらに、ビジョン言語（マルチモーダル）モデルのバリアントでも同様のフレームワークが拡張され、自己回帰モードと比較して平均精度の低下をわずか0.1%に抑えつつ、自己投機モードで3.63倍から7.45倍のトークン生成を実現した。
■自己投機はどこまで高速化できるか
本論文の興味深い貢献の1つに、並列デコードの理論的限界値を推定する「Speed-of-Light（光速）」分析がある。これは、並列に確定できる位置を完全に識別できる「オラクル（神託）サンプラー」が存在すると仮定したシミュレーションである。
ブロック長32の場合、オラクルサンプラーを使用すると、1回のフォワードパスあたり平均7.60倍のトークンを生成でき、コーディングや多言語コンテンツでは10倍を超える。現在の信頼度ベースのサンプラーは、同等の精度で約3倍のトークン生成を達成している。現在の実用値と理論的限界値の間には大きな乖離があり、研究チームはこの限界に迫るサンプラーの設計が未解決の課題であると指摘している。これは、今回示された「1ステップあたり6.82トークン」という優れた数値さえも、今後のサンプラーの改良のみで、モデルの重みや学習方法を変えることなくさらに向上できる可能性を示唆している。
■推論時のモード切り替えと利用方法
推論時のモード切り替えにアーキテクチャの変更は不要で、同じモデルオブジェクトに対するAPI呼び出しを変更するだけでよい。自己回帰モードでは通常の `ar_generate()` を呼び出し、拡散モードではブロック長と信頼度閾値を設定して `generate()` を呼び出す。自己投機モードでは `linear_spec_generate()` を使用する。また、検証位置を同時に準備する2次バリアント用のメソッドも用意されており、これを使用すると8Bモデルで平均精度64.04%を維持しながら、1回のフォワードパスあたり6.38倍のトークン生成に達する。
Hugging Faceのチェックポイントにはカスタムモデリングコードが同梱されているため、ロード時には `trust_remote_code=True` を指定する必要がある。また、実行にはCUDA対応のGPUハードウェアが必要となる。オプションでPEFTをインストールすることで、LoRAで強化された自己投機モードが有効になる。主要な推論スタックであるvLLMおよびSGLangは、すでにこのモデルをサポートしている。
論文の著者らは、この設計を「アーキテクチャやパイプラインを変更することなく、さまざまなデプロイシナリオで一貫して高いスループットを提供するシステム」と表現している。モデルの重みは、Hugging Faceの「nvidia/Nemotron-Labs-Diffusion-3B」、「-8B」、「-14B」として公開されている。
■注目ポイントQ&A
●LLMにおける「自己投機（Self-Speculation）」とは何ですか？なぜ推論において重要なのですか？
自己投機とは、同一のモデルが「ドラフト（下書き）生成器」と「検証器」の両方の役割を果たす投機的デコードの変種です。従来の投機的デコードで必要だった、メインモデルとは別の軽量なドラフトモデルを用意する必要がありません。Nemotron-Labs-Diffusionでは、拡散アテンション経路が並列に候補トークンを提案し、自己回帰アテンション経路がそれらを検証します。これらはすべて同じ重みチェックポイントと共有KVキャッシュ内で処理されます。これにより、2つのモデルを同時にロード・維持する運用オーバーヘッドがなくなり、シングルGPUやVRAM容量に限りのある環境でも、高品質な投機的デコードを利用できるようになります。
●既存の手法「Eagle3」と比較してどうですか？移行すべきでしょうか？
SPEED-Benchの評価において、Eagle3は1ドラフトステップあたり平均2.75トークンを受け入れるのに対し、LoRAアダプターを適用したNemotron-Labs-Diffusionは平均6.82トークンを受け入れ、約2.5倍の差をつけています。また、Eagle3はターゲットモデルの隠れ状態に合わせて個別に学習されたドラフトコンポーネントが必要ですが、Nemotron-Labs-Diffusionは単一のチェックポイントのみで自己投機が可能です。ただし、移行するということは、既存の微調整（ファインチューニング）済みモデルを高速化するのではなく、新しいベースモデルファミリー（Ministral3から初期化された8Bモデルなど）を採用することを意味します。新規デプロイやモデル選択に柔軟性があるチームにとっては移行のメリットは大きいですが、既存モデルへの投資が大きい場合は慎重な検討が必要です。なお、本論文は公開されたばかりのプレプリントであり、第三者による独立した再現検証はまだ行われていません。
●自己投機の高速化には限界がありますか？現在地からどれくらい離れていますか？
はい、限界は存在します。論文の「Speed-of-Light（光速）」分析によると、並列確定できる位置を完璧に識別できる理想的な「オラクルサンプラー」をブロック長32で使用した場合、1回のフォワードパスあたり平均7.60倍（コーディングや多言語タスクでは10倍以上）のトークン生成が可能とされています。現在のサンプラーの実力値は約3倍です（SPEED-Benchで示された6.82という数値は、SGLangやGB200 GPUなどの特定のサービング構成を反映したものです）。研究チームは、この理想的な限界に近づくサンプラーの設計を未解決の課題として挙げており、今後のサンプラー研究によって、モデルの重みや学習方法を変更せずともさらなるスループット向上が期待できるとしています。
●これらのモデルは商用利用できますか？どこからダウンロードできますか？
はい、商用利用可能です。モデルの重みは商用利用を許可する「NVIDIA Nemotron Open Model License」の下でリリースされています。Hugging Faceの「nvidia/Nemotron-Labs-Diffusion-3B」、「-8B」、「-14B」から、ベースモデルやビジョン言語モデルのバリアントを含めてダウンロードできます。推論はvLLMおよびSGLangでサポートされています。また、アーキテクチャや学習手順を説明したプレプリント論文はarXivで無料公開されています。
元記事: NVIDIA’s New LLM Decodes 6x More Tokens Without an Auxiliary Draft Model