NVIDIA、1兆パラメータ規模まで拡張可能なエージェント強化学習基盤「Molt」をオープンソース化

NVIDIAのNeMo Labsは2026年7月22日、PyTorchネイティブのエージェント強化学習（RL）フレームワーク「Molt」をオープンソース化した。Moltのテクニカルレポートによると、半日で全体を読み通せるほどコンパクトでありながら、本番向けのMegatronスタックと統計的に同等のスループットで、1兆パラメータ規模の混合エキスパート（MoE）モデルを学習できるという。このフレームワークは今週、機械学習研究コミュニティで関心を集め、主要な論文発見経路となっているHugging Face Papersで取り上げられたことで、より幅広い層に知られるようになった。

■外部検証ツールによる報酬への移行とミニマリズム

AIラボが、ウェブの閲覧、コードの記述と実行、GUIの操作、マルチエージェントパイプラインでの協調が可能なエージェントの学習に多額の投資を行うなか、これらのシステムを実際に実験するためのインフラは、この分野における最も明確なボトルネックの1つとなっている。ChatGPT、Claude、Geminiの学習に用いられた従来の人間のフィードバックによる強化学習（RLHF）は、高コストな人間の選好データから構築した学習済み報酬モデルに依存している。一方、テストスイート、ツールの実行結果、数学的な検証器、あるいはロールアウトを駆動するものと同じサービングスタックを経由したLLM-as-a-judgeの呼び出しなど、外部の検証手段から報酬信号を得る場合、人間によるアノテーションのボトルネックはなくなる。Moltはこの後者の世界に向けたインフラであり、その違いを軸に設計されている。

オーバーヘッドの問題に対するMoltの答えは、意図的なミニマリズムである。MoltのGitHubリポジトリによると、RLコードベース全体は、オンライントレーナー、ロールアウトワーカー、Rayによるオーケストレーションという3つの薄いレイヤーにまたがる約8,600行で構成されている。Moltのフレームワーク比較表に示された他の選択肢と比べると、この数字の意味が分かりやすい。OpenRLHFは約7,200行、slimeは約25,000行であるのに対し、本番向けの幅広い機能を備える主要フレームワークのverlは、対象範囲が広いため約62,000行に達する。コードベースが大きくなれば、アルゴリズムを変更する前に理解すべき範囲が広がり、変更によって意図しない副作用が生じ得る箇所も増え、習熟までのハードルも高くなる。Moltが明確に重視しているのは、本番用途の幅広さではなく研究のスピードであり、コード行数はその選択を直接表している。

■3つのコンポーネントと単一の非同期ループ

テクニカルレポートのアーキテクチャに関する説明によると、Moltは単一の非同期キューを中心に、実績のある3つのオープンソースコンポーネントを組み合わせている。Rayは分散配置とロールアウト・学習間の非同期バッファを担当し、vLLMはロールアウト時の高スループットなトークン生成を担い、FSDP2を使用するNVIDIA AutoModelが学習アクターを実行する。これがスタックの全体である。重みの更新は、リクエストルーターを迂回して、FSDPアクターからvLLMエンジンへNCCL経由で直接返されるため、通信経路を短く保てる。

この簡潔さを可能にしているアーキテクチャ上の方針が、単一アクターモデルである。テクニカルレポートの設計根拠に関する説明によると、一般的なRLフレームワークのようにアクター、クリティック、報酬モデルの各ワーカーを個別に維持するのではなく、Moltは任意でKL参照モデルを組み合わせた、1つの学習可能なアクターをデフォルトとしている。すべての勾配が明示され、すべての損失項が1つのファイルに収められているため、研究者は複数のサブシステムを行き来することなく、計算グラフ全体を追跡できる。ただし、これは明確なトレードオフでもある。安定性のために独立したクリティックを必要とする本番フレームワークや、報酬モデルを個別に細かく調整する必要がある用途には、別のツールが必要になる。Moltは対象範囲を明確に定め、その範囲に徹している。

Moltは「トークンファースト契約」と呼ぶ仕組みを採用している。トークンID、対数確率、アクション範囲、報酬、マルチモーダルテンソルを、ロールアウトから学習まで一貫して対応付けるものだ。ロールアウトと学習で異なる推論経路を使うシステムでは、この整合性が自動的に保たれるとは限らない。テクニカルレポートのトークンファーストに関する説明によると、双方が独立して計算すると、名目上は同一の重みであっても、トークン化の違い、マルチモーダルのレンダリングパイプライン、数値精度の差によって、微妙に誤った勾配としてしか現れない検出困難な不一致が生じる可能性がある。トークンファースト契約は、処理を一貫してトークン空間内で行うことで、再トークン化によるずれを排除する。

■1兆パラメータの学習におけるMoEルーティングの安定化

9,200行未満のフレームワークで1兆パラメータ規模のモデルを学習できるという主張には、詳しい検討が必要である。テクニカルレポートのMoEに関する説明にあるように、フロンティア規模の混合エキスパートモデルには、コンパクトなフレームワークでも明示的に対処しなければならない特有の障害モードがあるためだ。

MoEモデルでは、各トークンが、学習によって獲得されたゲート関数により「エキスパート」ネットワークの一部へ振り分けられる。ロールアウトを担当するvLLMと、学習のフォワードパスを担当するFSDPがこのルーティングを別々に計算すると、重みが同一であっても、fp16またはbf16とfp32の計算経路の数値差、異なるカーネル実装、非同期更新による重みバージョンの遅れなどが原因で、トークンを送るエキスパートが一致しない場合がある。ルーティングが一致しなければ、重要度サンプリングに使用するトークン単位の対数確率が、実際にそのトークンを生成したエキスパートとは異なるエキスパートに基づいて計算される。その結果、偏りのある勾配が生じたり、勾配が棄却されたりし、その影響が層を重ねるごとに蓄積する。

Moltは、MoE強化学習の安定化に関する既発表の研究を応用したRouter Replay（R3）によって、この問題に対処している。MoltリポジトリのMoEルーティング安定性に関する説明によると、R3では、vLLMが生成時に選んだトークン単位の上位k個のエキスパートを返し、学習時のフォワードパスでその選択を正確に再現する。ゲートのロジットは現在の重みから改めて計算されるため、ルーターへの勾配の流れは維持される。一方、離散的なルーティング判断はvLLMが選択したものに固定されるため、両者の不一致を解消できる。それでも不十分な場合に備え、Moltはゲートの重みを固定するルーターフリーズも用意している。ただし、この方法ではルーターが学習できなくなり、多くの構成ではR3を使えば不要となる。

これを補完する仕組みが、非同期ロールアウトに伴うタイミングの問題をより広く扱う。学習アクターがロールアウトバッチの合間に重みを更新すると、ロールアウト時に計算した対数確率（pi_rollout）と、更新後のポリシーが割り当てる対数確率（pi_train）との間にずれが生じる。標準的な修正方法は重要度サンプリング補正であり、各トークンの勾配をpi_train / pi_rolloutの比率でスケーリングする。テクニカルレポートのIS補正に関する説明によると、MoltのIS補正システムでは、補正の粒度をトークン単位、シーケンス単位、幾何平均ベースから選択できる。さらに、許容範囲を外れた比率についても、マスクして勾配をゼロにする、クリップする、打ち切るという処理を個別に指定できる。研究者は2つのコマンドラインフラグを変更するだけで、TIS、IcePop、MIS方式のシーケンスマスキングといった既存手法を、統一されたコードベース上で再現できる。

■エージェントの接続とコンテキストの圧縮

研究者にとってMoltの実用的な設計上の選択肢の1つが、RLフレームワークと学習対象のタスク環境をつなぐインターフェースである「エージェント契約」だ。

Moltの各実行では、AgentRunnerをエクスポートする単一のPythonモジュールを指定する。研究者は2つの方式から選択できる。テクニカルレポートのエージェント契約に関する説明によると、EnvインターフェースはGymnasium形式のstep/reset APIに従い、フレームワークがvLLMのループを制御して、生成のたびに研究者が実装したstep関数を呼び出す。ChatAgentインターフェースではさらに、OpenAI Chat Completionsの通信プロトコルとAnthropic Messages APIの両方に対応するFastAPIサーバーが、Moltによって自動的に起動される。MoltリポジトリのChatAgentドキュメントによると、ブラウザ自動化ツール、評価ハーネス、外部のコーディングエージェントなど、標準的なOpenAIまたはAnthropicのSDKクライアントをすでに使用するエージェントは、同じクライアントを通じてRL学習ループを実行できる。フレームワークは、その過程におけるトークン単位で厳密な軌跡全体を自動的に記録する。

これは、既存のフレームワークが見落としがちな実務上の事情に対応するものだ。実際のエージェントは、モデルのコンテキストウィンドウ内に収めるため、エピソードの途中で以前のやり取りを要約または削除し、コンテキストを書き換えることが多い。コンテキストを「圧縮」するステップで、既存のプレフィックスに追加するのではなくプレフィックス自体を書き換えると、重要度サンプリングに必要な、トークン単位で厳密な一貫した軌跡が壊れてしまう。テクニカルレポートのコンテキスト圧縮に関する説明によると、Moltのサーバーはこれを自動的に検出し、現在の軌跡セグメントを確定してから、新しいセグメントを開始する。そのうえで、エージェント側を変更することなく、エピソードの最終報酬をすべてのセグメントに配分する。

■アルゴリズムと蒸留モード

Moltリポジトリのアルゴリズムに関する説明によると、MoltにはREINFORCE、ベースライン付きREINFORCE、RLOO、GRPO、DR-GRPO、GAE（PPO向け）、オンポリシー蒸留という7種類のアドバンテージ推定法が標準で用意されている。特に注目すべきなのが蒸留モードである。テクニカルレポートの蒸留に関する説明によると、単一のフラグ「--algo.advantage.estimator on_policy_distill」を指定すると、KL参照モデルが固定された教師モデルとなり、生徒モデルは自身のオンポリシーサンプルに対するトークン単位の逆KLダイバージェンスを使って学習する。スカラー報酬は不要で、マルチターンのツール利用分布を特に再現する場合を除き、タスクエージェントも必要ない。これにより、明示的な報酬関数を構築することなく、同じモデルファミリーに属する、より大規模または高性能なモデルの分布に合わせられる。

リポジトリには、数学タスク向けのQwen3-4Bと、幾何学的な視覚推論向けのQwen3.6-35B-A3Bについて、エンドツーエンドのレシピが収録されている。Moltリポジトリのレシピに関する説明によると、シングルノード向けのクイックスタートと、マルチノードクラスター向けのSlurm構成の両方が用意されている。規模の目安として、Qwen3.6-35B-A3Bのレシピでは、総パラメータ数350億、アクティブパラメータ数36億の視覚言語MoEモデルを学習する。これは、小規模な密モデルを扱うものと同じスクリプトを、変更せずにフロンティア級のMoE学習へ振り向けられることを示している。

■Megatronベースラインとの性能比較

テクニカルレポートの性能比較に関する説明によると、Moltの中心的な性能上の主張は、条件をそろえた完全非同期プロトコルにおいて、そのスループットが最先端のMegatronベースのスタックと統計的に同等だったというものだ。この主張が正しければ、ミニマリズムは単なる美学ではなく、実用上の利点となる。研究者は、読みやすいフレームワークを使うためにスループットを犠牲にせずに済むためだ。

ただし、ここでは2点を明確にしておく必要がある。第一に、この比較はMoltの開発者による自己申告であり、この数値を裏付けたり否定したりする独立した第三者のベンチマークは、現時点では公表されていない。第二に、1つの条件をそろえたプロトコルで「統計的に同等」であっても、あらゆるワークロードで同等になるとは限らない。独自のMoEトポロジーを用いて、長期間にわたるマルチノード学習を実施する本番チームは、自らの環境で確認できるまで、この数値を大まかな目安として扱うべきである。

Moltは、本番環境へのデプロイを担うフレームワークとして位置付けられているわけではない。READMEにも明記されているように、商用規模で継続的なスループットを最適化するチームには、verlや本番向けのNeMo RLの方が適している。Moltが提供するのは、勾配に関係するすべてのファイルを半日で読み通し、新しい推定法を1ファイルの変更で試作し、オーケストレーション層を書き換えることなく、その試作をDeepSeek-V3級の規模で実行できる環境である。フロンティアに近いエージェント研究に取り組むラボが増えるなか、読みやすく、最小限で、実際にスケールできるという組み合わせは、ますます希少になっている。

論文とコードはすでに公開されている。arXiv上のテクニカルレポートと、Dockerコンテナやレシピスクリプトを含むオープンソースリポジトリを利用できる。

■注目ポイントQ&A

●MoltはOpenRLHFのようなRLHFフレームワークとどう違い、なぜ重要なのですか。

RLHFフレームワークは、人間による選好順位のデータから独立した報酬モデルを学習し、その学習済み報酬に基づいてポリシーを最適化します。Moltは、検証可能な報酬を用いる強化学習という、異なる方式に向けて構築されています。報酬信号は、テストスイート、数学的な検証器、ツールの実行結果、LLM-as-a-judgeの呼び出しなど、外部の検証手段から得られます。これにより、RLHFの主要なスケーリング上の制約となってきた、高コストな人間によるアノテーション工程を回避できます。OpenRLHFは約7,200行のRLコードでRLHFの幅広い用途を対象としています。一方、Moltは約8,600行で、報酬が人間のラベラーではなく環境から返される、エージェント型、マルチターン、ツール利用型の学習シナリオに特化しています。

●Moltは実際にDeepSeek-V3のような大規模モデルを学習できるのですか。また、何が必要ですか。

適切なハードウェア構成があれば可能だとされています。Moltは、テンソル並列、エキスパート並列、コンテキスト並列を組み合わせたFSDP2をサポートしています。DeepSeek-V3級のMoE構成では、256分割のエキスパートシャーディングを行うエキスパート並列として「--fsdp.ep_size 256」を指定し、最大規模のアクター向けにGPUメモリを確保するため、AdamのCPUオフロードも使用します。この規模では、vLLMと学習時のフォワードパスとのMoEルーティングの不一致によって勾配が損なわれることを防ぐため、Router Replay（R3）が必要とされています。コードベースを書き換えずに対応できるという主張は、80億パラメータの密モデルとフロンティア級のMoE構成を同じスクリプトで実行できることに基づいています。

●Router Replay（R3）とは何ですか。なぜMoEの学習に重要なのですか。

混合エキスパート（MoE）モデルでは、各トークンが、学習によって獲得されたゲートにより、エキスパートネットワークの一部へ動的に割り当てられます。ロールアウトエンジンのvLLMと学習エンジンのFSDPがこの割り当てを別々に計算すると、名目上は同一の重みであっても、fp32とbf16の計算経路における数値精度の差によって、異なるエキスパートが選ばれる可能性があります。その場合、勾配推定に使う対数確率が、実際にトークンを生成したエキスパートとは異なるエキスパートに基づいて計算されるため、GRPOなどのアルゴリズムが前提とする重要度サンプリングの仮定が崩れます。R3では、vLLMが生成時に実際に選んだエキスパートのルーティングを記録し、学習時のフォワードパスで再現します。これにより、ゲートの重みを更新して学習を続けながら、双方で同じルーティングを使用できます。

●Moltは本番環境ですぐに利用できますか。それとも主に研究用のツールですか。

Moltは明確に研究用のツールです。READMEとテクニカルレポートの双方にその旨が記載されています。verlや本番向けのNeMo RLが対象とするような、長期間のマルチノード本番学習や幅広いアルゴリズムへの対応を目的として設計されたものではありません。Moltの価値は、研究開発のスピードにあります。新しいアドバンテージ推定法の試作、ロールアウト方式の変更、パイプライン段階の追加などを行う研究者が、約62,000行のコードベース全体をたどることなく、半日ほどで変更できることを目指しています。本番環境にエージェントをデプロイするチームは、Moltを迅速な反復実験のための研究環境として使用し、継続的な運用には本番向けのインフラへ移行する必要があります。

元記事: NVIDIA Molt Open-Sources Agentic RL Training That Scales to Trillion-Parameter Models