NVIDIA、単一ロールアウト型RL「FlashREINFORCE」公開 数学課題でGRPOの半分の試行数
2026年9月16日 19:55
NVIDIAの研究チームは2026年9月、AIエージェントの非同期強化学習に向けたアルゴリズム「FlashREINFORCE」を公開した。技術報告書によると、数学推論では比較対象のGroup Relative Policy Optimization（GRPO）を上回る平均精度を、半分のロールアウト数で記録したほか、ツール利用や対話型エージェントの実験でも安定した学習結果を示したという。コードはApache License 2.0で公開されているが、ベンチマーク結果は研究チームによる報告であり、公開直後の時点では第三者による独立した再現結果は確認されていない。
■AIエージェントの学習で課題となる同期コスト
FlashREINFORCEは、クリティックと呼ばれる価値推定モデルや、同一プロンプトに対する複数の応答を一組として比較する仕組みを使わず、プロンプトごとに1本のロールアウトを生成して学習する。ロールアウトとは、モデルが応答や行動を生成し、その結果から報酬を得る一連の試行を指す。
技術報告書の著者はJian Hu、Yifan Zhang、Hao Zhang、Binfeng Xu、Shaokun Zhang、Hongqing Peng、Zhiding Yu、Pavlo Molchanov、Jan Kautz、Yi Dongで、いずれもNVIDIAに所属している。研究チームは、言語モデル向け強化学習で複雑化してきた方策勾配法の周辺機構を見直し、より単純なREINFORCEを非同期学習に適用できるようにすることを目指した。
AIエージェントを強化学習で訓練する際には、学習信号の安定性と計算効率の両立が課題になる。エージェントは行動の結果から、望ましい振る舞いを強めるようにパラメータを更新するが、1本の軌跡だけから得られる学習信号はばらつきが大きくなりやすい。
GRPOは、同じプロンプトに対して複数の応答を生成し、グループ内の相対的な報酬から各応答の優劣を判断する。学習済みのクリティックを必要としない一方、通常はグループを構成する複数のロールアウトがそろってから更新を行う。
短い数学問題のように各応答の生成時間が近い場合、こうした同期の負担は比較的小さい。一方、Web閲覧、コードの記述と実行、複数回のツール呼び出しなどを含むエージェントタスクでは、軌跡の長さや処理時間が大きく異なる。グループ内で最も遅いロールアウトを待つ必要があるため、計算資源を十分に活用できない時間が生じる可能性がある。
非同期学習によって待ち時間を減らそうとすると、別の課題も生じる。軌跡を生成した時点の方策と、実際に学習へ利用する時点の方策との間にずれが生じるためである。このずれを適切に扱わなければ、古い方策から得たデータが不安定な更新につながり得る。
FlashREINFORCEの技術報告書に掲載されたPythonツール利用実験では、比較対象のGRPOは学習ステップ600で平均スコア30.3となり、Pythonツールを呼び出さなくなった。一方、FlashREINFORCEは同じステップで平均スコア37.0を記録し、軌跡当たり平均3.25回のツール呼び出しを維持した。これは特定の実験条件における比較結果であり、GRPOがあらゆる構成で同様の挙動を示すことを意味するものではない。
■単一ロールアウトを支える3つの仕組み
FlashREINFORCEは、Ronald Williamsが1992年に発表した方策勾配法「REINFORCE」を基礎としている。研究チームは、単一軌跡を使う手法で問題になりやすい学習信号の分散、非同期学習に伴う方策のずれ、軌跡の長さによる重みの偏りに対し、3つの仕組みを組み合わせた。
第1の「One-Batch REINFORCE」は、同一プロンプトから生成した応答群ではなく、異なるプロンプトから得た独立した軌跡をバッチ化する。各軌跡の報酬からバッチ全体の平均報酬を差し引き、平均を上回った軌跡には正、下回った軌跡には負のアドバンテージを与える。
この方法では、価値を予測するクリティックや、同一プロンプトから生成する複数の兄弟ロールアウトを必要としない。各バッチで1回だけ最適化を行い、そのバッチを繰り返し利用しないことで、同じデータに対する連続更新に伴う方策のずれも抑える。
固定されたN本のロールアウトを、プロンプトごとに1本ずつ割り当てれば、最大でN種類のプロンプトを学習に利用できる。同じプロンプトにG本ずつ割り当てるグループ方式では、対象となるプロンプト数はN/Gとなるため、単一ロールアウト方式には、一定の試行数でより多様なプロンプトを扱える利点がある。
第2の「Sequence Trust Region」は、軌跡を生成した行動方策と、学習時の現在方策とのずれを軌跡単位で検査する。FlashREINFORCEは、生成時に実際に使われた各トークンの確率を保存し、それを現在方策の確率と比較して重要度比を計算する。
トークン単位の重要度サンプリングは、保存された履歴を条件とする行動確率の違いを補正する。一方、履歴そのものは古い方策によって生成されている。そこでSequence Trust Regionは、軌跡内の各トークンについてBernoulli KLの近似値を求め、その平均が設定したしきい値を超えた軌跡を学習対象から除外する。
この仕組みにより、現在方策から大きく離れた軌跡は勾配更新に寄与しない。価値ネットワークを追加する代わりに、軌跡を受け入れるかどうかを判断する1つのしきい値を設ける構成である。
行動と学習を分離し、古くなった軌跡を補正する発想は、DeepMindが2018年に発表した非同期アクター・ラーナー方式「IMPALA」にも通じる。FlashREINFORCEは、可変長のトークン列を生成する言語モデル向けに、トークン単位の重要度補正と軌跡単位のずれの検査を組み合わせている。
第3の「Sample-Mean Optimization」は、軌跡の長さによって更新への影響が偏ることを防ぐ。すべてのトークンの損失を一括して平均すると、長い軌跡は、内容とは無関係に短い軌跡より大きな重みを持ちやすい。
FlashREINFORCEは、まず軌跡ごとにトークン数で平均し、その後に軌跡間で平均を取る。これにより、長い失敗が更新を過度に支配したり、短い成功の信号が埋もれたりすることを抑え、軌跡の長さにかかわらず各サンプルを等しく扱う。
3つの仕組みを組み合わせることで、完了した軌跡を非同期キューからバッチとして受け取り、1回の更新後に破棄する学習ループを構成する。クリティックや同一プロンプトの兄弟ロールアウトを待たずに更新できる点が、FlashREINFORCEの中心的な特徴である。
■数学推論では半分のロールアウト数
数学推論の実験では、Qwen2.5-Math-1.5Bを使用し、MATH-500、AMC23、Minerva、AIME25、OlympiadBenchの5つのベンチマークで評価した。技術報告書によると、FlashREINFORCEの平均精度は38.0、比較対象のGRPOは36.3で、差は1.7ポイントだった。
この比較でFlashREINFORCEが使用したロールアウト数は25万6000本、GRPOは51万2000本だった。したがって、半分のロールアウト数という結果は、この数学推論実験における比較を指す。ロールアウト数の削減が、学習全体の計算量、実行時間、必要なGPU数を常に同じ割合で削減するとは限らない。
Pythonツール利用の実験では、Qwen2.5-7B-Instructを訓練した。FlashREINFORCEはステップ600で3つのタスクの平均スコア37.0となり、軌跡当たり平均3.25回のツール呼び出しを記録した。比較対象のGRPOは同じステップで30.3となり、Pythonツールを呼び出さなくなった。
長期学習の実験では、DeepSeek-R1-Distill-Qwen-1.5Bを使用し、軌跡の収集後に方策が平均で約4回更新される条件で、6000更新ステップまで学習を続けた。報告書では、AIME24とAIME25の平均精度が21.7から33.7へ向上したとしている。
300億パラメータのQwen3-30B-A3B Mixture of ExpertsモデルによるPythonツール利用実験では、方策ラグが約8更新となる非同期条件でも学習を継続し、同じ試行予算で比較したGRPOを6.8ポイント上回ったという。
対話型テキストエージェントのベンチマークであるALFWorldでは、Qwen2.5-7B-Instructを使用し、学習ステップ200で既知タスクの成功率98.3%、未知タスクの成功率96.5%を記録した。リポジトリの概要では、この実験に数学推論とは異なるタスク設定が用いられていることも示されている。
これらの数値はNVIDIAの研究チームが技術報告書と公開リポジトリで示した実験結果である。FlashREINFORCEの有効性や計算効率を一般化するには、異なるモデル、タスク、学習基盤を用いた独立検証が必要になる。
■単純な方策勾配法を非同期学習へ適用
FlashREINFORCEが示すのは、REINFORCEをそのまま適用するだけでなく、バッチ平均による報酬の中心化、トークン単位の重要度補正、軌跡単位のドリフト検査、軌跡長による正規化を組み合わせれば、単一ロールアウトによる非同期学習を安定させられる可能性である。
GRPOは、PPOで使われる学習済みクリティックを使わず、同一プロンプトから得た応答群の相対評価を学習信号とする。FlashREINFORCEはさらにグループ構造を取り除き、異なるプロンプトから得た軌跡を1つのバッチで扱う。
数学推論の実験では、ロールアウト数を25万6000本に抑えながら、51万2000本を使ったGRPOより1.7ポイント高い平均精度を記録した。固定されたロールアウト予算でより多くのプロンプトを扱えるため、同じ試行数の範囲で学習対象を広げたり、複数の設定を比較したりできる可能性がある。
一方、実際の計算負荷には、ロールアウトの生成だけでなく、モデルの前向き計算と逆伝播、方策の更新、重みの同期、ツールや外部環境との通信なども含まれる。このため、数学実験でロールアウト数が半減したことから、学習費用、GPU数、実行時間も一律に半減すると結論付けることはできない。
■Moltと参照実装を公開
FlashREINFORCEのリポジトリはApache License 2.0で公開されている。リポジトリには、PyTorchによる参照損失関数、CPUでオプティマイザ更新を確認する例、NVIDIAのエージェント向け強化学習フレームワーク「Molt」を使うランチャー、各実験の設定資料が含まれる。
CPU向けの例は、損失関数とオプティマイザの更新が動作することを確認するためのものであり、報告書に掲載されたベンチマーク結果を再現するものではない。推論、Pythonツール利用、Mixture of Experts、ALFWorldの実験には、それぞれ対応するモデル、エージェント、実行環境、GPU学習基盤が必要になる。
Moltは、PyTorchを基盤とする非同期のエージェント強化学習フレームワークとして2026年7月に技術報告書とコードが公開された。FlashREINFORCEの公開リポジトリに含まれるランチャーは、Moltの非同期学習実装を利用する。
実装時には、ロールアウト生成時に推論エンジンが実際に使用した行動方策の確率を、軌跡とともに保存する必要がある。後から同じモデルを使って確率を再計算しても、生成時の推論条件によっては、実際にサンプリングに使われた値と一致しない可能性があるためである。
また、重要度サンプリングによる厳密な補正には、現在方策が選び得る行動を行動方策も選べるという条件が関係する。生成時にtop-kやtop-pによる強い切り詰めを行う構成では、この前提を満たさない場合があるため、実装側でサンプリング設定を含めて検討する必要がある。
■GRPOを全面的に置き換えるものではない
Moltは、GRPOを含む複数のアドバンテージ推定方式を引き続き提供している。FlashREINFORCEの公開は、NVIDIAがGRPOの提供を終了したことを意味しない。
同期型の学習環境で、各ロールアウトの長さや完了時間が近いタスクでは、グループ方式の同期コストは比較的小さい。FlashREINFORCEが主に対象とするのは、軌跡の長さが不規則で、ツールや外部環境とのやり取りを含み、学習とロールアウトを非同期で進めるエージェントタスクである。
公開された比較では、数学推論における平均精度の差は1.7ポイントだった。一方、Pythonツール利用では、FlashREINFORCEがツール呼び出しを維持したのに対し、比較対象のGRPOはステップ600で呼び出さなくなった。今後、異なる実装と条件による再現研究が進めば、単一ロールアウト方式が有効なタスクと、GRPOなどのグループ方式が適するタスクの範囲がさらに明確になるとみられる。
元記事: NVIDIA Open-Sources FlashREINFORCE: Half Rollout Cost, Better Accuracy