ロボット動画の物理整合性を学習時に改善　PhysisForcing、閉ループ操作の成功率向上を報告

北京大学とNVIDIAの研究者らは、ロボット操作を予測する動画生成モデルの物理的な整合性を高める学習手法「PhysisForcing」を発表した。論文では、推論時の追加処理を必要とせず、シミュレーター内の閉ループ操作成功率が16.0％から24.0％に上がったと報告している。数値は研究チームによる評価結果だ。

■ロボット操作動画で起きるずれ

動画世界モデルは、現在の場面から次に起きる動きを予測し、ロボットの行動計画や学習に利用される。映像が自然に見えても、把持した物体がグリッパーから離れたり、押した物体が接触に応じて動かなかったりすれば、予測された行動の結果としては不自然になる。

研究チームは、生成動画に見られる問題として、動く物体の形が崩れることと、接触する対象どうしの位置関係や動きにずれが生じることを挙げた。PhysisForcingは、物体の軌跡と、ロボット・物体・周囲の領域間の関係を学習時にそろえる手法だ。

動画の見た目を整える学習だけでは、接触が起きる狭い領域の動きが十分に重視されない場合がある。そこで、ロボットの手先や操作対象など、相互作用に関わる領域へ学習の重点を置く。

■軌跡と領域間の関係を学習

まず、点追跡モデルのCoTracker3で参照動画内の点の動きを追い、深度推定も使って、動きのある前景を選ぶ。得られた軌跡から、ロボットと物体の相互作用が起きやすい領域を示すマスクを作る。画面全体を一律に扱うのではなく、この領域に学習の信号を集中させる仕組みだ。

一つ目の損失関数は、動画生成モデルの中間特徴から推定した点の軌跡を、参照動画の軌跡に近づける。これにより、手先や物体の動きが途中で飛ぶようなずれを抑える。

二つ目の損失関数は、事前学習済みの動画理解モデルが捉えた領域間の関係を、生成モデルの中間特徴に反映させる。把持中の物体とグリッパーの動きなど、複数の領域にまたがる整合性を狙う。二つの損失関数は微調整時に併用し、推論時には補助モデルを動かさない。

■動画評価と操作評価の結果

研究チームは、Alibabaの「Wan2.2-I2V-A14B」とNVIDIAの「Cosmos3-Nano」に手法を適用した。前者は総パラメータ数270億、生成の各段階で使うパラメータ数が140億の画像から動画を生成するモデルだ。後者は160億パラメータの動画世界モデルである。

研究チームのR-Bench評価では、Wan2.2-I2V-A14Bの総合スコアは元のモデルの50.7から62.0へ上がった。通常の微調整モデルは57.9で、論文に記された「22.3％」「7.1％」は、それぞれ元のモデルと通常の微調整モデルに対する相対的な改善率を指す。Cosmos3-Nanoを使ったモデルは63.8となり、論文中の比較では最高の総合スコアを記録した。

同じ比較では、Cosmos3-Nanoを使ったモデルがVeo 3.1、Hailuo v2、Seedance 1.5 Proを上回り、PAI-Benchのロボット分野とEZS-Benchでも最高の総合スコアだった。これらは研究チームが選んだ評価条件と比較対象に基づく結果である。

行動計画の評価には、別の動画モデル「Wan2.2-TI2V-5B」を使った。WorldArenaのアクションプランナー評価では、RoboTwin 2.0のシミュレーター内で行う閉ループ操作の平均成功率が16.0％から24.0％に上昇した。論文中で比較したWoWの20.5％、TesserActの18.0％、Genie Envisionerの15.0％も上回った。

また、RoboTwin 2.0の両腕操作6課題で、学習した方策の平均成功率は68.2％から72.8％へ上がった。空のカップを置く課題は41.5％から63.0％、ホチキスを押す課題は49.0％から60.0％に改善した。一方、6課題のうち改善しなかった課題もある。

■評価の位置付けと公開状況

ロボットの学習では、シミュレーションと実環境の見た目の差に対し、照明や質感を変えて学習する方法が用いられてきた。PhysisForcingの結果は、生成動画における物体の動きや接触後の位置関係も、シミュレーター内の操作評価に関わることを示している。今回示された操作成功率はシミュレーターで測った値である。

2026年10月1日には、米ピッツバーグで開かれたIROS 2026のワークショップで、WorldArena 2.0 Challengeの結果発表が行われた。この競技には、動画の品質、強化学習環境としての有用性、実機での操作を扱う別々の部門がある。PhysisForcing論文の閉ループ成功率は、論文で採用したWorldArenaのアクションプランナー評価によるものだ。

研究チームは6月29日に論文を公開し、7月8日にPF-WanとPF-Cosmosの推論コードとモデルの重み、9月7日に両モデルの学習コードを公開した。公開リポジトリには、それぞれの実行方法も掲載されている。

論文の著者にはPeiwen Zhang、Yufan Deng、Shangkun Sun、Daquan Zhouらが名を連ねる。公開された論文とコードにより、動画の物理的な整合性を学習段階で高める方法と、その評価条件を確認できる。

元記事: Robot World Models Fix Physics With PhysisForcing: No Inference Overhead Required