動画特化のオープンウェイトAI「VideoChat3」、時間的グラウンディングでGPT-5上回ると報告　学習一式も公開

動画理解モデルを研究・開発する実務者にとって、再現可能なオープンソース基盤が1つ増えた形だ。南京大学などの研究チームは7月16日、4Bパラメータの「VideoChat3」を公開し、時間的グラウンディングの3ベンチマークでGPT-5やGemini 2.5 Flashを上回ったと報告した。もっとも、これらのスコアはプレプリント論文に基づく自己申告で、独立した再現検証はまだ出ていない。モデル重み、学習コード、学習戦略、約300万件の学習データ構築パイプラインが公開されており、今後は外部検証が焦点になる。

■VideoChat3の公開内容と主なベンチマーク結果

南京大学、上海AI Laboratory、南洋理工大学、北京大学の27人の研究チームは2026年7月16日、動画理解モデル「VideoChat3」を公開した。論文によると、同モデルは40億パラメータ規模で、TimeLensスイートの3つの時間的グラウンディングベンチマークすべてでGPT-5とGemini 2.5 Flashを上回り、同一入力条件ではQwen3-VLのちょうど半分の視覚トークンしか生成しないという。

公開範囲は広く、モデル重み、学習コード、学習戦略、そして合計約300万件の命令データから成る3つの独自学習データセットが、MCG-NJUのHugging Faceコレクションで一般公開されている。論文は7月17日にHugging Faceの「Paper of the Day」ランキングで3位に入った。

論文のTable 2によると、Charades-STAの時間的グラウンディングではVideoChat3-4Bが56.1 mIoUを記録し、GPT-5の40.5、Gemini 2.5 Flashの48.6を上回った。ActivityNet Captionsでは54.6で、GPT-5の42.9、Gemini 2.5 Flashの52.5を上回る。QVHighlightsでは67.0で、GPT-5の52.1、Gemini 2.5 Flashの64.3を上回った。

時間的グラウンディングは、質問に対する答えが動画のどの区間にあるかを正確に特定する能力を指す。動画AIでは難度が高い課題の1つであり、このベンチマークで4B規模のオープンモデルが主要なプロプライエタリシステムを上回ったという点は注目に値する。

ただし、これらの数値は論文著者による自己申告であり、独立した再現はまだ行われていない。公開から2日後のプレプリントとしては通常の状況であり、今後は研究コミュニティが公開済みの重みを取得して独自評価を進めることで検証が進む見込みだ。

■処理コストを抑えるI3D-ViTとストリーミング設計

VideoChat3の中核的な工学上の着眼点は、一般的な動画処理が特定の形で計算資源を無駄にしているという点にある。通常の動画モデルはクリップを符号化する際、各フレームを独立した画像として扱い、完全な視覚トークン列に変換したうえで言語モデルに渡す。しかし連続するフレーム同士はよく似ているため、ほぼ重複したトークンが大量に発生する。トランスフォーマーのアテンション計算コストは系列長に対して二乗で増えるため、動画が長くなるほどこの方式は高コスト化しやすい。

VideoChat3はこれに対し、2つの仕組みを組み合わせる。1つ目はInflated 3D Vision Transformer（I3D-ViT）である。I3D-ViTは各フレームを独立に符号化するのではなく、デフォルトで4フレームずつのチャンクにまとめ、プーリング前にチャンク全体へ時空間自己注意を適用する。各チャンク内でフレーム同士が相互作用するため、言語モデルにトークンが届く時点ではフレーム間の冗長情報がすでに圧縮されている。

これに2×2の空間ダウンサンプリングを組み合わせることで、時空間で16倍の圧縮率を得る。Table 4の効率比較では、入力256フレーム時にVideoChat3は1万2544個の視覚トークンを生成し、同条件のQwen3-VLは2万5088個でちょうど2倍だ。LLM側の計算量はトークン数に対して二乗で増える一方、追加されたエンコーダコストはフレーム数にほぼ線形で増えるため、動画が長くなるほどVideoChat3側の利点が大きくなる。1024フレームでは、Table 4の比較でVideoChat3のLLM推論レイテンシーは1.001秒、Qwen3-VLは11.098秒だった。

2つ目の仕組みは、完成済みクリップではなくフレームが継続的に流入するストリーミング動画向けの設計である。VideoChat3は人間の注意配分を模した3状態ループを導入する。Silenceは関連事象が見当たらない状態で低解像度監視を続け、Standbyは関連しそうな兆候を受けて次の時間窓の解像度を上げる状態、Responseは十分な証拠が集まった時点で回答を生成し、その後監視に戻る状態である。

Adaptive Frame Resolutionの説明によると、Silence時とResponse後は各フレームを224×224ピクセルで処理し、Standby信号の後の次ウィンドウは448×448ピクセルで処理する。同じI3D-ViTエンコーダが可変の空間入力サイズを受け付けるため、高解像度専用モデルを別途持たず、フレームごとのピクセル予算だけを変えればよい。

■3種類の学習データセットで異なる動画理解をカバー

このベンチマーク性能はアーキテクチャだけでなく、3つの独自データセットから成る学習パイプラインにも支えられている。

VideoChat3-Academic2Mは、既存の学術系動画QAおよびキャプションデータ227万件を再注釈したものだ。研究用データセットの元ラベルは、正答選択肢を示す1文字や、1語の名詞句のように極めて簡素な場合が多い。このようなラベルで学習すると、モデルは答えそのものは学んでも、そこに至る視覚的根拠の推論過程をほとんど学べない。そこでチームはQwen3-VL-235B-A22Bを使い、各注釈を詳細で証拠に基づく応答へ書き換え、同じモデルで2回目の検証を行って元ラベルとの意味的一貫性を確認したという。

VideoChat3-LV116Kは、エンターテインメント、スポーツ、科学、ゲームなど複数分野にまたがる11万6200本の長尺動画を扱う。平均長は156秒から約1300秒までとされる。パイプラインは各長尺動画をシーン検出とヒューリスティックな時間窓でまとまりのある時間単位に分割し、各区間を個別に注釈したうえで、組み合わせた証拠から長距離QAやタイムライン課題を合成する。狙いは、1つの短いクリップ内の認識だけでなく、離れた複数の時間区間をまたいで情報を結び付ける課題に対応することだ。

VideoChat3-OL617Kは、オフライン動画QAのペアをストリーミング監督データへ変換したものだ。各動画・質問ペアについて、回答に必要な証拠が動画中で最初に利用可能になるタイミングを特定し、各ストリーミング窓にSilence、Standby、Responseの明示ラベルを付与する。これにより、早すぎず遅すぎず、適切な瞬間に応答するよう学習させる。

■強みと弱み：時間タスクと配信処理で優位、汎用推論では一部課題も

一般的な動画理解ベンチマークでは、論文のTable 2によると、VideoChat3-4BはMotionBenchで61.7、TempCompassで75.6を記録し、いずれも完全公開モデルとして最良の結果を達成した。いずれも微細な時間理解や動きの理解を問うベンチマークである。オープンウェイトのQwen3-VL-4Bとの比較では、直接比較可能な19指標のうち18指標で上回り、MMVUでは5.9ポイント、TimeLensの3分割ではそれぞれ9.7、6.4、8.3ポイント改善した。

ストリーミング系ベンチマークでも、Table 3によるとVideoChat3-4Bは6つの集約指標のうち4つで首位だった。ODVBenchは72.3でStreamForestの59.9を上回り、OVOBench task averageは62.5、StreamingBench Real-Timeは83.0、Riverは42.8を記録した。十分な証拠が現れた瞬間にストリーミング動画を中断して回答する積極応答能力でも、OVO-TimingでF1 35.5を記録し、補助的な20億パラメータモジュールを使う専用モデルEm-Gardeの31.0を上回った。

一方で、すべての指標で先行するわけではない。OVBench AverageではVideoChat3が60.0で先行するものの、Qwen3-VLも54.5に達している。さらにProactiveVQAでは、VideoChat3はWEB 28.4、EGO 28.1、TV 34.7、VAD 25.1で、専用設計のMMDuet-2のWEB 53.3、EGO 33.6、TV 43.4、VAD 28.9を下回った。著者らは、MMDuet-2が積極的なマルチターン対話に特化したモデルである点を踏まえ、この差を認めている。

汎用動画理解でも弱い領域がある。TOMATOでは37.9でMolmo2-4Bの39.8、Gemini 3 Proの48.3を下回った。TVBenchでは55.4でMolmo2-4Bの65.2や複数の8B級オープンウェイトモデルに届かない。自由回答型評価であるVideoEval-Pro Openでは37.8で、Gemini 2.5 Flashの36.3とは近い一方、Gemini 2.5 Proの44.2には届かない。全体として、VideoChat3は微細な時間タスクで特に強く、最大級のプロプライエタリモデルと比べた一般的な動画推論では平均的な側面もある。

効率面の優位には設計上のトレードオフもある。Table 4のビジョンエンコーダレイテンシーによると、I3D-ViTは標準的な画像エンコーダよりフレームごとの処理が重く、256フレーム時のViT forward passはQwen3-VLより高いエンコーダ遅延を持つ。もっとも、LLM側の遅延は大幅に低く、システム全体ではかなり高速になる。それでも、エンコーダがボトルネックになる用途ではこの点に注意が必要だ。

■完全公開が研究者にもたらす意味

2026年半ばの動画AIは、Gemini、GPT-5、Kimi、Seedのように強い性能を示しながら学習内容をほとんど開示しないプロプライエタリ系と、重みは公開しても学習データやコードが欠ける「部分的にオープン」なモデルが多いオープンソース系に分かれている。論文序論が指摘するように、部分的な公開では結果の再現や失敗要因の分析、既存研究の上に意味のある改善を積み上げることが難しい。

VideoChat3はモデル重み、学習コード、学習戦略、完全なデータセット構築パイプラインを公開した。VideoChat3-Academic2M、VideoChat3-LV116K、VideoChat3-OL617Kの3データセットもHugging Faceで公開されており、閲覧数からはコミュニティで早期に利用が始まっていることがうかがえる。大規模研究機関ほどの計算資源やデータ資源を持たない研究者でも、学習をスクラッチから再現できる可能性が出てきた。

2026年3月の再現性研究によると、オープンコードと公開データセットの両方を共有した論文は、どちらも共有しない論文より有意に多く引用され、その後続研究も大きく増える傾向があるという。VideoChat3は、2023年に画像MLLMの基準モデルとして定着したLLaVAに近い位置付けを、動画MLLMで狙う公開形態だといえる。

■VLAとロボティクスへの含意

この研究の商業的な切迫感は、2026年のAI市場の流れを見ると理解しやすい。視覚と言語を物理的な行動に結び付けるVision-Language-Action（VLA）モデルは、身体性を持つAIの主要な設計パラダイムになっている。ICLR 2026の投稿分析ではVLA関連論文が164件あり、前年から約18倍に増えたとされる。さらに、embodied AIへの投資額は2026年上半期だけで2025年通年を超え、7月時点の年初来累計で56億ドル（約9072億円、1ドル=162円換算）を上回ったという。MarketsandMarketsは、embodied AI市場全体が2025年の44.4億ドル（約7193億円）から2030年に230.6億ドル（約3兆7357億円）へ拡大すると予測している。

VLAシステム、つまり連続する動画入力を監視し、タスクに関係する変化が起きた瞬間を見極め、わずかな遅延で反応する必要があるロボットやエージェントにとって、VideoChat3は当面の技術的障害に直接対応する。I3D-ViTの16倍圧縮は、同じ計算予算でより長い動画コンテキストを扱えることを意味する。Silence、Standby、Responseのループは、低コストの継続監視と必要時だけの高精細な注意配分を可能にし、実世界のロボット知覚に近い動き方を取る。

40億パラメータという規模も、クラウドAPIの遅延が許容しにくいエッジ配備やオンデバイス運用を意識したときに扱いやすい。主要研究所のプロプライエタリ動画モデルは一般にデバイス内実装や組み込み用途では使いにくく、内部が見えないため安全性評価もしづらい。リアルタイムのストリーミング処理に対応し、計算効率が高く、監査可能な動画モデルは、ロボティクスやエージェントAIにとって性質の異なる部品になり得る。

■中国系機関由来であることの意味と利用時の注意点

主著者らは南京大学と上海AI Laboratoryに所属しており、いずれも中国の国家機関に属する。2017年の中国国家情報法第7条は、すべての中国の組織と市民に対し、法に従って国家情報活動を支持・支援・協力することを求めているとされる。この法的義務は、モデル重みのホスティング先にかかわらず、これらの機関に適用される。

ただし、中国国外の利用者にとっての実務上のリスクは、どのように利用するかで変わる。Hugging FaceやGitHubから公開重みを取得し、自前のハードウェアで実行する場合、データは南京大学や上海AI Laboratoryのサーバを経由しない。国家情報法の義務は中国機関にかかるものであり、公開後のモデル重み自体に直接かかるものではない。この点は、問い合わせデータが中国法の適用を受けるインフラを通過する中国の商用AI API利用とは、データ経路の意味合いが異なる。

その一方で、論文中のベンチマークは自己申告であり、中立的な第三者による独立検証はまだない。これは学術プレプリントでは標準的だが、中国AI研究機関のベンチマーク信頼性が注視される文脈では、他グループが公開重みとコードで再現するまで暫定値として扱うのが研究コミュニティの通例である。VideoChat3は学習スタック全体を公開しているため、この再現が可能になっている点が、部分公開モデルとの構造的な違いだ。

コードに対する独立したセキュリティ監査も、公開から2日しか経っていない現時点では行われていない。機微な用途へ組み込む研究者や開発者は、配備前に自前のコードレビューを行う必要がある。

なお、I3D-ViTエンコーダ自体も単独コンポーネントとしてHugging Faceで公開されており、チームはVideoChat3全体とは切り離してこのエンコーダが採用されることも想定しているようだ。

■オープンソース動画AIの基準モデルになり得るか

VideoChat3の完全公開がもたらす実務的な効果は、最先端級の時間的グラウンディング性能とストリーミング性能を持つ40億パラメータモデルが、公平に比較可能な公開ベースラインになったことだ。従来の動画MLLMのベースラインは部分公開であることが多く、比較には非公開の学習設定への信頼が一定程度必要だった。VideoChat3はその前提を変える可能性がある。

さらに、I3D-ViTを単体利用でき、3つのデータセットも個別に公開され、学習レシピ全体も開示されているため、今後の研究者は必要な部品だけを取り入れられる。長尺動画理解を改善したいチームはVideoChat3-LV116Kのデータパイプラインから始められ、ストリーミング知覚システムを作るチームはSilence、Standby、Responseの学習枠組みだけを採用できる。こうした段階的な改良のしやすさは、オープンソースの大きな利点である。

この成果の上にまず乗るのが、embodied AI業界、ロボティクス開発者、あるいは学術オープンソースコミュニティのどこになるかは、今後独立研究者が重みをダウンロードし、自前データでベンチマークを試した際に結果がどこまで再現されるかに左右される。その再現プロセス自体が可能になったことこそ、この公開の重要な点だ。

■注目ポイントQ&A

●VideoChat3はどうやってQwen3-VLの半分の視覚トークン数を実現しているのですか？

I3D-ViTという独自エンコーダで連続4フレームを1チャンクとしてまとめ、プーリング前にチャンク全体へ時空間自己注意をかけるためです。フレーム間の重複情報をエンコーダ内部で圧縮でき、さらに2×2の空間ダウンサンプリングを組み合わせることで、時空間で16倍の圧縮率になります。256フレーム時にはVideoChat3が1万2544トークン、Qwen3-VLが2万5088トークンです。系列長が半分になるとLLM側の計算負荷は大きく下がるため、長尺動画では推論速度と提供コストの両方で有利になります。

●VideoChat3はロボティクスやembodied AIに使えますか？

ストリーミング設計は、VLAロボティクスが必要とする知覚と行動のループに直接対応しやすいです。Silence、Standby、Responseの状態機械により、通常時は低コストで監視し、タスク関連の証拠が現れたときだけ注意を増やせます。40億パラメータ規模で、比較対象よりLLM推論コストも大きく抑えられるため、クラウドAPIの遅延が許容しにくいエッジやオンデバイス配備を意識した用途にも適しています。I3D-ViTエンコーダだけを使いたいチーム向けに、同コンポーネント単体でも公開されています。

●VideoChat3は本当に自由に使えますか？ 「完全にオープン」とは何を意味しますか？

ここでの「完全にオープン」は、モデル重みだけでなく、学習コード、学習戦略、3つの独自データセット、そしてそれらの構築パイプラインまで公開されていることを指します。動画AI分野では重みだけ公開する例が多く、VideoChat3は学習過程の独立再現まで可能にしている点が異なります。商用利用条件の有無はHugging FaceコレクションやGitHub上のライセンス確認が必要です。重みをダウンロードしてローカル実行すれば、データは南京大学や上海AI Laboratoryのサーバを経由しませんが、開発元機関が中国国家情報法の文脈に置かれている点自体は残ります。

●VideoChat3のスコアは独立検証されていますか？

まだです。2026年7月16日公開の論文に載るベンチマークは研究チーム自身による自己申告で、学術プレプリントとしては一般的な状態です。現時点では査読も独立した外部再現も経ていません。ただし、VideoChat3は重み、学習コード、データセットを公開しているため、外部の実務者や研究者が同じベンチマークを実行して結果を確かめることは可能です。今後の再現検証が、報告された結果の妥当性を判断する材料になります。

元記事: VideoChat3 Beats GPT-5 on Video Grounding: Open-Source, Full Training Stack Released