Gemini 4 Argon、動画からロボット訓練用コードを生成　Apolloがコーンホール7連続成功

Googleは2026年10月13日、AIモデル「Gemini 4 Argon」を使い、人がコーンホールをする動画からロボットの訓練用シミュレーションコードを生成する実演を公開した。同社によると、Apptronik製ヒューマノイド「Apollo」は、シミュレーションと実機での練習を経て7回連続で投球を成功させた。

コーンホールは、袋を投げてボードの穴に入れるゲームだ。今回の実演は、動画の理解、動作の計画、コード生成をつなぎ、汎用AIをロボット開発の工程へ組み込む取り組みを示している。

■動画からシミュレーション、そして実機へ

Googleが「Video-to-Sim-to-Real」と呼ぶ流れでは、まずArgonが人物の投球動画を解析する。周囲の空間座標を把握し、観察した動作をロボットで行うために必要な全身の関節運動を計算して、シミュレーションコードを自律的に構築する。

実演の説明では、腕の振りと袋を放すタイミングをロボットの動作に対応させ、カメラでボードの位置を測定する。物理エンジン「MuJoCo」を使って動きを試し、手が腰部に干渉しないよう、足の開きや腕の軌道も調整した。

その後は実機で投球し、袋の落下位置を見ながら放す位置などを修正した。Google DeepMindの研究者Norman Di Palo氏も、シミュレーション環境の生成とシステム同定を行い、実機で何度か投げて改善した後に連続成功へ至ったと説明している。システム同定とは、観測データから機器の動特性などを推定する工程だ。

Googleは、通常は数週間を要する手作業のシミュレーション構築を、数時間に短縮する手法だとしている。映像から動作を読み取り、仮想環境で試し、実機の結果を次の調整へ戻す一連の流れが、今回の実演の中心となる。

■卓上作業やSpotでもシミュレーションを活用

Googleは同じ日の開発者向け発表で、写真や動画から仮想環境を構築する複数の実演も示した。卓上作業の例では、作業空間を上から撮影したRGB写真1枚から、MuJoCo上に実物に対応する環境を生成した。

この環境で4500件超の訓練エピソードを作り、視覚と言語から動作を出力するVLAモデルの追加学習に利用したという。同社発表では、実機評価のタスク成功率が56％から75％へ上がり、完了時間は35秒から24秒へ短縮した。

別の実演では、遠隔操作中のロボット映像と記録データを基に、物体の形状、質量、慣性、摩擦などを調整した。映像の見え方に加え、シミュレーション中の指先の接触力を実機の触覚データへ合わせ、物体との相互作用まで再現する方法を示している。

人の一人称動画から操作動作を移す例では、全体で76自由度、各手に22自由度を持つ双腕ヒューマノイドの仮想モデルを使用した。500Hzは、この実演におけるMuJoCoシミュレーションの更新周波数として示されている。

Boston Dynamicsの4脚ロボット「Spot」では、ペダル式ごみ箱の仮想モデルを作成した。3本の脚で支える姿勢をMuJoCoで試したうえで、実機がペダルを踏み、開いたごみ箱へ飲料缶を捨てる動作を行った。

■推論と運動制御を担うモデル

Argonはロボット専用モデルではなく、ソフトウェア開発、法律、サイバーセキュリティー、科学などの複雑で長い作業を想定した汎用モデルだ。2026年9月30日に発表され、10月13日に開発者、企業、有料サービスの契約者向けへ提供範囲が拡大した。

今回の取り組みでは、視覚的な状況理解とコード生成を組み合わせ、ロボットの動作を試す環境や手順を作る用途にArgonを活用している。Google DeepMindのプリンシパルソフトウェアエンジニアKanishka Rao氏は、物理的理解、コード生成、視覚・意味推論の組み合わせを進歩の要点として挙げている。

Googleのロボット向けモデル群では、高水準の推論と運動の実行を分担する設計を採る。「Gemini Robotics ER 2」は周囲の理解や複数段階の作業計画を担い、運動の実行をVLAモデルやロボットのAPIへ引き渡す。

ロボット本体で動作するモデルは「Gemini Robotics On-Device 2」で、視覚と言語の入力を運動制御へ変換する。こうした役割分担により、作業全体を考える処理と、機体の動きを実行する処理を組み合わせられる。

■MuJoCoを支えるオープンソース基盤

MuJoCoは「Multi-Joint dynamics with Contact」の略で、関節を持つ機構や物体どうしの接触を扱う物理エンジンだ。Emanuel Todorov、Tom Erez、Yuval Tassaの3氏が2012年の論文で紹介し、ロボット制御や機械学習の研究に利用されてきた。

DeepMindは2021年10月にMuJoCoを取得して無償提供を始め、2022年5月23日にソースコードの公開完了を発表した。Apache 2.0ライセンスで提供され、研究者や企業が利用・改変できる。

物理エンジン9種を比較した研究レビューでは、2023年9月6日時点の調査で、MuJoCoの関連論文の引用数は3827件と比較対象中で最多だった。こうした研究上の蓄積に、AIによる環境構築やコード生成を組み合わせることが、開発工程の自動化につながる。

GPU向けの「MuJoCo Warp」も公開されている。公式リポジトリによると、NVIDIAのハードウェア向けに設計され、Newtonプロジェクトの一部としてGoogle DeepMindとNVIDIAが共同で保守している。こちらもApache 2.0ライセンスを採用する。

■ERQAで87％、空間や物理に関する推論を評価

Googleは、Argonが「Embodied Reasoning Question Answering（ERQA）」で87％の正答率を記録したと発表した。ERQAは、画像と文章を組み合わせた400問の選択式問題で、現実の場面における空間関係や物理的な状況の理解を評価する。

Googleが公表したツールを使わない条件での比較では、Claude Opus 5.5が82.3％、GPT-6 Astraが81.0％、Claude Fable 5.1が74.0％だった。これらは同社が提示した評価値である。

ERQAの問題と評価用コードは公開されている。物体の配置や動作の結果を画像から考える能力は、ロボットの作業計画やシミュレーション構築にも関わるため、今回の実演を理解する一つの指標になる。

実用面では、投球以外の作業や環境で、成功率と再現性を確かめる評価が重要になる。製造・物流の現場では、物体のばらつき、柔らかい材料、周囲の変化、接触時の力加減などに対応しながら、繰り返し安定して作業する能力が求められる。

■ApolloとGoogle DeepMindの協業

Apolloを開発するApptronikは、米テキサス州オースティンに拠点を置く企業だ。2016年にテキサス大学オースティン校の研究室から設立され、NASAの「Valkyrie」を含む15種類のロボットの開発経験をApolloへ生かしているという。

2023年の発表時に示されたApolloの仕様は、身長5フィート8インチ、重量160ポンドで、人間に近い大きさだった。人向けに設計された環境での作業を目指し、当初の用途として倉庫や製造施設を想定していた。

ApptronikとGoogle DeepMindは2024年12月19日に戦略提携を発表した。2026年2月11日にはApptronikが5億2000万ドル（約816億円）の追加資金調達を発表し、Google、Mercedes-Benz、B Capital、John Deereなどが参加した。ロイターによると、この調達時の評価額は関係者の説明で約50億ドル（約7850億円）だった。

Apptronikは資金をApolloの生産拡大や商用・試験導入の拡充、訓練・データ収集施設の整備などへ充てるとしている。従業員数は2026年2月時点で約300人、6月の発表時点では350人超だった。

6月30日には、オースティンのデータ収集・訓練施設「Robot Park」の拡張と「Apollo 2」を発表した。Apollo 2には二足歩行型と車輪型があり、Robot Parkや顧客・提携先で収集する実世界のデータを、Google DeepMindとのモデル開発に利用している。

■人の動画をロボット学習へつなぐ研究

人の映像をロボットの動作学習に利用する研究は、大学や他社でも進んでいる。カリフォルニア大学バークレー校の「VideoMimic」は、単眼動画から人の動作と周囲の形状を復元し、シミュレーションで学習した方策をUnitree G1へ移す手法だ。CoRL 2025では実機でのデモも提案された。

Amazon FAR、同校、カーネギーメロン大学、スタンフォード大学の研究者らによる「PRISM」は、少数の実写動画から、人と物体の相互作用を変えた動画を生成する。そこから動作を復元し、ロボット向けの学習データを増やす。

NVIDIAとカリフォルニア大学ロサンゼルス校の研究者らが2026年6月に公開した「GRAIL」は、3Dアセット、シミュレーション用の場面、動画基盤モデルの事前知識を組み合わせる。仮想環境で、人型ロボットの移動と物体操作の実演データを生成する研究だ。

Alibabaなどの研究者らによる「λ₀」は、一人称動画と身体・手の動きを同期収録した500時間の「HumanVerse-500」を学習に用いる。人の経験から動作を学び、ロボットの身体や下流タスクへ適応させる段階的な訓練を採用する。

これらに共通するのは、人の行動を観察した情報を、ロボットが学べる動作や環境へ変換する発想である。Argonの実演は、その変換工程へ汎用モデルの推論とコード生成を組み込む方向を示している。

■日本向け料金と今後の焦点

2026年10月時点の日本向け公式料金では、GeminiアプリでArgonへアクセスできるGoogle AI Proは月額2900円だ。Google AI Ultraには、Proの5倍の使用量上限を持つ月額1万4500円の構成と、20倍の月額3万2000円の構成がある。

Gemini APIの標準料金は、2026年11月30日まで入力100万トークン当たり2ドル（約314円）、出力100万トークン当たり10ドル（約1570円）の導入価格となる。12月1日からは、それぞれ4ドル（約628円）、20ドル（約3140円）になる予定だ。出力料金には推論用トークンも含まれる。

APIの仕様では、入力と出力を合わせた上限は104万8576トークンだ。通常の同期処理の最大出力は6万5536トークンで、長文出力の仕組みを使うと最大104万8576トークンまで対応する。

ロボット学習への応用では、動画から必要な情報を取り出し、物理シミュレーションで試せる形へ変換する工程の効率化が焦点になる。この流れを多様な作業へ広げられれば、組み立てや調理、物流などの動画を、新しい技能を学ぶための材料として活用する余地が広がる。

米自動化推進協会の取材に対し、Google DeepMindのロボティクス部門責任者Carolina Parada氏は、役に立つロボットが働く世界を目標に挙げた。その実現へ向け、初めて見る物体や環境、その場の変化へ対応する能力の向上を研究課題としている。

元記事: Gemini 4 Argon Writes Physics Simulation Code From Human Video, Teaches Apollo Humanoid Cornhole