ロボットに一度見せて動作を伝える「GEN-1.5」、Generalist AIが研究成果を公開
2026年8月24日 19:40
米Generalist AIは2026年8月19日、短い実演をモデルへの入力として与えることで、パラメータを更新せずに新しい操作タスクを実行できるロボット基盤モデル「GEN-1.5」の研究成果を公開した。同社はこの方法を「フィジカルプロンプティング」と呼び、言語モデルがプロンプト内の例を参照するインコンテクスト学習に通じる仕組みと位置付けている。
同社の評価では、3〜12秒の実演を1回与えた条件で、10種類の短時間の操作タスクにおける平均成功率は59％だった。現段階ではGeneralist AIによる社内評価であり、対象も比較的単純で短いタスクに限られる。一方、追加学習を必要とせず、その場の実演を手掛かりにロボットの動作を変えられる点は、タスクごとにデータ収集や調整を繰り返してきたロボット開発の負担を軽減する可能性を示している。
■数秒の実演を文脈として利用
GEN-1.5は、動画やセンサー情報、言語による指示、ロボット自身の姿勢や関節状態を示す固有受容感覚データなどを扱うマルチモーダルモデルである。最大30秒分の直近の情報を参照しながら、毎秒100回の頻度で行動を出力するという。
中心となるのが、実演をモデルの文脈に入れて動作を導くワンショットのインコンテクスト学習だ。実演には、人が専用の手持ち式グリッパーで記録した感覚・動作データや、ロボットが過去に実行した動作を利用できる。モデルの重みを変更するファインチューニングを挟まず、実演に含まれる動きや接触の順序を手掛かりに、その場でタスクを実行する。
Generalist AIは、容器のふたを開ける、ポーチのファスナーを開ける、財布から紙幣を取り出す、物体をボウルへ掃き入れるといった10種類の操作で評価した。事前学習済みモデルに実演を1回与えた場合の平均成功率は59％で、同社が示したタスク間の標準偏差は10ポイントだった。
さらに、タスクごとに約5分、約50回分のデータを用いて10ステップの勾配更新を行うと、平均成功率は83％となり、タスク間の標準偏差は9ポイントだった。同社によると、この調整で変化した重みは0.15％未満であり、新たな表現を一から獲得するというより、事前学習で得た表現をタスクに合わせて再構成しているとみている。
■言葉の代わりに感覚と動作をプロンプトに
フィジカルプロンプティングの特徴は、テキストではなく、センサー情報と行動軌道を組み合わせた感覚運動シーケンスを例として与える点にある。容器のふたを回す際の手首の動きや、ファスナーをつかんで引くまでの接触の順序など、言葉だけでは細部を伝えにくい操作を実演によって示せる。
この情報処理の構造は、大規模言語モデルがプロンプト内の例を参照して出力を変えるインコンテクスト学習を連想させる。もっとも、言語タスクの正答率とロボット操作の成功率では評価対象や失敗条件が異なるため、数値を直接比較するよりも、パラメータを更新せずに文脈内の例を利用するという共通構造に注目するのが適切だ。
Generalist AIによると、GEN-1.5には、少数の実演から適応することを目的としたメタ学習の仕組みや、インコンテクスト学習を直接促す補助目的を組み込んでいない。8カ月を超えて事前学習を続ける中で、必要な勾配更新が数百ステップから数十ステップ、1ステップへと減り、最終的に更新なしでも実演を利用できる挙動が確認されたという。
■大規模な実世界データで事前学習
一般的な学習型ロボットでは、新しい作業を追加する際に、人がロボットを遠隔操作してデータを集め、モデルを追加学習し、実機での検証や例外処理を重ねる必要がある。必要なデータ量や作業期間はシステムとタスクによって異なるが、タスクごとのデータ収集と調整が導入上の負担になる。
Generalist AIはこの問題に対応するため、独自の手持ち式グリッパーを利用して実世界の物理的な操作データを収集してきた。同社によると、GEN-1.5は家庭や倉庫、工場などで記録された50万時間を超えるデータで事前学習されている。
同社は、物理的な作業に含まれる反復的なパターンや偏りのあるデータ分布が、実演を文脈として利用する能力の形成に関係している可能性を挙げている。ただし、どのような学習過程によってワンショットの挙動が生じたのかは、まだ明らかになっていない。
GEN-1.5では、シミュレーション内で記録した実演を実機へのプロンプトとして使う試みも示された。事前学習にはシミュレーションデータを使用していないとしており、シミュレーションと実機の間で共通する動作や接触の特徴を利用できた可能性がある。これは、異なる環境で得た実演を実機の行動へつなげる手法を考えるうえで興味深い結果だ。
■複数の実演をつないで一連の動作に
Generalist AIは、1つの操作を再現するだけでなく、複数の短い実演を組み合わせる試験も行った。互いに独立して記録された2つのタスクを同じコンテキストに入れると、GEN-1.5は位置の調整や物体の持ち替えなど、実演に含まれていない中間動作を補い、一連の動作として実行したという。
この方法が安定して利用できれば、作業全体を毎回記録し直す代わりに、短い操作単位を組み合わせてロボットへ指示する使い方が考えられる。言語モデルで複数の例や指示を組み合わせるプロンプト設計と同様に、ロボットでも実演の選択や並べ方が出力を左右する可能性がある。
道具を入れ替える評価では、ブラシでブロックをボウルへ掃き入れるよう調整したモデルにバナナを渡すと、同様にブロックを押して移動させた。ちりとりを与えた場合には、ブロックを載せて持ち上げ、ボウルへ移す別の方法を選んだという。
また、1個のブロックをボウルへ入れるよう調整したモデルが、複数の物体を提示された際に、色や種類に沿うような配置を示す場合もあった。同社はこうした挙動を「物理的常識」の兆候と表現しているが、再現条件や発生の仕組みは今後の検証課題となる。
■「創発」の評価には独立検証が必要
Generalist AIは、ワンショット学習が大規模な事前学習から「創発した」と説明している。一方、AI研究では、明示的に教えていないように見える能力が、学習データの構成、モデルの記憶、プロンプト内の例、評価指標などの組み合わせによって表面化する可能性が議論されてきた。
ダルムシュタット工科大学とバース大学の研究者らによる研究は、大規模言語モデルで創発的とされる挙動について、インコンテクスト学習、モデルの記憶、言語知識の組み合わせで説明できる場合があると報告している。この研究は言語モデルを対象にしたものであり、GEN-1.5を直接評価したものではないが、「創発」という言葉をどのように定義し、測定するかを考える手掛かりになる。
GEN-1.5についても、評価タスクと事前学習データがどの程度似ていたか、異なる物体や環境でも同じ性能が維持されるか、成功率が試行回数に対してどの程度安定しているかといった情報が重要になる。Generalist AI自身も、現在の結果が単純で短時間の操作に限られ、より難しく長いタスクでの評価が必要だとしている。
今回の59％と83％という成功率はいずれも同社の評価による数値である。研究成果の一般性を判断するには、評価条件やデータの詳細な開示に加え、大学や他企業による再現実験、共通ベンチマークでの比較が求められる。
■競争が進むロボット基盤モデル
ロボット基盤モデルでは、視覚や言語の入力をロボットの行動へ変換し、異なる機体やタスクへ適応させる研究が相次いでいる。Google DeepMindの「Gemini Robotics 1.5」は、視覚情報と言語指示から動作命令を生成し、複数のロボット形態をまたぐ学習に取り組んでいる。NVIDIAの「Isaac GR00T N1.6」は、ヒューマノイドを対象としたオープンな視覚・言語・行動モデルとして、両腕操作や全身制御を重視する。
こうしたモデルは、異なるハードウェアへの適応、複数段階の計画、実世界での器用な操作など、それぞれ異なる重点を持つ。GEN-1.5の特徴は、短い感覚運動データをコンテキストに入れ、重みを更新せずに行動を切り替えるという使い方を前面に出した点にある。
ただし、各社が公開する成功率は、対象タスク、ロボット本体、データ、評価方法が異なる。現時点では数値だけでモデルの優劣を判断できず、実機での安全性や再現性、長時間の作業における安定性、導入に必要な計算資源などを含めた評価が必要になる。
■研究段階のGEN-1.5
Generalist AIは、実世界で活動するロボット向けの基盤モデルを開発する企業で、Google DeepMind、Boston Dynamics、OpenAIなどでAIやロボティクスに携わった人材が参加している。2026年6月には4億ドルの資金調達を発表し、累計調達額が5億ドルを超えたとしている。今回のラウンドはRadical Venturesが主導し、8VC、Union Square Ventures、Norwest、Hanabi Capitalなどが参加した。
GEN-1.5は現時点で研究成果として紹介されており、一般提供の方法や価格、対応するロボット、導入条件は明らかにされていない。同社は前世代のGEN-1を実用展開へ近いモデルと位置付ける一方、GEN-1.5については、事前学習の規模を拡大したときに現れる能力を探る研究上の到達点としている。
フィジカルプロンプティングの重要な点は、ロボットへの入力を言葉だけに限定せず、人が実際に行った動作そのものを指示として利用する発想にある。独立検証や対象タスクの拡大はこれからだが、「作業を見せて伝える」という分かりやすいインターフェースは、ロボットと人間の関わり方を読み解く新たな補助線になりそうだ。
■注目ポイントQ&A
●GEN-1.5は従来の学習型ロボットと何が違うのですか？
3〜12秒の実演をモデルのコンテキストに入れ、モデルの重みを更新せずに新しい操作タスクを実行する点が特徴です。Generalist AIは、センサー情報と動作軌道を組み合わせた実演を「フィジカルプロンプト」と呼んでいます。
●平均成功率59％はどのような条件の数値ですか？
Generalist AIが10種類の比較的単純で短時間の操作タスクを評価した際の平均値です。事前学習済みモデルに実演を1回与え、追加の勾配更新を行わない条件で測定されています。第三者による独立した再現結果ではありません。
●「創発した」とはどういう意味ですか？
同社は、ワンショット学習を直接促す専用の仕組みや学習目標を設けていなかったにもかかわらず、事前学習を続ける中で能力が確認されたという意味で使っています。その成因や一般性を判断するには、学習データとの類似性を含む追加分析が必要です。
●ファインチューニングを行うと性能はどう変わりますか？
同社の評価では、タスクごとに約5分、約50回分のデータを使って10ステップの勾配更新を行うと、平均成功率は59％から83％へ上昇しました。
●GEN-1.5を日本から利用できますか？
一般提供の方法、価格、日本での提供予定、対応ハードウェアなどは公表されていません。現時点では研究成果とデモが公開されている段階です。
元記事: Generalist AI GEN-1.5 Learns New Robot Tasks From Single Demo, No Retraining