パナソニックHD、指先の触覚に即応して器用な両手作業を行うロボット操作AIを共同開発

～視覚・言語に基づく動作生成と高速な触覚制御を統合し、接触を伴う作業の平均成功率向上～



パナソニック ホールディングス株式会社（以下、パナソニックHD）とパナソニックR&Dカンパニーオブアメリカ（以下、PRDCA）は、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者らと共同で、指先の触覚に即応しながら器用な両手作業を行うロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発しました。T-Rexは、視覚と言語の情報からロボットの動作を生成するVLA（Vision-Language-Action：視覚言語行動）モデル（※1）に指先の触覚情報を統合したもので、接触状態の変化に応じて動作をリアルタイムに補正します。実環境で繊細な力の制御と柔らかい物体を扱う12種類の作業で評価した結果、平均成功率65％を達成し、既存手法を30ポイント上回り世界最高性能（※2）を達成しました。本研究成果は、2026年11月9日から12日までアメリカ・オースティンで開催されるロボット学習分野の国際会議Conference on Robot Learning（CoRL）で発表します。
■背景
人は、薄いカードを引き出す、鍵を差し込んで回すといった作業において、視覚だけでなく、指先で感じる力や滑り、変形に応じて動きを瞬時に調整しています。一方、従来のVLAモデルは主にカメラ映像に依存しており、触覚を利用する場合でも静的な情報として扱うことが多いため、細かな力加減や接触状態の変化が求められる作業への対応が困難でした。さらに、触覚情報を含む大規模な学習データが乏しいことや、視覚・言語モデルの更新頻度が低く、高速な触覚反応に必要な制御頻度との間に隔たりがあることも課題となっていました。
＜技術の特長＞
T-Rexは、低頻度で行う「視覚・言語に基づく動作生成」と、指先から得られる触覚に応じた「高速な動作修正」を一つのモデルに統合しています。視覚と言語を処理する動作生成モジュールが約5 Hz（※3）で動作の大枠を生成する一方、触覚を処理する動作修正モジュールが約20 Hzでリアルタイムに接触状態を捉え、動作を細かく補正します。これにより、遅延が大きい画像認識を毎回やり直すことなく、接触中の滑りや押し込み過ぎなどに素早く対応できます。
学習データとして、本研究チームは200種類を超える日用品と22種類の基本動作を組み合わせ、7,700件超、計100時間におよぶ両手ロボット操作データを収集しました。各データには、頭部・手首カメラの映像、ロボットの状態と動作、10本の指先の触覚センサを通じて得られる力・変形情報、自然言語の指示が同期して記録されています。T-Rexは、まず22,889時間の人の一人称視点映像から幅広い視覚・動作の知識を学習し、次にこの触覚付きデータでロボット固有の接触動作を学習（中間学習）したうえで、最後に作業ごとに約100件の実演データでファインチューニングさせます。ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクで評価した結果、T-Rexは平均成功率65％を達成し、それまで最も高性能とされてきた比較手法の35％を大きく上回りました。また、触覚情報を除いた場合の平均成功率は42％にとどまり、触覚情報と高速な反応機構の有効性を確認しました。
[画像: https://prcdn.freetls.fastly.net/release_image/3442/6949/3442-6949-6750b8e9661492d3672b88c00d48d506-1600x751.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
図 T-Rexのモデルアーキテクチャ。視覚・言語に基づく低頻度の動作生成を、指先の触覚情報に基づく高頻度の動作修正で補完する（図中の「エキスパート」は役割別の処理モジュールを指す）

今後は本技術を活用し、製造現場における部品の挿入・取り外し・ねじ締めや、物流現場での柔軟物・壊れやすい物品の取り扱いなど、細かな力加減や接触状態に応じた調整が必要な作業をロボットが支援することで、現場作業者の負担軽減と労働力不足の緩和に貢献することを目指します。
■論文情報
タイトル：T-Rex: Tactile-Reactive Dexterous Manipulation
arXiv： https://arxiv.org/abs/2606.17055
プロジェクトリンク： https://tactile-reactive-dexterous.github.io/
本研究は、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、PRDCA、ローマ・ラ・サピエンツァ大学、ItalAIによる共同研究です。

※1 画像と自然言語の指示を理解し、ロボットの動作を生成するAIモデル。
※2 ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクの評価において（2026年11月5日時点、パナソニックHD調べ）
※3 Hzは1秒間に処理や更新を行う回数を示す単位。5 Hzは毎秒5回、20 Hzは毎秒20回の更新を表します。

▼[プレスリリース]パナソニックHD、指先の触覚に即応して器用な両手作業を行うロボット操作AIを共同開発（2026年11月5日）
https://news.panasonic.com/jp/press/jn261105-1
＜関連情報＞
- Panasonic×AI ウェブサイト
https://tech-ai.panasonic.com/jp/
- Panasonic×AI X
https://x.com/panasonic_ai


PR TIMESプレスリリース詳細へ