MicrosoftとHugging Face、業務AIの20回全成功タスクを約3倍に 状態検証を強化学習に活用
2026年10月24日 14:45
MicrosoftとHugging Faceは2026年10月22日、業務向けAIエージェントの評価に用いるデータベース状態の検証を、強化学習（RL）の報酬に活用した結果を公表した。両社によると、270億パラメータのオープンウェイトモデル「Qwen3.8-27B」を追加学習し、507件の評価タスクのうち20回の試行すべてに成功したタスクを38件から107件へ増やした。
平均成功率の改善に加え、繰り返し成功できるタスクが約2.8倍に増えた点が特徴だ。学習コードも公開し、業務結果をプログラムで検証できる環境での追加学習手法を示した。
■処理後のデータベースを評価し、その判定を報酬に使う
ThinkingBoxは、ツールを使うAIエージェントを隔離された実行環境で動かし、処理後の状態を評価する基盤だ。MicrosoftのCopilot StudioチームがTolokaなどと開発し、ベンチマーク「ThinkingBox-Bench」とともに公開している。技術的な詳細は、arXivで公開された研究論文にまとめられている。
ThinkingBox-Benchの507タスクは、小売・電子商取引、旅行・宿泊、自動車保険、ネオバンクの社内IT、コンサルティング企業のIT・人事支援を扱う。各試行でバックエンドを初期化し、エージェントにModel Context Protocol（MCP）対応のツールと模擬ユーザーを与える。終了時には、必要な更新の欠落や誤った変更、余計な副作用を最終状態から調べる。
論文によると、477タスクは状態検証だけで採点し、残る30タスクは最終回答の内容に関する二値の評価も加える。状態が正しくても、回答で機密情報を漏らすといったケースを確認するためだ。正解となる操作順序を一つに固定せず、必要な結果を満たすさまざまな処理経路を認める。
今回の実験では、ベンチマークとは別のタスクを用意し、最終結果の合否を0または1の報酬にした。研究チームは187タスクからなる学習用集合を選び、Qwen3.8-27BをGRPO（Group Relative Policy Optimization）で50ステップ、全パラメータ追加学習した。評価用の507タスクは学習から除外した。
■平均成功率と、繰り返し成功する範囲を分けて測る
評価は507タスクをそれぞれ20回、合計1万140回実行した。研究チームがpass@1と呼ぶ平均成功率は51.70%から60.78%へ、9.08ポイント上昇した。成功した試行数では5,242回から6,163回への増加となる。
20回すべてに成功したタスクを数える「Observed 20/20」は38件から107件へ増え、全体に占める割合は7.50%から21.10%になった。一方、20回中少なくとも1回成功したタスクの割合であるpass@20は、453件、89.35%から446件、87.97%へ低下した。追加学習によって、成功の反復性と対応範囲に異なる変化が表れた。
同じ評価条件での各モデルのpass@1とObserved 20/20は、Claude Opus 5.5が67.16%・241件、Claude Opus 5が66.50%・241件、GPT-5.4が65.36%・128件だった。GPT-5.6 Solは61.91%・82件、追加学習後のQwen3.8-27Bは60.78%・107件となった。
Claude Sonnet 4.6は59.19%・102件、GPT-6 Astraは58.31%・231件、Kimi-K3は57.37%・68件、追加学習前のQwen3.8-27Bは51.70%・38件だった。Qwenの追加学習後モデルは、平均成功率でGPT-5.6 Solを下回る一方、20回全成功のタスク数では上回った。GPT-6 Astraは平均成功率と比べて全成功タスク数が多く、指標によってモデルの順位が変わる。
先行する18モデルの比較でも、この違いが表れた。Kimi-K3は507件の93.89%を少なくとも1回解いた一方、20回全成功は68件、13.41%だった。Claude Opus 5は少なくとも1回成功した割合が79.09%で、20回全成功は241件、47.53%となった。業務ごとの結果を見るには、平均、対応範囲、反復性を併せて読む必要がある。
Observed 20/20は、今回記録した20試行での全成功を表す。実際に導入する組織では、自社のタスクや権限設定、利用条件に合わせた反復評価が、運用時の判断材料になる。
■改善した業務と、成功経路の変化
研究チームによると、追加学習後は5分野すべてでpass@1とObserved 20/20が向上した。pass@20はネオバンクとコンサルティングで上がり、小売、旅行、自動車保険で下がった。自動車保険のpass@20は7.0ポイント低下し、小売のObserved 20/20は24.5ポイント上昇した。
研究チームは、こうした変化を成功経路への確率の集中と整合的な傾向と捉えている。繰り返し機能する処理経路が選ばれやすくなる一方、低確率で成功していた経路の一部が選ばれにくくなった可能性がある。導入先では、幅広い依頼への対応と、特定業務を安定して処理することの優先度が判断を左右する。
ホテル予約の例では、旅行者が客室グレードの引き下げを希望し、社内規定が変更前の管理者承認を求める。追加学習前のモデルは20回中15回、承認を経ずに予約変更と返金を実行した。追加学習後は20回すべてで予約・支払い状態を維持し、関連する期待レコード全体も19回で一致したという。
業務システムへの操作権限は、実際の事故でも問題になっている。ABC Newsが2026年4月に報じたPocketOS創業者の説明によると、Claude Opus 4.6を使うCursorのエージェントが、テスト環境の作業中にRailwayのAPIを呼び出し、本番データベースとボリューム単位のバックアップを約9秒で削除した。創業者は約30時間に及ぶ混乱と、当初3カ月前のバックアップに頼った復旧作業を説明している。
ITProが伝えた創業者の説明では、エージェントは削除対象がテスト環境に限定されると想定していた。ABC Newsによると、その後Railwayがデータを復元した。AIの処理結果を確認する仕組みとともに、操作対象や権限、復旧手段も業務システムを構成する重要な要素となる。
■コストは評価時の推論効率を比較した推計
2026年10月22日の発表では、507タスクを20回ずつ実行した評価全体の推定コストは、追加学習前の925.80ドル（約14万5000円）から追加学習後の855.58ドル（約13万4000円）へ7.6%下がった。成功した試行1回当たりでは0.177ドル（約28円）から0.139ドル（約22円）へ、21.4%低下した。
研究チームは、評価全体の推定コストを20回全成功のタスク数で割った比較指標も示した。この値は24.36ドル（約3820円）から約8.00ドルへ67.2%低下した。反復して成功するタスク数の増加が、分母に反映されている。
同じ指標での比較値は、GPT-5.4が約6.80ドル、GPT-6 Astraが約7.45ドル、Claude Opus 5.5が約7.80ドルだった。これらは記録したトークン使用量と公開料金を基にした推論コストの推計で、料金の基準は主に2026年9月20日時点のOpenRouter掲載値、Claude Opus 5.5はAnthropicの掲載値を用いている。
この指標は、評価キャンペーンを通じた比較用の値である。追加学習や学習タスク選別のための試行にかかる費用は別途必要となる。自社での導入費用を見積もる際には、推論基盤や学習基盤、周辺サービスも含めた計算が必要だ。
■成功と失敗が混在するタスクを学習前に選ぶ
学習効率を支えるのが、研究チームのいう「オフラインでの方策に対する相対的な難度」の推定だ。ここで方策とは、モデルが状況に応じて行動を選ぶ仕組みを指す。学習前にベースモデルで候補タスクを繰り返し実行し、ときどき成功するタスクを中心に固定の学習用集合を作った。
GRPOは、同じタスクに対する複数の試行結果をグループ内で比較し、各試行の報酬が平均からどれだけ高いか、低いかを学習に使う。8試行がすべて成功、またはすべて失敗すると、タスク報酬から得られる相対的な差はゼロになる。成功と失敗が混在するグループが、行動を改善するための情報を与える。
候補タスクをn回試し、k回成功した場合、成功確率の推定にはジェフリーズ事前分布を用いたベイズ推定を採用した。得られる事後分布はベータ分布Beta(k＋1/2, n－k＋1/2)となる。成功確率を0～8%未満、8～40%未満、40～60%未満、60～90%未満、90～100%の5区間に分け、事後確率が最も多く含まれる区間へ各タスクを分類した。
今回の全パラメータ追加学習では、中央の3区間に属するタスクを残し、両端の区間を除外した。GPT-5.4による可解性の事前スクリーニングも行い、最終的に187タスクを選んだ。各試行には隔離したバックエンド、ツール操作、模擬ユーザーとの会話が必要なため、学習に役立つ結果の差が得られるタスクの選別が重要になる。
研究チームによると、評価用ベンチマークの分野、データベース、業務規定、大半のツールは、追加学習で使ったものから分離されている。一方、ThinkingBoxの基盤、模擬ユーザーの仕組み、最終状態による採点、一部の共通ツール、タスク形式は共有する。この条件で得られた転移性能を、自社業務での評価設計に生かせる。
■学習基盤、外部モデル、公開データの範囲
参照実験では、3ノードに分散したNVIDIA H100 GPU 24基を学習と試行生成に用いた。各更新で8試行を18グループ、計144エピソード生成し、50ステップ学習した。同期方式でパラメータとオプティマイザをオフロードし、AdamWの学習率は1×10⁻⁶、重み減衰はゼロとした。
同じグループ内の報酬がすべて同一になった場合は、DAPOにならった再サンプリングで置き換えた。バックエンドのタイムアウトなどのシステム障害も区別し、該当するグループを補充した。タスクに失敗した結果と、実行基盤の不具合を分けて扱う設計だ。
学習時にはGPT-5 Chatを模擬ユーザーに用い、一部の限定的な回答要件を判定する役にも使った。報酬の大半は、最終状態に対する決定論的な検証で得る。模擬ユーザーは会話環境の役割を担い、回答要件の判定役とは区別されている。公開実装では、模擬ユーザーと判定役にOpenAI互換のエンドポイントを設定できる。
学習と評価でモデル出力を同じように解釈することも重要だ。推論部分の抽出、ツール呼び出しの解析、引数の型、出力の整形、タスク状態の隔離をそろえる。公開コードは、共通処理をtrainer/core/tb_interpret.pyにまとめ、評価対象と学習中の動作を一致させる構成を取る。
GitHubのmicrosoft/thinkingbox-trainingには、データ選別、試行実行、報酬処理、Verl 0.9.0との統合と参照設定を公開している。対象環境はLinux、Python 3.12で、GPU構成はモデル規模、文脈長、同時実行数に応じて調整する。公開サンプルは接続や実行の確認用で、実験に使った187タスクの学習用集合は非公開だ。
■自己ホストとAPI利用で確認する条件
Qwen3.8-27Bは、中国・杭州に主要な事業拠点を置くAlibaba GroupのQwenチームが開発し、Apache 2.0ライセンスでウェイトを公開している。自社環境に配置して推論を実行でき、利用環境に合わせて周辺ツールやデータの接続先を設計することになる。
推論とツール処理を自社環境内で完結させる構成なら、業務データの送信先も自社側で管理できる。クラウドAPIを使う場合は、契約主体、データの保存先、推論の実行場所、保持期間が確認事項になる。今回のH100 24基という構成は全パラメータ追加学習の参照構成であり、推論用の構成はモデルの精度形式や文脈長、処理量などで決まる。
Alibaba Cloudの日本語公式資料によると、モデル提供基盤「Model Studio」は日本の東京リージョンでも利用できる。対応モデルや機能、料金はリージョンごとに異なる。同社の説明では、データ保存先となるリージョンと、推論を実行するサービス範囲を区別して選ぶ仕組みで、設定によってはデータが国境を越えて処理される。
法制度も契約・運用条件の一部となる。中国の国家情報法第7条は組織と公民に法に基づく国家情報活動への支持・協助・協力を求め、第10条は情報機関による国内外での活動を定める。データ安全法はデータの分類・等級別保護を定め、第35条では、国家安全の維持や犯罪捜査のためのデータ取得に承認手続きなどの条件を設け、関係する組織と個人に協力を求めている。
機微な業務データを扱う組織では、こうした法令と、利用するサービスの契約、実際のデータ経路を併せて確認する必要がある。自己ホスト、外部の模擬ユーザー、判定サービス、業務ツールを含め、どの構成要素が何のデータを処理するかを整理することが、運用設計と監査の出発点になる。
■検証可能な業務へ展開するために
今回の手法を応用する条件は、エージェントの作業結果を最終状態から検証できることと、代表性のある候補タスクを用意できることだ。顧客管理（CRM）、基幹業務（ERP）、物流、保険などでも、必要な更新と許容されない副作用をプログラムで判定できる業務は、同様の学習設計を検討する対象になる。
研究チームは、学習前にベースモデルでタスク難度を調べること、学習と評価の出力解析を一致させること、対応範囲と反復性を別々に報告することを重視する。候補タスクの分布を調べれば、成功と失敗の差から学べるタスクがどの程度あるかを把握できる。
追加学習が新たな能力を広げるのか、既存の成功経路を選びやすくするのかも、研究上の論点になる。今回の結果では、平均成功率と反復性の向上に、少なくとも1回解けるタスク数の小幅な減少が伴った。異なる業務やタスク分布で同じ指標を測ることで、その変化を詳しく評価できる。
ThinkingBox-TrainingのコードはMITライセンス、ベンチマークデータはCDLA-Permissive-2.0で公開されている。公開ベンチマークのタスクは、実際の企業エージェントの業務パターンを基にした合成的な再構成で、顧客は架空だ。導入時には、結果を検証する仕組み、代表タスク、学習・推論基盤、データ処理経路をそろえて評価することになる。
元記事: Microsoft Triples Enterprise Agent Reliability via RL Training on Repurposed Benchmark Graders