NVIDIA Vera Rubin NVL72、AgentXでGB300比最大30倍のスループット／MW
2026年9月18日 02:17
電力容量に制約のあるデータセンターでは、利用可能な電力からどれだけのAIエージェント処理を引き出せるかが重要になっている。NVIDIAと半導体調査会社SemiAnalysisは9月15日、実際のコーディングエージェントの利用形態を再現するAgentXベンチマークにおいて、Vera Rubin NVL72がGB300 NVL72を最大30倍上回るスループット／MWを示したと発表した。最大値は特定のモデルと対話性の条件で得られたもので、ソフトウェアの最適化は両システムで継続している。
■固定長のテストでは捉えにくいエージェント推論
AgentXは、長いコンテキストを伴う複数ターンのコーディングエージェント処理を対象とする、SemiAnalysisのInferenceXベンチマークの一つである。短い独立したリクエストを繰り返すのではなく、実際のセッションから抽出したリクエスト長やターン間隔、コンテキストの共有、サブエージェントの分岐などを再現する。
AIエージェントは、一つの質問に答えるだけでなく、情報の検索、ツールの呼び出し、コードの実行、結果の確認などを繰り返す。後続のリクエストにはそれまでの会話履歴が加わるため、セッションが進むほど入力コンテキストが長くなりやすい。こうした構造では、長い入力の処理、KVキャッシュの再利用、複数セッションの同時処理がシステム全体の性能を左右する。
OpenRouterが分析した100兆トークン規模の利用データによると、エージェント型のリクエストは通常のチャットリクエストの約15倍のトークンを消費したという。AgentXは、このような長いコンテキストと複数ターンを伴う負荷において、推論システムがどの程度の応答性と処理量を維持できるかを測る。
■393件のClaude Codeセッションから負荷を再構成
AgentX v1.0のデータセットは、利用者が記録に同意したClaude Codeのセッションから選ばれた393件のトレースで構成される。公開データからは元のプロンプト、ソースコード、ツールの引数や実行結果が取り除かれ、リクエストの長さ、共有されるプレフィックス、ターン間隔、サブエージェントの依存関係などが保持されている。
再生時には、元の内容ではなく決定論的に生成した合成トークンを使ってセッション構造を再構成する。このため、実際の会話内容を公開せずに、長い入力やコンテキストの再利用、ツール処理中の待ち時間といった負荷の特徴を再現できる。
データセットに含まれるリクエストは、入力トークン数の中央値が14万2016、出力トークン数の中央値が444である。393セッションのうち175件にサブエージェントが含まれ、全体の約44％を占める。短い固定長プロンプトを個別に処理するテストとは、入力と出力の比率やキャッシュへの負荷が大きく異なる。
SemiAnalysisのInferenceXダッシュボードでは、ベンチマーク結果を生成した公開ワークフローや実行ログを確認できる。測定は複数の同時実行数で行われ、システム全体のスループットと、ユーザー当たりの毎秒出力トークン数で表される対話性との関係を曲線として示す。
■最大30倍は毎秒160トークンの条件で記録
NVIDIAとSemiAnalysisが示した結果では、1兆6000億パラメータのMixture-of-ExpertsモデルであるDeepSeek V4 Proを使ったAgentX負荷において、Vera Rubin NVL72はGB300 NVL72に対し、最大30倍のスループット／MWを記録した。100万トークン当たりのコストは最大45分の1になったという。
30倍という差は、ユーザー当たり毎秒160出力トークンの対話性を維持した測定点で得られた。毎秒110トークン付近ではVera Rubinの優位性は約2倍、毎秒130トークン付近では約10倍となっており、差はベンチマーク曲線上の条件によって変わる。
この結果は、すべてのAIエージェント処理が一律に30倍になることを意味するものではない。特定のモデルを使い、一定の応答速度を保ちながら多数の長文脈セッションを処理する条件で、電力当たりの同時処理能力に大きな差が現れたことを示している。
比較対象のGB300 NVL72は、Blackwell Ultra世代の72GPUラックスケールシステムである。同じDeepSeek V4 ProのAgentX負荷では、GB300 NVL72もH200 NVL8に対して最大15倍のスループット／MWを示した。2兆8000億パラメータのKimi K3では、GB300 NVL72がH200 NVL8を最大80倍上回ったという。いずれも特定のモデル、ソフトウェア構成、対話性におけるベンチマーク結果である。
■プリフィルとデコードを分けて処理
エージェント型の推論では、長い入力コンテキストを処理するプリフィルと、回答を逐次生成するデコードで、必要となる計算資源の性質が異なる。プリフィルは演算性能への依存が大きく、デコードはモデルの重みやKVキャッシュを読み出すメモリ帯域の影響を受けやすい。
NVIDIA Dynamoは、この二つの処理を異なるGPUワーカープールに割り当てる分離型サービングに対応する。負荷に応じてプリフィルとデコードを独立して拡張することで、一方の処理待ちがシステム全体のボトルネックになることを抑える。
KVキャッシュを考慮したルーティングも重要になる。同じセッションのコンテキストを保持しているGPUへ後続リクエストを送れば、長い入力を最初から計算し直す処理を減らせる。AgentXは共有プレフィックスの成長を再現するため、こうしたキャッシュ再利用の効果が測定結果に反映される。
DeepSeek V4 ProやKimi K3は、トークンごとに一部のエキスパートだけを動作させるMoEモデルである。Vera Rubin NVL72では、エキスパートを72基のGPUに分散し、高速なGPU間接続を使って処理を並列化する。
Rubin GPUは、モデルの重みを4ビット浮動小数点形式で扱うNVFP4と、第5世代Tensor Core、第3世代Transformer Engineに対応する。低精度形式によってメモリ使用量とデータ転送量を抑えることは、限られた電力とメモリ容量の中で処理量を増やす手掛かりになる。
■NVLink 6が72基のGPUを接続
Vera Rubin NVL72のGPU間接続にはNVLink 6が使われる。NVIDIAによると、GPU当たりの双方向帯域幅は毎秒3.6テラバイト、72GPUのラック全体では毎秒260テラバイトに達する。市販のEthernetを使った接続と比べ、パケット処理速度は最大10倍、レイテンシは最大3分の1としている。
大規模なMoEモデルでは、トークンを担当するエキスパートへの転送や、GPU間の集団通信が頻繁に発生する。長文脈推論ではKVキャッシュの配置と移動も性能に影響するため、GPU間帯域とレイテンシはラック全体の処理効率を決める要素となる。
NVIDIAは、計算とGPU間通信を組み合わせた融合カーネルなど、ソフトウェア面の最適化も進めている。AgentXの数値はハードウェア単体ではなく、推論ランタイム、キャッシュ管理、ルーティング、通信ライブラリを含むシステム全体の結果として読む必要がある。
■電力予算内の処理量を増やす取り組み
AI Infra Summitでは、AIクラウド事業者LambdaがNVIDIA DSX MaxLPSを使った動的な電力配分の検証結果を公表した。通常はフルパワーの16ノードに割り当てる電力予算で19ノードを稼働させ、クラスタ全体のトークンスループットを約24％、ワット当たり性能を23％改善したという。
DSX MaxLPSは、各ノードに同じ電力上限を固定的に割り当てるのではなく、実際の処理状況に応じてクラスタ内の電力を配分する。Lambdaの結果はVera RubinとGB300を比較したAgentX測定とは別の検証だが、利用可能な電力をクラスタ全体でどう使うかが処理量に影響することを示している。
送電網との連携では、Emerald AIがSilicon Valley Powerからの需要調整信号を受け、優先度の低い計算処理を自動的に抑える取り組みを実施した。高い優先度の処理を継続しながら、電力需要に応じて柔軟なワークロードを減速または延期する仕組みである。
サミットではこのほか、AmazonのAnnapurna LabsとNVIDIAによるカスタム高帯域幅メモリ技術NVHBMの協業や、d-MatrixのRaptor XPUとVera CPUを組み合わせるNVLink Fusion統合も発表された。
■コーディング以外への一般化は今後の課題
AgentX v1.0は、Claude Codeを使ったコーディングエージェントのトレースだけで構成される。検索拡張生成、企業向け業務自動化、科学研究、異なる種類のマルチエージェント処理でも同じ性能差が生じるかは、この結果だけでは判断できない。
また、公開トレースは元のプロンプトやコードを再生するものではなく、トークン長や依存関係を保った合成データへ置き換えている。実際の負荷構造をプライバシーに配慮して再現できる一方、独自のトークナイザー、非公開のチャットテンプレート、暗号化された推論内容、画像や文書による入力の展開量などは近似に依存する。
Vera RubinとGB300のソフトウェア最適化も継続しているため、両システムの測定値や差は今後変わる可能性がある。現時点のAgentX結果には、ツール呼び出しやコード実行を担うVera CPUの性能も含まれていない。
■MLPerfにもエージェント型推論の測定が加わる
MLCommonsは2026年7月、コンテキストが成長する複数ターン処理と、ツールを使う閉ループ型ワークフローを対象としたAgentic Inferenceベンチマークを発表した。Kimi K2.6とQwen3.6-35B-A3Bを採用し、コンテキストの増加、KVキャッシュの再利用、出力長の変動、ターン間の依存関係を測定対象とする。
AgentXとMLCommonsの取り組みは実装やデータセットが異なるが、短い独立リクエストだけではなく、一連の処理過程を持つエージェントの負荷を測ろうとしている点で共通する。異なる組織やハードウェアベンダーによる結果が蓄積すれば、特定のモデルやワークロードに依存しない比較が進む可能性がある。
AgentXではコーパス、測定方法、実行ログが公開され、InferenceXダッシュボードにはNVIDIA以外のアクセラレーターを含む結果も掲載されている。一方、Vera Rubinの最大30倍という数値は、DeepSeek V4 Proを使った特定の測定点で得られた初期結果である。導入判断では最大値だけでなく、対象モデル、必要な応答速度、同時実行数、消費電力の算定方法、ソフトウェア構成を含めて比較する必要がある。
元記事: AgentX Benchmark: Vera Rubin NVL72 Achieves 30x Efficiency Gain Over GB300 for AI Agents