MLPerf Inference v6.1公開、Vera Rubin NVL72が初登場　既存ハードもソフト最適化で性能向上

MLCommonsは2026年9月16日、AI推論システムの性能を評価する「MLPerf Inference v6.1」の結果を公開した。NVIDIAの次世代システム「Vera Rubin NVL72」がPreview区分で初登場し、現行のGB300 NVL72に対して最大3.7倍のスループットを記録した。

同じハードウェアを使った前回結果との比較では、ソフトウェアスタックの改善による性能向上も確認された。新たに検索拡張生成の処理全体を測るEnd-to-End RAGと、エッジ機器上のAIエージェントを対象とするEdge Agentic Inferenceが加わり、評価対象は単一モデルから複数要素で構成されるAIシステムへ広がった。

■過去最多の30組織が参加

v6.1には過去最多となる30組織が参加し、データセンターとエッジのClosed部門およびOpen部門を合わせて120システムが提出された。前回のv6.0では24組織が参加しており、今回はAtlas Inference、Crusoe、Orrick Industries、ScitiX、VibeHPC、個人提出者のNaeem Khoshnevisが初参加した。

MLPerf Inferenceは、学習済みモデルを使って入力を処理し、結果を生成する推論システムの性能を測るベンチマークである。Closed部門では参照実装と数学的に同等なモデルを使うことが求められ、ハードウェアやソフトウェアの違いを比較しやすくしている。

今回提出された最大のシステムは、CrusoeがAMD Instinct MI355Xを512基使用した構成だった。異なるベンダーのアクセラレーターを組み合わせたシステムや、太平洋をまたいで複数拠点を接続したシステムも提出され、評価対象となる構成の幅が広がった。

MLCommonsによると、DeepSeek-R1のサーバーシナリオでは、アクセラレーター当たりの最高性能が1年前のv5.1と比べて5.7倍になった。Qwen3ベースの視覚言語モデルでは、最高性能が半年前のv6.0比で2.99倍となった。これらの改善には、新しいアクセラレーターの導入に加え、ソフトウェアやアルゴリズムの最適化も影響している。

■既存ハードでもソフトウェア改善の効果

同一のハードウェアとベンチマーク条件を使った比較からは、ソフトウェア更新だけでも推論性能を高められることが示された。Lambdaは、NVIDIA Blackwell Ultra GPUを4基搭載した同一システムでGPT-OSS-120Bを実行し、v6.0比でサーバー性能を8.85％、オフライン性能を8.79％向上させた。

Lambdaは改善要因として、torch.compileを使った演算のTritonカーネルへの融合や、プリフィルとデコードを対象とするCUDA Graphの利用を挙げている。Mixture-of-Expertsモデルの計算方法を調整する自動チューニングや、利用可能な高帯域幅メモリに合わせたKVキャッシュ容量の設定も実施した。

Intelは、Arc Pro B70を4基搭載する同一システムで、GPT-OSS-120Bのサーバー性能がv6.0比で36％、オフライン性能が27％向上したと発表した。4基のArc Pro B70は合計128GBのVRAMを備え、GPT-OSS-120Bのほか、Llama 3.1 8B、Llama 2 70B、Whisper、End-to-End RAGにも提出された。

こうした結果は、新しいハードウェアの購入を検討する際に、現在の推論ソフトウェアや設定を併せて点検する必要があることを示している。ただし、改善率はモデル、シナリオ、精度条件、ソフトウェア構成によって異なるため、自社のワークロードにそのまま当てはまる数値ではない。

■Vera Rubin NVL72がPreview区分に登場

NVIDIAとNebiusは、Vera Rubin NVL72をPreview区分に提出した。MLPerfのPreviewは、次回の提出ラウンドでAvailable区分として提出可能になることが求められる、商用提供前のシステムを対象とした区分である。

NVIDIAの提出結果では、2350億パラメーターの視覚言語モデルQwen3-VL-235B-A22Bを使ったテストで、Vera Rubin NVL72がGB300 NVL72に対して最大3.7倍のスループットを記録した。オフライン、サーバー、対話型の各シナリオでvLLMとNVIDIA Dynamoが使用された。

DeepSeek-R1ではTensorRT-LLMを使用し、Vera Rubin NVL72のスループットはGB300 NVL72の最大2.5倍となった。いずれもMLPerf Inference v6.1のClosed部門に提出されたPreview結果であり、製品版の構成や提供時の性能を直接保証するものではない。

現行のGB300 NVL72では、DeepSeek-R1のオフラインテストで、GPUを72基使う1ラック構成から288基の4ラック構成へ拡張した際に99％のスケーリング効率を記録した。スループットがGPU数の増加にほぼ比例して伸びたことを示す結果である。

■複数モデルを含むRAG処理を一括評価

新設されたEnd-to-End RAGは、検索拡張生成を構成する一連の処理をまとめて評価する。質問をベクトルへ変換する埋め込み、関連文書の検索、検索結果の再ランキング、LLMによる回答生成を組み合わせたパイプラインが対象となる。

このベンチマークは、文書コーパスを取り込んでベクトルデータベースを構築する処理と、構築済みデータベースを使って質問に回答する処理を別々に測定する。参照実装ではGPT-OSS-120Bが質問の分解、情報の十分性確認、最終回答の生成を担い、GPT-OSS-20Bが取得文書を評価する。

埋め込みモデルと再ランキングモデルも並行して使われ、必要に応じて検索と評価を最大5回繰り返す。単一モデルのトークン生成速度だけでなく、複数モデル、データベース、検索処理を組み合わせたシステム全体の性能を評価できることが特徴である。

初回の正式結果では、Intel Xeon 6787PとArc Pro B70 GPU 4基を組み合わせたシステムが提出された。Intelによると、Xeonが埋め込み、再ランキング、ベクトル検索、小規模言語モデルの処理を担い、Arc Pro B70が大規模言語モデルによる生成を担当した。

■エッジ機器上のAIエージェントを測定

Edge Agentic Inferenceは、コーディング支援などの複数ターンにわたるAIエージェント処理を、単一のユーザーデバイスで実行する状況を想定している。会話履歴がターンごとに増え、前の処理結果を踏まえて次の操作や推論を行うワークロードを評価する。

参照構成では量子化したQwen3.6-27Bを使用し、単一ストリームでコーディング作業を処理する。主な指標はスループットではなく、ターン当たりのレイテンシーや最初のトークンが出力されるまでの時間である。別途、時間制約下での精度も評価される。

NVIDIAはJetson AGX Thorの結果をこのカテゴリーに提出した。LambdaはOpen部門で、1兆を超えるパラメーターを持つMixture-of-Expertsモデル「Kimi K2.6」をNVIDIA HGX B200上で実行した。

Lambdaの提出は1007ターンをすべて完了し、ターン当たりの平均レイテンシーは770.8ミリ秒、中央値は361.0ミリ秒、最初のトークンまでの平均時間は179.7ミリ秒だった。Open部門は参照モデルや標準構成とは異なる実装を認めているため、Closed部門のエッジ機器との単純な優劣比較には適さないが、ベンチマークを異なる規模のモデルやシステムへ適用できることを示している。

■次世代のMLPerf Endpointsへ移行

v6.1では、提出者の半数を超える組織が新しいAPI中心のテストハーネスを使用した。従来のプロセス内測定とは異なり、業界標準のAPIを介してクライアントとサーバーが推論要求と結果をやり取りする構成である。

このハーネスは、次世代ベンチマークスイート「MLPerf Endpoints」の基盤となる。MLCommonsは、データセンター向けのMLPerf Inferenceを将来的にMLPerf Endpointsへ移行する方針を示している。

MLPerf Inferenceワーキンググループは、単一モデルだけでなく、検索、複数モデル、データベース、ツール利用を組み合わせた処理へAIシステムが移行していることを、新カテゴリー導入の背景に挙げた。ハードウェア単体の性能に加え、ソフトウェアスタックや複数コンポーネントを統合したシステム全体の性能が、今後のインフラ選定で一層重要になる。

元記事: MLPerf v6.1 Puts First Peer-Reviewed Numbers on Vera Rubin: Software Gains Beat New Hardware