NVIDIA「Groq 3 LPX」が量産開始、毎秒3,400トークンでAIエージェントの応答を高速化

NVIDIAは2026年8月24日、パロアルトで開催された半導体会議「Hot Chips 2026」で、AI推論アクセラレーター「NVIDIA Groq 3 LPX」の量産開始を発表した。Vera Rubin NVL72と組み合わせ、AIエージェントなどで発生するトークン生成の待ち時間を短縮することを狙う。

AIクラウドを運営するNebiusが最初の採用企業となり、本番推論プラットフォーム「Nebius Token Factory」へ2026年内に導入する予定だ。開発者は既存のAPIを通じて利用できる見込みだが、対応モデルや料金などの詳細は発表されていない。

■エージェント型AIで積み重なる生成待ち時間

エージェント型AIは、モデルへの問い合わせ、ツールの実行、結果の確認、処理の修正といった一連のステップを繰り返す。各ステップは前の結果を待って進むため、1回ごとの生成時間が短くても、呼び出し回数が増えるほど全体の待ち時間は長くなる。

Groq 3 LPXは、このうち出力トークンを順番に生成する処理の低遅延化を重視したアクセラレーターだ。NVIDIAは、エージェント型AIや応答速度が重要なワークロードで、最も近い代替プラットフォームより4倍高い応答性能を実現すると説明している。ただし、比較対象の具体的な構成や測定条件は明らかにしておらず、この倍率はNVIDIAが示した性能値として見る必要がある。

こうした高速化は、1回の処理を直ちに終わらせるものではないが、モデル呼び出しを何度も繰り返すエージェントでは、累積する生成時間を短縮する効果が期待できる。

■GPUとLPUで推論処理を分担

大規模言語モデルの推論は、大きくプリフィルとデコードに分けられる。プリフィルは入力されたプロンプトを並列に処理する段階で、GPUが得意とする大規模な行列演算が中心となる。デコードでは、それまでの結果を基に出力トークンを一つずつ生成する。

デコードは計算性能だけでなく、モデルの重みやKVキャッシュなどのデータをどれだけ速く供給できるかに左右される。並列処理能力を高めるだけでは、メモリから演算器へのデータ供給が追いつかない場合がある。

Groq 3 LPXはGPUを置き換えるのではなく、Vera Rubin NVL72と協調して推論を処理する構成だ。NVIDIAの説明では、Rubin GPUとGroq 3 LPUがモデルの各層の計算を共同で処理し、GPUのHBMとLPUのオンチップSRAMを組み合わせることで、大規模なコンテキストと低遅延のトークン生成を両立させる。

■256基のLPUと128GBのオンチップSRAM

Groq 3 LPXの1ラックには256基のGroq 3 LPUが搭載される。LPUは1基あたり500MBのSRAMと毎秒150TBのSRAM帯域幅を備え、ラック全体では128GBのオンチップSRAMと毎秒40PBのSRAM帯域幅になる。LPU間を結ぶスケールアップ帯域幅は、ラック全体で毎秒640TBとされている。

このほか、ラックには大規模モデルやワークロードを扱うための12TBのDDR5メモリも搭載される。高速だが容量の小さいSRAMだけにモデル全体を格納するという単純な構成ではなく、SRAM、DDR5、Rubin GPU側のHBMを組み合わせる「フュージョンメモリアーキテクチャ」を採用している。

LPUは処理手順やデータ移動をあらかじめコンパイラーで計画する、静的にスケジュールされた実行方式を採用する。実行時に処理順序を動的に決める部分を減らし、トークン生成における遅延の一貫性を高める設計である。

■Gemma 4 31Bで毎秒3,400出力トークン

NVIDIAの発表によると、Artificial Analysisが10万トークンのコンテキスト条件でオープンモデル「Gemma 4 31B」を測定したところ、Groq 3 LPXは単一ユーザー向けに毎秒3,400出力トークンを記録した。同社は、同モデルで記録された最速の結果としている。

この測定値は、同じモデルと入力条件におけるトークン生成速度を示すもので、あらゆるモデルや本番環境で同じ速度が得られることを意味するものではない。測定に使われたのは一般提供前のエンドポイントであり、本番サービスにおける同時接続数、消費電力、料金、継続的な処理性能などは今後の導入で明らかになる。

NVIDIAはさらに、Groq 3 LPXをVera Rubin NVL72と組み合わせることで、1兆から2兆パラメータ級のモデルにおいて、従来のBlackwell世代に比べてメガワット当たり最大35倍の推論スループットを実現できると予測している。クラウド事業者にはワット当たり最大10倍の収益機会が生まれるとも試算するが、いずれも特定のモデル、コンテキスト長、料金階層を前提としたNVIDIAの予測値である。

■NebiusがToken Factoryへ導入

Nebiusは、Groq 3 LPXを採用する最初のAIクラウド事業者となる。同社は、マネージド推論サービス「Nebius Token Factory」で、Vera Rubin NVL72とGroq 3 LPXを同じプラットフォームから提供する計画だ。

Token Factoryは、サーバーレスおよび専用エンドポイント、オートスケーリング、監視、ファンクションコーリング、構造化出力などを提供している。Groq 3 LPXの導入当初は一部のモデルに対応する予定で、開発者は既存のAPIを利用できるとしている。

NebiusのCTOを務めるダニラ・シュタン氏は、生成段階がAIシステムの応答性を決めると説明し、新しいソフトウェアスタックへの移行を求めずに、エージェントの各処理を高速化する考えを示した。具体的な提供開始日、対応モデル、LPXを利用するエンドポイントの料金は公表されていない。

Nebiusに続き、推論クラウドを展開するGroqも初期採用企業の一つとなる予定だ。GroqはNVIDIAとの契約後も独立企業として事業を継続している。

■Groqとの技術ライセンス契約が製品化

Groq 3 LPXは、NVIDIAがGroqからライセンスを受けた推論技術をVera Rubinプラットフォームへ統合した製品である。両社は2025年12月24日、Groqの推論技術に関する非独占的ライセンス契約を発表した。

契約に伴い、Groq創業者のジョナサン・ロス氏、当時社長だったサニー・マドラ氏らがNVIDIAへ移った。一方、Groqそのものは買収されておらず、サイモン・エドワーズ氏をCEOとして独立した運営を続けている。契約額は公式には開示されていないが、複数の報道は約200億ドル（約3兆1,800億円、1ドル159円換算）と伝えている。

Groq 3 LPUはSamsung Electronicsの4nmプロセスで製造されている。NVIDIAは2026年3月にVera Rubinを構成する7種類のチップの一つとしてGroq 3 LPUを発表し、今回、Groq 3 LPXラックの量産段階への移行を明らかにした。

■CerebrasもSRAMを使ったCS-4を発表

推論処理を高速化する専用ハードウェアでは、Cerebras Systemsも2026年8月18日にラックスケールシステム「CS-4」を発表した。CS-4は、ウエハー全体を1個のプロセッサとして利用するWSE-3 Turboを3基搭載し、新たなラックアーキテクチャ「Nexus」で接続する。

Cerebrasは、CS-4がGPUシステムに比べて最大30倍高速で、10兆パラメータを超えるモデルでも毎秒1,000トークンを上回ると説明している。後者は同社の内部ベンチマークからの外挿値であり、比較対象となるGPUの詳細や本番環境での第三者測定結果は示されていない。製品提供は2026年第3四半期に始まる予定だ。

Groq 3 LPXとCS-4はいずれもSRAMの高速なデータ供給能力を生かすが、構成は異なる。Groq 3 LPXは多数のLPUとGPUを組み合わせるのに対し、CS-4は大型のウエハースケールプロセッサを3基搭載する。同一モデル、同一精度、同じ入力長や同時接続条件による両製品の直接比較はまだ公表されていない。

■推論を用途別のプロセッサで処理する構成へ

Groq 3 LPXが示しているのは、AI推論を単一種類のプロセッサだけで処理するのではなく、処理段階に応じて異なるアクセラレーターを組み合わせる方向性である。Vera Rubin NVL72が大規模なコンテキスト処理や汎用的な演算を担い、Groq 3 LPXが応答速度を重視するトークン生成を補完する。

エージェント型AIでは、単一の回答を生成するチャットとは異なり、モデル呼び出しやツール実行が連続する。そのため、1回当たりの生成時間の短縮は、処理全体の応答性に影響する。

今後の焦点は、毎秒3,400トークンという単一ユーザー向けの生成速度を、Nebiusなどの本番サービスがどのようなモデル、料金、同時接続性能で提供できるかに移る。Groq 3 LPXの実用上の価値は、2026年内に予定されるクラウド導入を通じて具体化していくことになる。

■注目ポイントQ&A

●Groq 3 LPXはGPUを置き換える製品ですか？

置き換える製品ではありません。NVIDIAはGroq 3 LPXをVera Rubin NVL72と組み合わせ、Rubin GPUとGroq 3 LPUが推論処理を協調して実行する構成として位置付けています。

●SRAMを使うと、なぜトークン生成が速くなるのですか？

SRAMはチップ上に配置され、非常に高い帯域幅と低いアクセス遅延を実現できます。デコードではモデルの重みや処理途中のデータを演算器へ繰り返し供給するため、メモリ帯域幅の向上がトークン生成の高速化につながります。

●モデル全体を128GBのSRAMに格納するのですか？

必ずしもそうではありません。Groq 3 LPXはラック当たり128GBのSRAMに加えて12TBのDDR5メモリを備え、Vera Rubin NVL72のGPUと協調するメモリアーキテクチャを採用しています。

●毎秒3,400トークンは本番サービスでの速度ですか？

Artificial Analysisが一般提供前のGroq 3 LPX環境で、Gemma 4 31Bと10万トークンのコンテキストを使って測定した単一ユーザー向けの結果です。本番環境での速度はモデル、入力長、同時接続数やサービス構成によって変わります。

●開発者はいつからNebiusで利用できますか？

Nebiusは2026年内にToken Factoryへ導入する予定です。具体的な開始日、対応モデル、料金はまだ発表されていません。

元記事: Groq 3 LPX Hits Full Production: SRAM Decode Chip Reaches 3,400 Tokens Per Second