NVIDIA新アーキテクチャ「NVHBM」、AIチップの演算に使える領域を最大25％増

NVIDIAは、カスタムAIアクセラレータ向けの新たな高帯域幅メモリアーキテクチャ「NVHBM」を発表した。メモリコントローラをXPUの計算ダイからHBMのベースダイへ移し、標準的なHBM4E構成と比べて、計算などに利用できるダイ領域を最大25％増やせるとしている。

同社はNVHBMを、外部企業が設計するカスタムXPUをNVIDIAのラックスケール基盤へ接続する「NVLink Fusion」の一部として提供する。Amazonの半導体設計部門Annapurna Labsが最初の協業先となり、次世代TrainiumチップではTrainium4からNVLink Fusionへの対応を始める予定だ。

■メモリコントローラをHBMのベースダイへ移す

一般的なHBM構成では、HBMとの通信を管理するメモリコントローラや物理インターフェースが、AIアクセラレータの計算ダイ側に置かれる。これらの回路もダイ面積を使うため、演算器やキャッシュなどに割り当てられる領域との間で設計上の競合が生じる。

NVHBMは、NVIDIAが設計したメモリコントローラとカスタム物理インターフェースを、3D積層メモリの下層に位置するHBMベースダイへ組み込む。XPUとHBMの間は、標準的なHBM4E構成より狭いインターフェースで接続する。

NVIDIAによると、この構成により、XPU上の物理インターフェースと関連回路が占める面積をHBM4E比で最大67％削減できる。空いた領域を利用することで、計算やその他の機能に割り当てられるXPUのダイ領域を最大25％増やせるとしている。

メモリ帯域幅は1スタック当たり最大30％増加し、HBM部分の消費電力は最大15％減少するという。帯域、ダイ面積、電力効率の改善を組み合わせることで、XPU全体のエンドツーエンド性能を最大30％高められるとNVIDIAは説明している。

これらは、標準的なHBM4E構成との比較に基づいてNVIDIAが示した設計上の目標値である。NVHBMを搭載した出荷製品による第三者の比較測定は、現時点では公表されていない。

■パッケージ内の配線にも余裕

インターフェースを狭くする設計は、XPUのダイ面積だけでなく、HBMとXPUを接続するインターポーザの配線にも影響する。

NVIDIAは、配線の簡素化によって、パッケージレイアウト全体で利用可能なシリコン領域が最大80％増えるとしている。これにより、設計者はメモリスタック、I/O接続、電力供給回路などを配置する際の自由度を高められる。

ここで示される67％、25％、80％は、それぞれ対象が異なる。67％はXPU上の物理インターフェースと関連回路の削減率、25％は計算などに利用できるXPUダイ領域の増加率、80％はパッケージ全体のレイアウトで利用可能になるシリコン領域の増加率を指す。

電力面では、NVIDIAは2,000WのXPUを運用する1GW規模のデータセンターを例に挙げている。HBM部分の消費電力を最大15％削減できれば、同じ電力と冷却の範囲で、最大1万5,000基分のXPUを追加できる計算余力が生まれるという。実際の効果は、XPUの構成やHBMがシステム全体の電力に占める割合などによって変わる。

■Annapurna Labsが最初の協業先

Amazon Web Services向けのカスタムAIチップ「Trainium」シリーズを設計するAnnapurna Labsは、NVHBMに関してNVIDIAと協業する最初の企業として発表された。

Annapurna Labsは、次世代TrainiumチップでNVLink Fusionを採用し、Trainium4から対応を始める予定だ。これにより、AWSのカスタムチップとNVIDIA GPUを、共通のラックスケールアーキテクチャ内で運用できるようにする。

NVHBMについては、将来のAWSインフラ設計への活用を見据えて両社が技術協業を進める。NVIDIAは具体的な搭載製品の出荷時期や、NVHBMを供給するメモリメーカーを公表していない。

■MediaTekがNVLink Fusionを採用

NVIDIAとMediaTekは8月31日、AIインフラ、ローカルAIコンピューティング、自動車の3分野で協業を拡大すると発表した。AIインフラ分野では、MediaTekがNVLink Fusionを採用し、ハイパースケーラー、クラウドサービス事業者、AIモデル開発企業によるカスタムXPUの開発を支援する。

NVLink Fusionは、外部企業のカスタムXPUやCPUをNVIDIAのNVLink接続ラックスケールシステムに組み込むための接続技術とIPである。カスタム半導体を開発する企業は、NVIDIAのインターコネクトやラック構成との統合作業をすべて独自に構築するのではなく、検証済みの設計基盤を利用できる。

MediaTekは、カスタムシリコン、電力効率を重視したSoC設計、先端パッケージング、高速インターコネクトなどの技術を提供する。両社は、顧客が接続部分の設計や検証に費やす作業を減らし、用途ごとに差別化した演算回路の開発へ多くのリソースを振り向けられるようにする考えだ。

NVIDIAは今回の協業拡大に合わせ、MediaTekが発行した転換社債へ35億ドル（約5600億円、1ドル＝160円換算）を投資した。これはMediaTekによる総額39億ドルの海外転換社債募集の大部分を占める。

■NVLink Fusionを構成する技術

NVLink Fusionでは、カスタムXPUをNVIDIAのNVLinkファブリックへ接続するためのチップレットを利用できる。ダイ間接続には、チップレット向けの標準規格であるUCIeを用いる構成が示されている。

プラットフォームには、CPUやXPUなどをチップ間で接続するNVLink-C2Cと、カスタムXPU向けのメモリアーキテクチャであるNVHBMも含まれる。

第6世代NVLinkは、単一の72アクセラレータードメインで合計260TB/sの帯域幅を提供する。NVIDIAは、カスタムXPUと自社GPUを同じラックスケール基盤へ統合し、用途に応じて異なる種類のプロセッサを組み合わせる構成を想定している。

一方、NVLink Fusionを採用したXPUは、NVLink SwitchなどNVIDIAの接続基盤を介してラック内のほかのプロセッサと通信する。このため、導入企業は開発期間の短縮や既存のNVIDIA基盤との統合性と引き換えに、インターコネクト層でNVIDIAの技術を継続的に利用することになる。

■PCと自動車でも協業を拡大

NVIDIAとMediaTekは、AIインフラに加えて、DGX SparkとRTX Spark向けチップの将来世代でも協業を続ける。

MediaTekは、デスクトップ型AIシステム「DGX Spark」に搭載されるGB10 Grace Blackwell Superchipの共同設計に参加した。DGX Sparkは20コアのArmプロセッサとBlackwell世代のGPU、128GBのユニファイドメモリを備え、最大2,000億パラメータのAIモデルを扱える。2台を接続した構成では、最大4,050億パラメータのモデルに対応する。

Windows 11搭載PC向けのRTX Sparkでも、MediaTekはCPU、電力効率、システム統合などの設計技術を提供している。薄型ノートPCや小型デスクトップで、ローカルAI、コンテンツ制作、ゲームなどを処理する用途を想定する。

自動車分野では、両社はAIを利用するソフトウェア定義車両向けプラットフォームの開発を継続する。MediaTekの「Dimensity Auto Cockpit Platform C-X1」は3nmプロセスとArm v9.2-A CPUアーキテクチャを採用し、NVIDIA Blackwell GPUと深層学習アクセラレータを統合している。

C-X1は、NVIDIA DRIVE AGX Thorと組み合わせることができ、両プラットフォームはNVIDIA DriveOSを利用する。両社は、車内の表示やAI処理を担うコックピットシステムと、運転支援などの計算基盤を組み合わせる将来世代の車載プラットフォームでも協業を進める。

■NVIDIAがメモリと接続技術まで提供する狙い

クラウド事業者は、AIの学習や推論に特化した独自アクセラレータの開発を進めている。こうしたカスタムXPUが増えれば、AIインフラはNVIDIA GPUだけで構成されるのではなく、用途の異なる複数のプロセッサを組み合わせる形へ移っていく。

NVLink Fusionは、NVIDIA製ではないXPUを同社のラックスケール基盤へ取り込むための仕組みである。NVHBMはその範囲をメモリ構成まで広げ、カスタムXPUへ共通のメモリコントローラとベースダイ設計を提供する。

この構成では、演算処理そのものを他社のXPUが担う場合でも、メモリとプロセッサ間の接続、ラック内の高速通信、スイッチング基盤にNVIDIAの技術が使われる。NVIDIAにとっては、異種プロセッサを組み合わせるAIインフラでも、自社技術の役割を維持するための戦略となる。

■オープン規格のUALinkも開発が進む

AIアクセラレータ間のスケールアップ接続では、NVIDIAのNVLinkとは別に、業界団体のUALink Consortiumがオープン規格「UALink」を策定している。

同コンソーシアムは2026年4月、UALink Common 2.0など4つの仕様を公表した。Common 2.0には、通信中にネットワーク内で処理を行うインネットワークコンピューティングが追加されたほか、200G対応のデータリンク・物理層、チップレット、システム管理に関する仕様も整備された。

UALinkは、複数企業が実装できる共通仕様によって、異なるベンダーのAIアクセラレータやスイッチを接続可能にすることを目指している。NVLink FusionはNVIDIAの既存ラックスケール基盤との統合を重視する一方、UALinkはマルチベンダー環境での相互運用性を重視する点に違いがある。

NVHBMとNVLink Fusionの実際の競争力を判断するには、搭載製品の出荷時期、採用企業、メモリ供給体制、実際のワークロードにおける性能と電力効率を確認する必要がある。現段階では、NVIDIAが示した数値は、HBMの制御回路を移すことで得られる設計上の効果を表した公称値として捉えるのが適切だ。

元記事: NVIDIA Moves AI Chip Memory Controller Into HBM Stack; NVHBM Memory Frees 25% More Compute