演算性能の伸びにHBM帯域が追いつかず、AIアクセラレータ選定で重要になる指標
2026年8月25日 22:52
Micron Technologyは、2026年8月23日に米スタンフォード大学で開かれたHot Chips 2026のメモリ技術チュートリアルで、AIアクセラレータの演算性能と広帯域メモリ（HBM）の帯域幅の伸びに差が生じていると説明した。同社が示した傾向では、AIアクセラレータのTFLOPSは約2年で3倍になる一方、HBM帯域幅の伸びは同じ期間で2倍未満にとどまる。
この差は、すべてのAI処理が一律に遅くなることを意味するものではない。性能を左右する資源はモデル、処理段階、バッチサイズ、精度、ソフトウェア実装などによって変わる。それでも、メモリ帯域幅に律速される処理では、TFLOPSだけを増やしても演算器へ十分な速度でデータを供給できず、理論演算性能を使い切れない。AIハードウェアを比較する際には、演算性能とメモリ仕様を組み合わせて評価する必要がある。
■演算性能とメモリ帯域の伸びに開く差
MicronのHBM設計アーキテクチャ・フェロー、ラグー・スリーラマネニ氏は、「Evolving memory architectures for AI」と題した講演で、演算性能の伸びがHBM帯域幅の伸びを上回る傾向を示した。Hot Chips 2026ではMicronのほか、Samsung ElectronicsとSK hynixもHBMや先端パッケージングに関する講演を行った。
プロセッサの演算性能に対してメモリの性能向上が追いつかず、データ供給が処理性能を制限する問題は「メモリの壁」と呼ばれる。AIアクセラレータでは、行列演算器などのピーク性能が高くても、対象ワークロードの演算密度が低ければ、処理速度は主にメモリ帯域幅によって決まる。
大規模言語モデル（LLM）の推論も単一の性質を持つ処理ではない。入力をまとめて処理するプリフィル段階は演算性能の影響を受けやすい一方、トークンを順次生成するデコード段階は、モデルの重みやKVキャッシュを読み出すため、メモリ帯域幅の影響を受けやすい。したがって、TFLOPSが高いチップほど常に高い生成速度を示すとは限らず、想定するモデルや処理条件での測定が欠かせない。
■HBMが広い帯域幅を実現する仕組み
HBMは、複数のDRAMダイを垂直方向に積層し、シリコン貫通電極（TSV）などを通じて接続するメモリである。一般的なAIアクセラレータでは、積層したHBMをGPUや演算ダイの近くに配置し、広いインターフェースを通じて大量のデータを並列に転送する。
HBM3Eは1,024ビットのインターフェースを採用し、HBM4では2,048ビットへ拡大した。JEDECのHBM4規格は、最大8Gbpsの転送速度と最大毎秒2TBの帯域幅を規定する。メーカーは規格を上回る速度で動作する製品も開発しており、Micronの36GB、12層構成のHBM4は、同社発表で毎秒2.8TBを超える帯域幅を備える。
広いインターフェースと積層構造は、帯域幅を高める一方で、製造と実装を複雑にする。MicronがHot Chipsで示した比較では、同容量のHBM3Eに必要なシリコン面積はDDR5のおよそ3倍とされた。これはHBMの販売価格そのものを示す数字ではなく、DRAMダイの構造、バンク数、TSV、ベースダイなどを含むシリコン面積の比較である。
同社の説明では、複数のHBMスタックを備えるGPUシステム・イン・パッケージでは、メモリ関連のシリコン面積がGPUダイを大きく上回る構成もある。AIアクセラレータの性能、製造コスト、電力、歩留まりを考えるうえで、HBMと先端パッケージングが占める比重は増している。
■HBM3EからHBM4で変わるもの
Micronの講演では、HBM3EからHBM4への移行に伴い、DRAMダイ当たりのバンク数が128から256へ増え、I/O幅も1,024ビットから2,048ビットへ倍増すると説明された。JEDEC規格では、HBM4の独立チャネル数もHBM3の16から32へ増えている。
並列性の向上は帯域幅の拡大につながるが、I/O数の増加に対応する配線、積層ダイ間の接続、電力供給、放熱などの設計も難しくなる。積層数を増やす場合には、薄化したダイの取り扱い、反り、接合精度、熱抵抗、製造歩留まりも重要になる。
Micronは2026年3月、36GB、12層構成のHBM4を2026年第1四半期から量産出荷しており、NVIDIA Vera Rubin向けに設計したと発表した。同社によると、この製品は11Gbpsを超えるピン速度と毎秒2.8TB超の帯域幅を備え、同社の12層HBM3Eに比べて電力効率を20%以上改善した。
■信頼性と熱設計も性能を左右する
大規模なAIシステムでは、多数のアクセラレータを長時間動かすため、メモリエラーへの対策が重要になる。HBMでは、DRAM内部のエラー訂正機能とシステム側のエラー検出・訂正を組み合わせ、データの信頼性を高める設計が採られている。
熱と機械的な応力も重要な課題だ。HBMを含む先端パッケージは、DRAMダイ、ロジックダイ、インターポーザ、パッケージ基板、接合材など、異なる材料で構成される。温度変化に対する膨張率の違いは接合部に応力を生じさせるため、積層数や電力密度が増すほど、材料、接合方法、冷却方式を一体で設計する必要がある。
Micronは、液冷、ハイブリッドボンディング、接合材やモールド材の改良などを、将来の高積層HBMを支える技術として挙げた。帯域幅だけでなく、温度、電力、信頼性、製造可能性を同時に満たすことが、次世代HBMの実用化を左右する。
■パッケージングと光接続の役割
HBMのスタック数を増やすだけでは、パッケージ面積、電力、放熱、製造上の制約が大きくなる。そこで、より高密度なパッケージ基板や接合技術、チップ間接続の改良が重要になる。
ガラス基板は、有機基板に比べて寸法安定性や平坦性を高め、高密度な配線や大型パッケージを支える候補として開発が進められている。一方、ガラス基板、シリコンインターポーザ、有機基板はそれぞれ異なる部材であり、同じものではない。将来のAIパッケージでは、用途に応じてこれらを組み合わせる構成が検討される。
コパッケージド・オプティクス（CPO）は、光学エンジンをスイッチASICや演算用ASICの近くに配置し、パッケージ外を通る高速電気配線を短縮する技術である。主な狙いは、AIクラスタのノード間通信で求められる帯域密度を高め、光通信部分の消費電力や信号損失を抑えることにある。HBMがパッケージ内のメモリ帯域を担うのに対し、CPOは主にパッケージ外やノード間の通信制約へ対応する技術として位置付けられる。
■2038年までの数値は研究上の予測
韓国科学技術院（KAIST）のTerabyte Interconnection and Package Laboratoryは、現在の技術動向を基に、HBM4からHBM8までの将来像をまとめた研究ロードマップを公表している。そこでは、1スタック当たりの帯域幅がHBM5で毎秒4TB、HBM6で毎秒8TB、HBM7で毎秒24TB、HBM8で毎秒64TBへ伸びるという予測が示されている。
想定時期はHBM5が2029年、HBM6が2032年、HBM7が2035年前後、HBM8が2038年とされている。ただし、これはJEDEC規格やメモリメーカーの確定した製品計画ではなく、研究機関が技術トレンドを基に描いた長期的な構想である。将来の規格名、仕様、導入時期がこの通りになると確定したものではない。
このロードマップは、帯域幅を拡大するためにI/O幅、積層構造、接合、冷却、基板、メモリ階層をどのように変える必要があるかを考える手掛かりになる。Micronが示した演算性能とメモリ帯域の成長率も、特定の製品が2038年まで同じ比率で伸び続けることを保証する予測ではなく、現在の設計上の課題を表す傾向として読む必要がある。
■AIハードウェアは用途別の実測で選ぶ
AIインフラの評価では、TFLOPS、HBMの世代、容量、総帯域幅、スタック数を確認したうえで、実際に使用するモデルとソフトウェア環境に近いベンチマークを比較することが重要だ。帯域幅は1スタック当たりの値とアクセラレータ全体の値を区別し、メモリ容量、接続方式、消費電力も併せて確認する必要がある。
LLM推論では、プリフィルとデコードでボトルネックが異なるほか、バッチサイズや入出力の長さ、量子化方式、並列化、キャッシュ利用率によっても性能が変わる。メモリ帯域幅が増えても、ソフトウェア、通信、演算性能、メモリ容量など別の要素が上限になれば、帯域幅の増加率と同じだけ処理速度が上がるとは限らない。
TFLOPSは演算能力の上限を示す重要な指標だが、それだけでAIシステムの実効性能や費用対効果を判断することはできない。Micronの講演が示したのは、演算ダイ、HBM、パッケージング、冷却、ノード間接続を一つのシステムとして評価する必要性である。
■注目ポイントQ&A
●HBM帯域幅はAIチップの演算性能に追いつきますか？
Micronは、現在の傾向としてAIアクセラレータの演算性能が約2年で3倍、HBM帯域幅が同期間で2倍未満に伸びると説明しています。ただし、2038年まで同じ成長率が続くと確定したわけではありません。将来の差は、製品設計、メモリ規格、パッケージング、ソフトウェアの進歩によって変わります。
●AIハードウェアは何を基準に評価すべきですか？
TFLOPSだけでなく、HBMの世代、容量、スタック数、スタック当たりとシステム全体の帯域幅、消費電力を確認してください。そのうえで、使用予定のモデル、精度、バッチサイズ、入出力長、推論ソフトウェアに近い条件での実測性能を比較することが重要です。
●HBMはなぜDDR5より広い帯域幅を得られるのですか？
複数のDRAMダイを積層し、演算ダイの近くに配置するとともに、非常に広いインターフェースでデータを並列転送するためです。HBM3Eは1,024ビット、HBM4は2,048ビットのインターフェースを採用しています。その代わり、製造やパッケージングは複雑になります。
●LLM推論は常にメモリ帯域幅で性能が決まりますか？
常にではありません。一般にデコード段階はメモリ帯域幅の影響を受けやすく、プリフィル段階は演算性能の影響を受けやすいとされています。実際のボトルネックは、モデル、バッチサイズ、入出力長、量子化、並列化、ハードウェア構成によって変わります。
●CPOはHBMの一種ですか？
いいえ。HBMは主に演算ダイへデータを供給するメモリで、CPOは光学エンジンをASICの近くに配置する通信技術です。AIシステム全体のデータ移動を改善するという点では共通しますが、それぞれ異なる場所の帯域制約に対応します。
元記事: HBM Bandwidth Grows at Half Micron’s TFLOPS Rate: Wrong Metric Costs AI Buyers