サムスン、DRAM内でAI演算する「LPDDR5X-PIM」を実証―Llama推論でトークン生成3倍
2026年8月27日 16:36
サムスン電子は、米国で開催された半導体カンファレンス「Hot Chips 2026」で、DRAM内部にAI演算機能を組み込んだ「LPDDR5X-PIM」の動作シリコンと性能評価結果を公開した。従来のLPDDR5Xと同じ561ボールのパッケージ形状を採用し、同社のエッジAIアクセラレータSoCを使った検証では、AI推論のトークン生成速度が標準LPDDR5Xの3.01倍に達した。
今回の結果はサムスンの検証環境における特定のモデルと数値形式を使った測定であり、一般的なアプリケーション全体が3倍高速になることを意味するものではない。LPDDR5X-PIMは製品化に向けた検証段階にあり、出力精度、ソフトウェア対応、標準化、量産製品への採用が今後の焦点となる。
■AI推論を制約するデータ移動
サムスンは2026年8月25日、カリフォルニア州のスタンフォード大学で開かれたHot Chips 2026のメモリセッションでLPDDR5X-PIMを発表した。登壇したサムスンのプリンシパルエンジニア、Karam Hwang氏は、AIアクセラレータの部品コストに占めるメモリの割合が、2024年第1四半期の52％から2025年第4四半期には63％へ上昇したとの資料を示した。
大規模言語モデルの推論では、トークンを生成するために、プロセッサやアクセラレータがDRAMに保存されたモデルの重みを繰り返し読み出す。演算器の性能が向上しても、メモリとの間で大量のデータを移動する時間や電力が処理全体を制約することがある。このようなプロセッサとメモリの性能差に起因するボトルネックは「メモリの壁」と呼ばれる。
広帯域メモリのHBMは、幅の広いインターフェースとDRAMの積層によって高い帯域幅を確保する。HBM4のJEDEC規格は、2048ビットのインターフェースを通じて1スタックあたり最大2TB/sの帯域幅を規定している。一方で、HBMを利用するシステムには専用の実装や高度なパッケージングが必要となる。
LPDDR5X-PIMは、外部インターフェースを広げるのではなく、モデルの重みが保存されているDRAM内で一部の積和演算を行う。メモリとプロセッサの間を往復するデータを減らし、AI推論のうちメモリ帯域に制約されやすい処理を高速化する考え方だ。
■16バンクに演算ブロックを搭載
PIMは「Processing-in-Memory」の略で、メモリの内部または近傍に演算回路を配置する技術を指す。サムスンは2021年にも、HBM2を基盤とするPIM実証チップ「Aquabolt-XL」をHot Chipsで公開している。
今回のLPDDR5X-PIMでは、16個のメモリバンクにPIM演算ブロックを1つずつ配置した。各ブロックは、スケールレジスタファイル、ソースレジスタファイル、並列積和演算回路、ベクトルレジスタファイルなどで構成され、整数形式と浮動小数点形式の演算に対応する。
PIMモードでは、アクティベーションデータを各バンクのレジスタへ送り、DRAMセルから読み出した重みと組み合わせて積和演算を実行する。結果はベクトルレジスタファイルを経てDRAMへ書き戻され、ホスト側は通常の読み出し動作によって最終結果を取得する。中間の重みデータをメモリパッケージの外へ繰り返し転送しないことが、PIMによる高速化の中心となる。
LPDDR5X-PIMは、設定レジスタを通じて15種類の演算精度の組み合わせを選択できる。サムスンが示した仕様では、SINT4の重みを使用する場合の演算性能は1パッケージあたり2.4TOPS、FP8では約1.2TFLOPSとなる。
■標準LPDDR5Xと同じパッケージ形状
LPDDR5X-PIMは、標準LPDDR5Xと同じJEDEC準拠の561ボールパッケージを採用し、容量は16GBとなる。サムスンは、既存のLPDDR5X向け基板レイアウトに組み込みやすいことを設計上の特徴としている。
通常のDRAMコントローラは、行アドレスと列アドレスを使ってメモリを読み書きするが、PIMの積和演算命令を直接扱うことは想定していない。サムスンはこの違いを吸収するため、「Address Align Mode」と呼ぶアドレス割り当て方式を採用した。
Address Align Modeは、DRAMの行アドレスと列アドレスをPIM内部のレジスタへ対応付ける。これにより、従来型のDRAMコントローラを利用しながら、通常のシングルバンク動作と複数バンクを並列利用するPIM動作を切り替えられる。
同じパッケージ形状と従来型コントローラへの対応は、ハードウェア導入の障壁を抑える要素となる。一方、PIM機能を利用するには、対象処理をPIMへ割り当て、専用コマンドを発行するソフトウェア側の対応が必要だ。
■Llama 3.1 8Bでトークン生成3.01倍
サムスンは、同社のエッジAIアクセラレータSoC上でMetaの「Llama 3.1 8B」を動かし、標準LPDDR5XとLPDDR5X-PIMを比較した。テスト条件はコンテキスト長320トークン、SINT8アクティベーション、SINT4重み、SINT32出力だった。
トークン生成速度は、標準LPDDR5Xの毎秒27.0トークンに対し、LPDDR5X-PIMでは毎秒81.3トークンとなり、3.01倍に向上した。評価対象タスクの完了時間は12.3秒から5.4秒へ短縮され、所要時間では2.28倍の高速化となった。
標準インターフェースのピーク帯域幅は両方とも76.8GB/sだが、サムスンはLPDDR5X-PIMの内部並列演算に使えるPIM帯域幅を614GB/sとしている。この8倍という数値は、ホストから任意のデータを読み出す外部帯域が8倍になるという意味ではなく、複数のメモリバンク内で実行されるPIM処理における内部帯域を示す。
消費電力についてサムスンは、PIMのバースト動作中にはピーク電力が上昇する一方、メモリとプロセッサ間のデータ転送を減らすことで、平均消費電力は標準LPDDR5Xと同等以下になるとの見通しを示した。具体的な平均電力やエネルギー効率の測定値は公開されていない。
また、LPDDR5X-PIMの演算結果には標準LPDDR5Xによる結果との差があることも明らかにされた。サムスンは精度の最適化を進めていると説明したが、差の大きさや評価指標は公表していない。今回の性能値はサムスンのSoCを使った社内評価であり、異なるハードウェアやモデル、数値精度での結果は今後の検証を待つ必要がある。
■HBMを補完するエッジAI向けメモリ
サムスンはLPDDR5X-PIMをHBMの代替ではなく、異なる用途を担うメモリと位置付けている。HBMは大規模なAIモデルの学習やクラウド推論など、非常に高い外部帯域幅を必要とするシステムに適する。LPDDR5X-PIMは、消費電力、実装面積、コストの制約が大きいAI PC、スマートフォン、エッジアクセラレータなどを想定する。
LPDDR5X-PIMの性能向上は、メモリ内で実行できる積和演算と、データ移動がボトルネックとなる処理に依存する。そのため、CPUの一般処理やグラフィックス処理を含むシステム全体のメモリ帯域が614GB/sになったり、すべてのAIアプリケーションが一律に3倍高速化したりするわけではない。
LPDDRクラスのPIMを広く利用するには、ハードウェアだけでなく、モデル内の処理をPIMへ割り当てる開発環境やライブラリも必要になる。サムスンはシミュレータやデータシートを要請に応じて提供し、SDKと参照ツールも用意していると説明した。
■LPDDR6-PIMの標準化も進行
JEDECは2026年4月、LPDDR6規格の今後の更新計画とともに、LPDDR6-PIMの標準規格が完成に近づいていると発表した。LPDDR6-PIMは、メモリと演算器の間のデータ移動を減らし、エッジおよびデータセンターの推論処理における性能と電力効率の向上を目指す。
複数メーカーが利用できる標準仕様が確立されれば、機器メーカーは特定のメモリ供給元だけに依存せず、PIMを前提とする製品を設計しやすくなる。サムスンはHot Chipsで、2026年中の初期仕様策定を期待していると説明した。
LPDDR5X-PIMは2026年8月のFMSでも展示され、Hot Chipsではアーキテクチャ、動作方式、実機シリコンによる評価結果が詳しく公開された。ただし、サムスンは量産開始時期、搭載製品、価格を発表していない。
■AI PC向け「GAIA」との関係は未確定
サムスンのSystem LSI事業部が、AI PC向けの4nm AIアクセラレータ「GAIA」を開発し、LenovoとHPが試作チップを評価しているとの報道もある。量産は早ければ2027年に始まる可能性があるとされるが、サムスンはGAIAを正式発表しておらず、性能や消費電力、接続方式、製品化の時期は明らかになっていない。
一部の報道ではGAIAとLPDDR5X-PIMの組み合わせが取り上げられているものの、Hot Chipsの発表資料は評価用チップを「エッジAIアクセラレータSoC」とだけ記載し、GAIAという名称を示していない。GAIAの量産品にLPDDR5X-PIMが採用されることや、今回のベンチマーク環境がGAIAであることは確認されていない。
LPDDR5X-PIMの商用化を左右するのは、特定条件で示された性能向上を、市販機器の幅広いモデルやアプリケーションでも引き出せるかどうかだ。出力精度、平均消費電力、SDKの完成度、標準化、供給体制を含めた検証を経て、AI PCやエッジ機器への採用につながるかが次の注目点となる。
■注目ポイントQ&A
●PIMとは何ですか？
メモリ内部または近傍に演算回路を配置し、保存されているデータの一部をメモリ側で処理する技術です。LPDDR5X-PIMでは、AI推論で多用される積和演算を各メモリバンク内で実行し、プロセッサとのデータ転送を減らします。
●LPDDR5X-PIMでは、すべての処理が3倍高速になりますか？
いいえ。3.01倍という数値は、サムスンのエッジAIアクセラレータSoC上でLlama 3.1 8Bを特定の数値形式により動かした際のトークン生成速度です。PIMに割り当てられる演算やモデル、ハードウェア、ソフトウェアによって効果は変わります。
●標準LPDDR5Xとそのまま交換できますか？
パッケージは同じ561ボールのフットプリントで、従来型のDRAMコントローラを利用できるよう設計されています。ただし、PIM機能を使うには専用コマンドを発行し、対象処理をPIMへ割り当てるソフトウェア対応が必要です。既存製品で無条件に交換して利用できることを意味するものではありません。
●LPDDR5X-PIMとHBMはどのように使い分けられますか？
HBMは最大帯域幅が重要な大規模AIシステムに適しています。LPDDR5X-PIMは、AI PCやエッジ機器などで、メモリ内演算によってデータ移動を減らし、限られた電力や実装面積の中で推論性能を高める用途を想定しています。
●スマートフォンやAI PCへの搭載時期は決まっていますか？
決まっていません。サムスンはLPDDR5X-PIMの量産時期や採用製品を発表していません。AI PC向けアクセラレータGAIAとの組み合わせも報じられていますが、GAIA自体が未発表であり、LPDDR5X-PIMの採用は確認されていません。
●公表された性能値にはどのような注意点がありますか？
サムスン独自のSoCと特定の推論条件による企業公表値であり、広範な第三者検証はまだ確認されていません。また、標準LPDDR5Xによる出力との精度差があり、サムスンが最適化を進めていますが、その差の大きさは公表されていません。
元記事: Samsung Moves AI Compute Into DRAM: Drop-In Memory Chip Triples Inference Speed