米CerebrasがAIシステム「CS-4」を発表、電源・冷却設計を刷新し推論速度を最大2倍に

AI向け独自AIプロセッサの開発を手掛ける米セレブラス・システムズ（Cerebras Systems）は8月18日、ラックスケールAIシステム「CS-4」を発表した。前世代と同じ基本仕様を持つウエハー級プロセッサを高い動作周波数で稼働させ、1ウエハーあたりの演算性能とメモリ帯域幅を最大2倍に高めたという。GPUシステムとの比較では最大30倍の推論速度を掲げるが、この数値には同社の内部測定が含まれ、比較環境の詳細も限定的である。初回出荷は2026年第3四半期中に始まる予定だ。

■既存のWSE-3を電源、冷却、I/Oの刷新で高速化

CS-4は、3基の「Wafer Scale Engine 3 Turbo（WSE-3T）」を搭載する。WSE-3Tは、前世代のWSE-3と同じTSMCの5nmプロセスを採用し、トランジスタ数は4兆個、AIコア数は90万基、オンチップSRAM容量は44GBとなっている。

大きく変わったのは、プロセッサそのものの規模ではなく、それを動かすシステム側の設計だ。Cerebrasは電源、冷却、I/Oを再設計し、WSE-3Tへ従来の2倍の電力を供給できるようにした。これにより動作周波数を引き上げ、1ウエハーあたりの演算性能とメモリ帯域幅をそれぞれ最大2倍にしたとしている。

電力変換回路はプロセッサから約0.5mmの位置に置かれる。Cerebrasによると、一般的なGPUボードにおける約50mmと比べて約100分の1の距離であり、基板上の電力損失を抑えながら供給電力を増やせるという。高い動作周波数を維持するうえでは、近接した電力供給だけでなく、ラック全体の冷却設計も重要になる。

■公称250ペタFLOPSはスパースFP16性能

WSE-3Tの公称演算性能は1基あたり250ペタFLOPS、オンチップメモリ帯域幅は毎秒43.2ペタバイトだ。WSE-3の125ペタFLOPS、毎秒21.6ペタバイトから、それぞれ2倍になった。

250ペタFLOPSは、ゼロ要素を多く含む演算を省略するスパースFP16を前提とした指標である。The Registerの試算では、密なFP16演算での性能は約25ペタFLOPSとなる。用途やモデル構造によって利用できる演算形式が異なるため、導入時には公称ピーク性能だけでなく、実際に使用するモデル、精度、量子化方式、バッチサイズで評価する必要がある。

CS-4の特徴となるのは、44GBのオンチップSRAMが提供する高いメモリ帯域幅だ。大規模言語モデルが回答を1トークンずつ生成するデコード処理では、モデルの重みを繰り返し読み出すため、演算能力だけでなくメモリ帯域幅と遅延が処理速度を左右する。WSE-3Tは、このデコード処理を高速化する設計に重点を置いている。

■GPU比最大30倍はモデルと構成に依存

Cerebrasは、CS-4がGPUシステムより最大30倍高速に推論できるとしている。同社が公開したグラフでは、GPT-OSS-120Bを使用した比較で、CS-4がユーザーあたり毎秒4,400トークンを超える出力速度を記録した。

一方、公開資料では比較対象となったGPUの種類や台数、推論フレームワーク、精度、量子化方式、入力長、出力長、同時実行数などの条件が十分に示されていない。グラフのデータ源もArtificial AnalysisとCerebrasの内部ベンチマークを組み合わせたものとなっており、毎秒4,400トークンという値を独立機関によるCS-4実機の一律な検証結果として扱うことはできない。

最大30倍という数値は、すべてのモデルや運用条件に共通する性能差ではなく、Cerebrasが選定したモデルと比較構成における最大値と捉える必要がある。また、この指標は主にユーザーあたりの出力速度を表すものであり、ラック全体の同時処理能力、最初のトークンが出るまでの時間、消費電力、導入費用を総合した比較ではない。

■3基のバックパックを収容するNexusプラットフォーム

CS-4は、新しいラック設計「Nexus Platform Architecture」の最初の製品でもある。ラック前面側に電力供給機構を配置し、背面側にはウエハー、電力変換、液冷、高速I/O、制御回路を一体化した着脱式の「Wafer-Scale Backpack」を収容する。

1台のCS-4には3基のバックパックを搭載できる。ラック全体の公称性能は、スパースFP16で750ペタFLOPS、オンチップメモリ帯域幅は毎秒129.6ペタバイト、外部I/O帯域幅は毎秒7.2テラビット、コンピュートファブリック帯域幅は毎秒160.5ペタバイトとなる。

Cerebrasによると、バックパックは従来の構成より部品点数を50％削減し、自動化された工程を増やすことで製造と設置を簡素化した。電源、冷却、ネットワークを含むラック側を先にデータセンターへ設置し、後から演算モジュールを挿入できるため、導入期間を数日から数時間へ短縮できるとしている。

■直接接続でウエハー間遅延を最短2マイクロ秒に

CS-4では、ウエハー同士をスイッチを介さず直接接続できる。Cerebrasの公称値では、ウエハー間の通信遅延は最短2マイクロ秒となる。一般的なデータセンターネットワークへ接続するため、RoCE v2によるRDMA over Ethernetにも対応する。

同社は、この低遅延接続を利用することで、10兆パラメータを超えるモデルでも毎秒1,000トークン以上の出力速度を実現できるとしている。ただし、この数値は2026年8月時点の内部ベンチマークからの外挿であり、特定の10兆パラメータ超モデルを使った公開実測値ではない。

公式発表では、CS-4が50兆パラメータを超えるモデルの構成にも対応すると説明されている。これはシステムを複数連結してモデルを分割配置できることを示すもので、モデル全体を1台のCS-4に収容できるという意味ではない。

■44GBのSRAM容量は据え置き

WSE-3TのオンチップSRAM容量は、WSE-3と同じ44GBに据え置かれた。1台のCS-4には3基のWSE-3Tがあるため、物理容量の合計は132GBとなるが、それぞれのウエハーに分散して配置される。

今回の刷新で増えたのは、主に動作速度、メモリ帯域幅、I/O性能であり、ウエハー1基あたりの記憶容量ではない。SRAM容量を増やすにはメモリセルを含むシリコン設計の変更が必要になるため、既存のWSE-3を高速動作させるWSE-3Tでは容量が変わらない。

長いコンテキストや多数の同時リクエストを扱う推論では、モデルの重みに加えてKVキャッシュ用の容量が必要になる。KVキャッシュは、入力済みの文脈に関する中間状態を保持し、後続トークンの生成に利用するメモリ領域だ。必要容量はモデル構成、コンテキスト長、同時実行数、使用する精度などで変化するため、高いメモリ帯域幅とメモリ容量は分けて評価する必要がある。

■プリフィルとデコードを分ける分離型推論

大規模言語モデルの推論処理は、大きくプリフィルとデコードの2段階に分けられる。プリフィルでは入力プロンプトをまとめて処理し、後続の生成に使う状態を構築する。デコードでは、その状態とモデルの重みを参照しながら、回答を1トークンずつ生成する。

プリフィルは並列演算能力とメモリ容量の影響を受けやすく、デコードはメモリ帯域幅と通信遅延の影響を受けやすい。この違いを利用し、それぞれを異なるハードウェアへ割り当てるのが分離型推論だ。

CerebrasとAMDは2026年7月、AMDのラックスケールシステム「Helios」とCerebrasのWafer Scale Engineを単一の推論ワークフローで組み合わせる計画を発表した。Heliosがプロンプトと長いコンテキストを処理し、CerebrasのWSEが低遅延のデコードとトークン生成を担当する。

両社は、この構成で1ワットあたりのトークン生成量を最大5倍にできるとしている。この数値は両社が示した評価結果であり、モデル、構成、比較対象によって変わり得る。共同ソリューションは、2026年後半にCerebras Cloudから提供を始める予定だ。

■分離型構成はワークロードに応じた設計が必要

分離型推論では、プリフィルとデコードをそれぞれに適したハードウェアへ割り当てられる一方、両者の処理量と通信を適切に釣り合わせる必要がある。プロンプトの長さ、生成する回答の長さ、同時利用者数、キャッシュの再利用率などによって、必要なプリフィル能力とデコード能力の比率は変わる。

特定の処理へ最適化した異種ハードウェア構成は、対象ワークロードが明確な場合に高い効率を狙える。反対に、利用するモデルや入出力の傾向が大きく変わる環境では、一方の設備が余り、もう一方がボトルネックになる可能性がある。導入を検討する事業者には、平均的なトークン速度だけでなく、ピーク時の同時実行数、プリフィルとデコードの処理比率、機器間のデータ転送量を含む評価が求められる。

CerebrasはCS-4について、前世代CS-3比でワットあたりのスループットを最大10倍に高めたとも主張している。こちらも同社の測定に基づく値であり、総所有コストを判断するには、ラック全体の消費電力、冷却設備、稼働率、必要台数を含めた実環境での検証が必要だ。

■2026年第3四半期に出荷開始予定

Nexusプラットフォームは、電源、冷却、ネットワークと演算モジュールを分離し、将来の演算モジュールを交換しやすくする設計を採る。Cerebrasは、この構造によって製造、設置、保守、将来のアップグレードを簡素化できるとしている。

CS-4の初回出荷は2026年第3四半期中に始まる予定だ。価格や具体的な顧客構成、公開ベンチマークで使用したGPU側の詳細条件は発表時点で明らかにされていない。

■注目ポイントQ&A

●CS-4は新しいシリコンを使っているのですか？

WSE-3Tは、WSE-3と同じTSMC 5nmプロセス、4兆トランジスタ、90万AIコア、44GBのオンチップSRAMを備えています。主な性能向上は、電源、冷却、I/Oの再設計によって供給電力と動作周波数を高めたことによるものです。

●「GPU比最大30倍」は独立したベンチマーク結果ですか？

公開グラフはArtificial AnalysisのデータとCerebrasの内部ベンチマークを組み合わせたものです。比較対象のGPU構成や推論条件も十分には公開されていないため、あらゆるモデルや環境で一律に30倍高速という意味ではありません。

●公称250ペタFLOPSをそのままLLM推論性能と見てもよいですか？

250ペタFLOPSはスパースFP16を前提とした公称ピーク性能です。実際の性能は、モデルのスパース性、精度、量子化方式、使用する演算処理によって変化します。密なFP16演算では、The Registerが約25ペタFLOPSと試算しています。

●高いメモリ帯域幅がデコードに有利なのはなぜですか？

デコードでは、回答を1トークン生成するたびにモデルの重みや中間状態を繰り返し参照します。そのため、単純な演算性能だけでなく、メモリからデータを読み出す速度と遅延がトークン生成速度を左右します。

●分離型推論を導入する際の注意点は何ですか？

プリフィルとデコードの処理量が、使用するモデル、入力長、出力長、同時実行数によって変わる点です。両方の設備比率が実際のワークロードに合わないと、一方がボトルネックになったり、設備の利用率が下がったりする可能性があります。

元記事: Cerebras CS-4 Extracts Record Decode Speed Without New Silicon Generation