米AMD、AI推論の「メモリの壁」に挑むTaalasを買収

AMDは2026年8月6日、AIモデルの重みをトランジスタに恒久的に組み込む技術を持つトロントのスタートアップ、Taalasを買収することで合意した。この技術は、現在実用化されているGPUベースの推論システムで速度の上限を決めているメモリ読み出しを不要にすることを目指している。買収金額などの条件は公表されていない。取引は規制当局の承認を条件として、2026年第4四半期に完了する見込みだ。AMD株は発表当日、約1.5％上昇して取引を終えた。

■なぜGPUの計算力向上だけではLLM推論は速くならないのか

AIハードウェアの性能に関する議論の多くは、FLOPS（1秒あたりの浮動小数点演算回数）を指標として扱う。LLMの学習ではこの捉え方が概ね正しいが、トークン生成段階のLLM推論にはほとんど当てはまらない。

その理由は、大規模言語モデルが出力を生成する仕組みにある。推論は自己回帰的に実行され、モデルは一度に1つのトークンを生成する。各トークンの生成には、モデルの全レイヤーを通る完全なフォワードパスが1回必要となる。各フォワードパスでは、モデルの重み行列全体をビデオメモリから計算ユニットへ読み出さなければならない。標準的な16ビット精度の700億パラメータモデルの場合、トークン生成の各ステップで約140ギガバイト（GB）のデータが転送される。3.35テラバイト/秒（TB/s）の広帯域メモリ（HBM）帯域幅を持つNvidia H100の場合、理論上のピーク帯域幅でも、この転送にはトークンあたり最低約42ミリ秒かかる。Spheron Networkのメモリの壁に関する分析が詳しく説明しているように、この下限を決めるのは演算速度ではなく、メモリ速度である。

GPUのFLOPSを2倍にしても、この42ミリ秒という下限は変わらない。制約となるのは、チップが数値を乗算する速度ではなく、DRAMから重みを読み出す速度だ。これが「メモリの壁」である。LLM推論では、計算速度ではなくデータ移動速度が、システムが1秒間に生成できるトークン数を決める。Laminiの推論エンジニアも、本番システムにおけるこのメモリの壁のボトルネックを文書化している。

GPUメーカーは、より高速なメモリを採用することで対応してきた。AMDが2026年7月に出荷を開始したHeliosラックはHBM4を採用し、MI455Xアクセラレータあたり19.6TB/sの帯域幅を提供する。AMDのHeliosラックに関する発表によると、これはH100の帯域幅の約6倍に相当する。これにより差は縮まるが、解消されるわけではない。HBM4も依然としてDRAMであり、フォワードパスのたびに読み出す必要があり、同じ帯域幅の制約を受ける。Taalasのアプローチは、単なる性能向上ではなく、仕組みそのものが異なる。

■Taalasが実際に構築したもの

Taalasは自社のアプローチを「ハードコード推論（Hard Coded Inference）」と呼んでいる。この名称が示す通り、特定のAIモデルの重みはチップの計算コアの近くに保存されるのではなく、重みそのものが計算回路の一部となる。

同社の最初の製品である「HC1」は、TSMCの6ナノメートルプロセスで製造された815平方ミリメートルのダイで、530億個のトランジスタを搭載している。AI Central SubstackによるTaalasの詳細な分析によれば、このチップはMetaの言語モデル「Llama 3.1 8B」を、同社が「マスクROMリコールファブリック」と呼ぶ構造にエンコードしている。これは、各モデルの重みがチップの物理構造に恒久的に組み込まれた、一度だけ書き込まれるシリコンである。小規模なSRAMバンクが、KVキャッシュ、すなわち会話でそれまでに処理された内容の記録や、ファインチューニング用のLoRAアダプター、設定可能なコンテキストウィンドウを処理する。

共同創業者兼CEOのLjubisa BajicがThe Next PlatformのTimothy Prickett Morganに説明したところによると、重要なイノベーションは、4ビットの重みの保存と、それに対応する乗算処理を1つのトランジスタ内で実行できる点にある。これにより、数値が保存される場所と、その数値を使って演算する場所との分離がなくなる。GPUベースの推論システムでは、重みはHBMに保存され、メモリコントローラーと高速バスを通過してオンチップキャッシュに到達し、その後ようやく計算ユニットへ送られる。HC1では重みが移動することはない。重みが存在する場所そのものが、計算を行う場所だからだ。

Taalasが自ら公表したベンチマーク結果は本番規模で独立検証されておらず、購入を検討する企業は、本番環境での性能保証ではなく技術デモの数値として扱うべきだ。この留保を踏まえる必要があるが、SiliconANGLEの買収報道によれば、同社は2026年2月、HC1がLlama 3.1 8Bでユーザーあたり毎秒約1万7000トークンを生成したと報告した。Taalasは当時、この数値がNvidia H200の73倍のスループットに相当し、消費電力は約10分の1だと説明していた。The Registerによる同年2月の発表の報道では、NvidiaのGPUより48倍高速で、Cerebrasより8.5倍高速だとされている。Cerebrasは44GBのオンチップSRAMを備えたウェハースケールのダイを使い、Taalasとは反対の方向からメモリの壁に取り組んでいる。EE TimesのTaalas買収報道によれば、HC1の消費電力は約200～250ワットで、空冷に対応し、液冷やHBMパッケージングは不要だという。標準的な2ソケットサーバーにHC1カードを10枚搭載した場合、総消費電力は約2500ワットとなる。

Taalasが主張する100万トークンあたり0.75セント（約1.2円、1ドル＝158円換算）というコストが正しければ、同等のオープンソースモデルにおけるNvidia Blackwellの総所有コストとされる100万トークンあたり約2セント（約3.2円）を下回る。また、Groqが独立したサービスとして運営されていた当時のLlama 3.1 8B向けクラウドサービス価格である100万トークンあたり約6セント（約9.5円）も大きく下回る。いずれもTaalas自身が示した数値であり、調達判断に利用する前に、独立した本番環境で確認する必要がある。

■トレードオフ：1つのモデルに1つのチップ

HC1が説明通りの性能を発揮できるアーキテクチャ上の理由は、その最大の制約と表裏一体である。トランジスタに特定モデルの重みを組み込んだチップは、そのモデルしか実行できない。別のベースモデルを展開するには、別のチップが必要となる。

この制約に対するTaalasの回答は、HC1自体より重要になる可能性のある製造技術だ。新しいモデルへ移行する際、チップを構成する約100の製造層のうち、上部の2層だけを変更するストラクチャードASIC方式を採用する。従来のフルカスタムASICは、設計から実際に展開できるハードウェアになるまで6カ月以上を要する。一方、標準的なGPU推論では、新しい重みが公開されれば、すぐに新しいモデルを採用できる。EE Timesが2026年2月に報じたところによると、Taalasは、2000年代初頭の半導体業界で使われた手法を応用したストラクチャードASICの設計フローについてTSMCと協力している。同社は、モデルの重みを受け取ってから、展開可能な推論カードを出荷するまで約2カ月で対応できると主張している。

CTOL Digitalの投資家向け分析が詳しく指摘しているように、この約2カ月という主張は量産規模では実証されていない。大型のダイ、独自の製造フロー、短期間での再設計は歩留まり上の問題を招く可能性があり、量産時の圧力によって粗利益率が大幅に低下するリスクもある。Taalasがこのサイクルを安定して実行できれば、事業として成立する可能性がある。しかし、継続的な商業生産で確認されるまでは、技術デモ段階の主張にとどまる。

柔軟性と効率性のトレードオフは、一見するほど商業的に受け入れにくいものではない。Bajicは、本番ワークロードの時間軸は研究開発とは異なると指摘している。研究機関は新しいモデルアーキテクチャを次々に発表するが、本番環境では、導入した特定のモデルバージョンを数カ月から数年にわたって使い続ける傾向がある。モデルのファインチューニング、その挙動を前提としたアプリケーションの構築、出力の検証には大きな投資が必要であり、新しいチェックポイントが公開されるたびに同じ作業を繰り返すわけではないからだ。スループットを約1桁向上させ、推論時の消費電力を10分の1に抑えられるのであれば、約2カ月のモデル更新サイクルを受け入れる組織は、現実に存在し、拡大している市場セグメントとなり得る。

HC1にはもう1つの制約がある。独自の3ビット量子化形式により、同じモデルをGPU上でより高い精度で実行した場合と比べて、出力品質が低下することが認められている。Heiseの技術評価は、要求の厳しいタスクでこの問題が生じる可能性を指摘している。2026年冬から2027年初頭に登場する見込みの第2世代チップ「HC2」は、業界標準のMXFP4、すなわち4ビット浮動小数点形式を採用し、約200億パラメータのモデルを対象とする。HC2はマルチチップ設計にも移行する。これは、パイプライン並列処理を用いて複数のチップに推論ワークロードを分散する、より難度の高い技術的課題である。

■AMDの展開計画

AMDは、TaalasのチップをInstinct GPUやEPYC CPUとともにHeliosラックスケールシステムへ組み込み、ROCmソフトウェアプラットフォームを通じてプログラムできるようにする方針だ。Heliosは2026年7月に量産を開始しており、Microsoft、OpenAI、Anthropicが2026年第4四半期に導入することが確認されている。

AMDの統合計画に詳しい関係者によれば、検討されている展開アーキテクチャでは、推論処理を段階ごとに分離する。Instinct GPUは、ユーザーのプロンプトを処理するプリフィル段階を担当する。この処理は計算集約型であり、GPUの大規模な演算スループットを生かせる。一方、TradingKeyの買収分析によれば、Taalasアクセラレーターは、出力トークンを1つずつ生成するデコード段階を担当する。このワークロードはほぼ完全にメモリ帯域に制約されるため、Taalasのハードコードされた重みが最も大きな効果を発揮する。プリフィルとデコードを分離することで、推論の各段階を、それぞれのボトルネックに最も適したハードウェアへ割り当てられる。

AMDの公式プレスリリースによれば、同社のAI担当シニアバイスプレジデントであるVamsi Boppanaは、買収の目的を顧客の選択肢という観点から説明し、「AMDは、顧客があらゆるAIワークロードに適したコンピューティングソリューションを柔軟に展開できる、フルスタックのAIプラットフォームを構築している」と述べた。AMDの戦略は、2026年7月に開催されたAdvancing AI 2026カンファレンスでも示されていた。CEOのLisa Suは、「チップに万能なものはない」と述べ、モデル開発に伴う実験的で反復の速い作業にはGPUが引き続き必要である一方、固定機能型のシリコンは、モデルを本番規模で大量に、コストを抑えて実行する用途に適しているとの考えを示した。

今回の買収は、2025年11月のMK1買収、2026年6月のMext買収、同年7月のFastFlowLMチームの参加に続く、AMDによる一連のAI関連施策の1つとなる。MK1はInstinct GPU向けの推論ソフトウェアを、Mextはメモリ最適化技術を提供する。この動きは、GPUハードウェア、推論ソフトウェア、メモリ最適化、そして今回のモデルをハードウェアに組み込むシリコンという形で、学習から本番展開までの各段階を補完する、意図的な積み上げ戦略を示唆している。

■推論チップ市場におけるTaalasの位置づけ

AMDによるTaalas買収は、NvidiaがGroqから推論技術のライセンスを取得するため、報道によれば200億ドル（約3兆1600億円、1ドル＝158円換算）を支払ってから、わずか7カ月余り後に発表された。NvidiaとGroqの取引に関するCNBCの報道によると、この取引は非独占契約として再構成され、Groqは名目上の独立を維持する一方、経営陣と主要な知的財産をNvidiaへ移した。Nvidiaはこの技術を、2026年3月のGTCで発表したGroq 3言語処理ユニット（LPU）に活用した。

GroqのLPUは、Taalasとは異なるアーキテクチャを採用している。大容量のオンチップSRAMを備えたデータフローASICにより、メモリと計算回路の距離を大幅に短縮しながら、プログラム可能な性質を維持し、容量内に収まるさまざまなモデルを実行できる。Taalasは、重みを恒久的に組み込むことで、その距離自体をなくす。両者は、柔軟性と性能のトレードオフにおいて異なる位置にある。GroqのLPUは柔軟性の一部と引き換えに非常に高い速度を得るのに対し、Taalasのアプローチは、ほぼすべての柔軟性と引き換えに、Groqでは到達できないとされる速度上限を目指す。NvidiaとAMDが同じ年に専用推論シリコンへ動いたことは、AIチップ業界が、AIライフサイクルの本番展開段階ではGPUより専用ハードウェアの方が効率的になり得ると判断していることを示す、これまでで最も明確な兆候である。

ただし、スケーラビリティーの問題は未解決だ。Taalasは、80億パラメータのモデルを単一の大型ダイに収め、高いトークン生成性能を実現できることを示した。700億または4000億パラメータのモデルを複数のチップに分散しながら同等の効率を維持する場合、単一ダイの8Bモデルでは問題にならなかったレチクルサイズの制限や、チップ間接続のボトルネックが生じる。HC2のマルチチップ設計は、このアーキテクチャが規模を拡大しても有効かを確かめる最初の試金石となる。AMDの支援により、Taalasが単独では到達できなかった量産規模で検証するための資金や事業関係を得られる。

Bajicは2016年にTenstorrentを創業し、Jim KellerがCEOに就任した2022年12月まで同社を率いた。その後、AIモデルをハードウェアに直接組み込むという構想を追求するためにTaalasを設立した。取引完了後、Bajicとトロントを拠点とするチームは、Boppanaが率いるAMDのAIグループに加わる。AI Central Substackの詳細な分析によれば、AMD、Apple、Google、Nvidia、Tenstorrent出身者を含む約25人のエンジニアからなるチームは、実際の研究開発費約3000万ドル（約47億4000万円、1ドル＝158円換算）でHC1を開発した。9桁のドル規模に達するチップ開発計画もある業界において、この金額は際立っている。既存の製品ラインに制約されない、少人数で目的を絞ったチームが、大手半導体企業の組織的な負担を回避し、迅速に開発を進められる可能性を示している。

Taalasは、Quiet Capital、Fidelity、半導体業界のベテラン投資家Pierre Lamondらが参加した2026年2月の1億6900万ドル（約267億円、1ドル＝158円換算）の資金調達を含め、総額2億1900万ドル（約346億円）を調達していた。Lamondの初期の投資先にはNational Semiconductorが含まれる。同社は、業界で最低限必要と考えられているチップ開発費の一部で中核となるコンセプトを実証し、調達資金のうち1億7000万ドル（約269億円）以上を使わずに残した状態で、AMDとの取引に至った。

■AMDはNvidiaにない推論ツールを手に入れたのか？

まだだ。Taalasの買収により、AMDは研究開発から本番運用へつながる有望なパイプラインと、推論市場の将来に向けた本格的なアーキテクチャ上の選択肢を得る。しかし、企業で実際に利用されるワークロードにおいてNvidiaのGPUベースシステムを上回る、出荷済みかつ本番規模で独立検証された推論製品を手に入れたわけではない。

AMDが獲得したのは、チーム、方法論、そして概念実証（PoC）である。HC1は技術デモ用の製品だ。そのベンチマーク結果は、仮に外部検証でも同様の数値が得られたとしても、特定のテスト条件と積極的な量子化設定の下で、登場から時間が経った80億パラメータモデルを実行した場合に限られる。プリフィルとデコードを分離する展開計画では、TaalasのチップをInstinct GPUやROCmソフトウェアとともにHeliosラックへ統合する必要があるが、この構成はまだ本番環境に存在しない。多くの企業向け推論ワークロードで商業的な意味を持つ規模のモデルを対象とするHC2は、2026年冬から2027年初頭に登場する見込みだ。

Taalasのテープアウト手法が量産時にも機能し、HC2が、HC1の単一ダイ構成では実証できないマルチチップでの拡張性を示せれば、AMDは、GPUメーカーがHBMを追加するだけでは再現できない方法でメモリ帯域幅の壁に対処する製品を持つことになる。FLOPSをめぐる競争は、AMDにとってNvidiaと戦う上で最も厳しい領域だった。CUDAがソフトウェア面で18年先行していることと、Nvidiaがアクセラレーター市場で支配的な地位を占めていることが相互に作用しているためだ。メモリ帯域幅への依存そのものをなくす競争は、新しい領域である。現時点では、NvidiaもAMDも、この領域で決定的な地位を確立してはいない。

■注目ポイントQ&A

●LLM推論におけるメモリの壁とは何ですか？また、なぜTaalasのアプローチが重要なのですか？

自己回帰型のLLM推論では、応答を1トークンずつ生成します。GPUはフォワードパスのたびに、ビデオメモリからモデル全体の重み行列を読み出す必要があります。標準的な16ビット精度の700億パラメータモデルの場合、トークンあたり約140GBのデータ転送が発生します。H100のHBM帯域幅では、演算ユニットがどれほど高速であっても、メモリ読み出しだけでトークンあたり約42ミリ秒という下限が生じます。Spheron Networkのメモリの壁に関するガイドが詳しく説明しているように、ボトルネックは演算スループットではなくメモリ帯域幅にあるため、GPUの計算能力を増やしても、この下限は下がりません。Taalasは、重みをシリコン自体の恒久的な構造にすることで、読み出すべき重みをなくします。そのため、フォワードパスのたびにDRAMから重みを読み出すことなくトークンを生成できます。

●Taalasのモデル専用チップは、その性能を実現するために具体的に何を犠牲にしていますか？

柔軟性です。Taalasのチップは、トランジスタに組み込まれたモデルだけを実行し、ほかのベースモデルは実行できません。異なるモデルを展開するには、新しいチップが必要です。Taalasは、チップの約100の製造層のうち上部2層だけを変更するストラクチャードASIC方式により、このプロセスを約2カ月で完了できると主張しています。また、HC1は独自の3ビット量子化形式を使用しており、より高い精度のGPU推論と比較して、複雑なタスクで出力品質が低下することが認められています。2026年冬から2027年初頭に登場する見込みのHC2は、標準的な4ビット浮動小数点形式を採用し、約200億パラメータのモデルを対象とします。CTOL Digitalの投資家向け分析とEE Timesの報道が指摘するように、約2カ月というテープアウト期間も、大規模モデルに対応するマルチチップの拡張性も、量産規模では独立検証されていません。

●AMDは既存のInstinct GPUとTaalasチップをどのように使い分ける計画ですか？

統合計画に詳しい関係者によれば、AMDは推論処理を分離するアーキテクチャを検討しています。Instinct GPUが、計算集約型であるユーザーの入力プロンプトの処理、すなわちプリフィル段階を担当します。一方、Taalasチップは、ほぼ完全にメモリ帯域に制約される出力トークンの生成、すなわちデコード段階を担当します。この分割により、推論の各段階を、そのボトルネックに最も適したハードウェアへ割り当てられます。この技術は、EPYC CPUとともにAMDのHeliosラックスケールシステムへ統合され、ROCmソフトウェアプラットフォームを通じてプログラムされる計画です。2026年第4四半期に見込まれている取引完了より後の、本番展開の具体的な時期は発表されていません。

●これにより、AMDはNvidiaのGroq 3推論技術と競争できるようになりますか？

AMDとNvidiaは、どちらも専用の推論シリコンを追求していますが、アプローチは異なります。Nvidiaがライセンスを取得したGroqの技術は、大容量のオンチップSRAMを使ってメモリと計算回路との距離を短縮しながら、複数のモデルに対応できるプログラム可能な性質を維持するデータフローASICです。Taalasは、重みをトランジスタに恒久的に組み込み、モデルの柔軟性と引き換えに、メモリとの距離そのものをなくします。NvidiaのGroq 3 LPUは出荷中の商用製品です。一方、AMDが買収するTaalasの技術は概念実証の段階であり、本番システムへの統合や、大規模環境での独立したベンチマーク検証はまだ行われていません。専用推論シリコンをめぐる競争は始まっていますが、AMDは初期段階にあり、Nvidiaはすでに展開段階にあります。

元記事: AMD Buys Taalas to Hardwire AI Models Into Silicon, Bypassing GPU Memory Wall