DeepSeek、推論基盤「DeepInfer」を公開 NVIDIA・Huawei対応、サービス運用機能は別途必要
2026年10月22日 21:50
DeepSeekは2026年10月20日、大規模な本番サービスで使用する推論フレームワーク「DeepInfer」をApache 2.0ライセンスで公開した。DeepSeek-V4.1-Flashに対応し、NVIDIAとHuaweiのハードウェア上で、自社環境にモデルを展開するための最適化技術を提供する。
公開版はオフライン推論向けで、オンラインサービス全体を構成するKVキャッシュシステム、処理段階を分離する仕組み、モデルの複製間での負荷分散は別途必要となる。導入する企業には、推論エンジンと周辺の運用基盤を組み合わせる設計が求められる。
■本番サービスを支える推論エンジンを公開
推論フレームワークは、学習済みモデルを使って入力から回答を生成するためのソフトウェア基盤だ。計算カーネル、複数チップへの処理分散、バッチ処理のスケジューリングなどが、応答速度や処理量、必要な計算資源を左右する。
DeepInferの公開時点の対応モデルはDeepSeek-V4.1-Flashで、初期設定では10月17日版の「DeepSeek-V4.1-Flash-1017」を読み込む。DeepSeekは、今後のモデル向け推論コードと、その後の性能改善も同じプロジェクトで継続して公開する方針を示している。
Apache 2.0は商用利用、改変、再配布を認め、改変コードの公開やDeepSeekへの還元を義務付けない。再配布時にはライセンスの添付、著作権などの表示の保持、変更したファイルへの変更表示といった条件がある。
DeepSeekは、KVキャッシュ管理や負荷分散のコードが社内インフラと密接に結び付いているため、まだ全面的には公開していないと説明している。同時に公開した技術文書では、これらを含む推論システム全体の構成や実装方針を紹介した。
■計算・通信・生成をまとめて最適化
DeepInferは、注意計算を高速化する「FlashMLA」、行列積などを扱う「DeepGEMM」、エキスパート並列の通信を担う「DeepEP」などを利用する。モデル内の計算だけでなく、分散配置したチップ間のデータ移動も最適化の対象となる。
並列化機能には、注意計算のデータ並列、処理量を均すコンテキスト並列、MoEのエキスパート並列とその負荷分散がある。エキスパート間の負荷分散は、特定の処理先への集中を抑えるためのもので、オンラインサービスのリクエストをモデルの複製間に振り分ける負荷分散とは役割が異なる。
生成の高速化には、候補トークンを先に作って検証する投機的デコーディングを用いる。搭載する「DSpark」は候補生成と確信度に応じた検証のスケジューリングを組み合わせ、非同期スケジューラーはCPU側のバッチ編成とデバイス側の実行を重ねる。
構造化出力にも対応し、正規表現、JSON Schema、EBNF文法で生成結果の形式を制約できる。NVIDIA環境では、バッチ構成が変わっても計算結果をそろえる推論と、入力トークン、サンプリング設定、乱数シードなどの条件を固定して出力を再現する決定論的サンプリングも提供する。
■V4.1-Flashの効率を支えるモデル構造
DeepSeekが9月10日に発表したV4.1-Flashは、画像とテキストを入力し、テキストを生成する混合エキスパート（MoE）モデルだ。同社のモデル資料では基幹部分が5520億パラメーターで、別に1960億パラメーターの条件付きメモリ「Engram」を備える。
MoEでは、入力に応じて専門化されたネットワークの一部を選択して計算する。V4.1-Flashは各MoE層に384個の振り分け先エキスパートを持ち、トークンごとに6個を選ぶほか、共有エキスパートも使用する。全パラメーターを毎回動かす設計に比べ、計算量を抑える仕組みだ。
V4.1-Flashは、20層の因果的エンコーダーと20層のデコーダーからなる構成を採用する。DeepSeekによると、入力を処理するprefillではトークン当たり80億、出力を生成するdecodeでは160億のパラメーターが動作する。
キャッシュの省メモリ化では、注意計算の対象を絞り、層をまたいでKV表現などを共有するCSA2や、KVキャッシュの低精度化を組み合わせている。デコーダーの大域的なKVキャッシュはエンコーダー最終層の状態から作る設計で、長い入力の処理と、その後の生成に必要な資源を削減する。
DeepInferには、スライディングウィンドウ注意に必要な状態を入力末尾の限られた範囲から再構成する「SWA bounded replay」も含まれる。モデル構造、キャッシュ表現、実行エンジンを組み合わせて最適化する点が特徴となる。
■サービス全体に必要な3つの運用機能
公式READMEは、完全な推論サービスに必要な追加要素として、KVキャッシュシステム、画像エンコーダー・prefill・decodeの分離、データ並列レプリカ間の負荷分散を挙げている。処理段階の分離については、エンジン側で必要となる機能の大半は実装済みとしている。
KVキャッシュは、過去のトークンに対応するキーとバリューの表現を保存し、生成時に再利用する仕組みだ。サービス全体のキャッシュ管理では、保存場所、容量の回収、共通する入力接頭辞の再利用、マシン間の転送などを調整する必要がある。
prefillは入力をまとめて処理し、decodeは出力トークンを順次生成するため、両者は計算資源の使い方が異なる。別々のハードウェア群に配置すれば、それぞれの遅延要件や処理量に合わせた資源配分が可能になる。分離に伴うKVキャッシュの転送や、処理の引き継ぎも設計対象だ。
レプリカ間の負荷分散は、同じモデルを動かす複数の実行環境へリクエストを振り分ける。単純な接続数だけでなく、実行中のリクエスト数や保持するKVキャッシュ量も、推論処理の負荷を判断する材料となる。
DeepSeekの技術文書は、キャッシュ保存とリクエスト振り分けを協調させる設計を説明している。公開エンジンをサービス化する際は、計算カーネルの速度に加え、保存・通信・スケジューリングを含む全体の性能を評価する必要がある。
■NVIDIAとHuaweiの2系統に対応
公開時点で挙げられている対応ハードウェアは、NVIDIAのSM100 GPUとHuaweiのAscend 950 NPUだ。SM100はBlackwell世代のB200やGB200などに用いられる。実行環境にはLinuxとPython 3.12などが必要で、NVIDIA向けはCUDA 13、Ascend向けはCANN 9.2を使う。
DeepSeekは以前、V3の学習にHopper世代のH800を使用したと公表している。今回のDeepInferは、新しい2系統を対応先に掲げる。中国向け先端半導体の供給が米国の輸出規制を受けるなか、Huawei向けの実装も提供することは、ハードウェア選択の面で重要だ。
DeepSeekは9月30日、Ascend向けの行列積ライブラリー「DeepGEMM-Ascend」と通信ライブラリー「DeepEP-Ascend」を公開していた。両者はそれぞれ独立したリポジトリーで提供されている。Reutersは、関連するプログラミングツールがHuaweiの協力を得て開発されたと報じた。
DeepInferのREADMEに掲載された性能測定はDeepSeek自身によるもので、prefillにSM100を4基、decodeに64基使用している。それぞれ高速なチップ間接続を共有する一つの領域内で測定した結果だ。2026年10月22日時点で、同READMEの性能グラフはNVIDIA向けを掲載している。
Huaweiへの投資計画も報じられている。Bloombergは9月、DeepSeekが内モンゴル自治区に建設するデータセンターへ、Ascend 950DTを少なくとも16万個導入する計画だと報じた。The Informationは10月19日、同社が早ければ2026年末に同チップで事前学習を始める計画で、試験は継続中だと伝えた。
■APIとの接続と、自社運用の費用
DeepSeekはDeepInferと同時に、API形式とモデル入出力の橋渡しをする「deepseek-recipe」も公開した。RustのライブラリーとPythonバインディングで構成され、異なるAPI形式のリクエストを共通の会話形式に変換し、プロンプトとトークン列を作り、生成結果を応答形式へ戻す。
対応形式にはChat Completions、Messages、Responsesがある。DeepSeekは公式APIと処理ロジックをそろえたとしており、第三者がサービスを構築する際の互換性確保に役立つ。モデルの推論、ツールの実行、HTTP通信は、利用する側が組み合わせる構成だ。
2026年10月22日時点の公式API料金は、V4.1-Flashのピーク時間帯で入力100万トークン当たり0.30ドル（約47円）、出力100万トークン当たり1.20ドル（約190円）だ。入力はキャッシュ非命中時の価格で、命中時は0.006ドル（約0.948円）となる。オフピークには、それぞれ0.15ドル（約24円）、0.60ドル（約95円）、0.003ドル（約0.474円）になる。
ピーク時間帯は、中国の祝日を除く月曜から金曜の日本時間10～13時と15～19時で、それ以外はオフピークとなる。セルフホストではAPIの従量課金に代わり、ハードウェア、電力、ストレージ、通信、開発・保守の費用を運用者が負担する。
The Informationは8月、DeepSeekの2026年1～7月のAPI事業の売上総利益率が82.9％だったと報じた。自社運用とAPI利用を比べる企業にとっては、自らの負荷条件で必要となる設備と運用費を見積もることが、導入判断の基礎になる。
■セルフホストで確認するデータ経路と法令
入力と出力を自社ネットワーク内で処理する構成では、問い合わせデータの送信先や保存先を運用者が管理できる。ネットワーク分離、外向き通信の監視、入手したコードやモデル重みの完全性確認を組み合わせ、実際のデータ経路を把握することが重要だ。
中国の国家情報法第7条は、組織と国民に対し、法に従って国家情報活動を支持、支援、協力する義務を定める。データセキュリティ法第35条も、国家安全の維持や犯罪捜査のため、所定の承認手続きを経たデータ取得への協力を求めている。
サイバーセキュリティ法には、一定の重要情報インフラ運営者が中国国内で収集・生成した個人情報や重要データを国内に保存する規定などがある。導入時の法務評価では、サービス提供企業に課される義務と、運用者が扱うデータやシステムに適用される規則を、それぞれの適用条件に沿って確認する必要がある。
日本の個人情報保護委員会は2025年2月、DeepSeekのオンラインサービスについて、入力情報などが中国のサーバーに保存され、中国の法令が適用されるとのプライバシーポリシー上の説明を紹介した。企業は利用形態に応じて、個人情報、医療・金融情報、政府関連情報などの取り扱い要件を確認することになる。
■過去モデルの安全性評価と各国の利用制限
CiscoとRobust Intelligenceは2025年1月、DeepSeek-R1に対する自動化した脱獄攻撃の評価を公表した。HarmBenchから無作為に選んだ50件の有害なプロンプトを使った試験で、攻撃成功率が100％だったとしている。
この結果は、R1と当該試験条件についての評価だ。DeepInferで運用するV4.1-Flashについても、用途に応じた安全性評価、入力・出力の制御、アクセス管理を、導入するシステム全体で設計する必要がある。
各国の措置には対象範囲の違いがある。オーストラリア政府は2025年2月、政府のシステムと端末でDeepSeek製品などの利用・導入を防ぎ、既存のものを除去するよう指示した。イタリアのデータ保護当局は同年1月、同国の利用者に関するDeepSeekの個人データ処理を制限した。
Reutersによると、台湾は2025年2月に政府機関での利用を禁止し、韓国の一部省庁は職員用コンピューターからのアクセスを遮断した。インド財務省も同月、ChatGPTとDeepSeekなどを公務に使うことを避けるよう職員に求めた。AP通信は2026年10月、米国が連邦文民機関でのDeepSeek製品の利用を禁止したと報じている。
■オープンソース基盤を引き継ぎ、運用層の構築へ
DeepSeekは、DeepInferが主にvLLMを基盤として開発され、SGLangとNVIDIAのTensorRT-LLMからも着想を得たと明記している。カリフォルニア大学バークレー校で開発が始まったvLLMなど、既存の推論基盤の成果を引き継ぐ公開となる。
同社は2025年4月の文書で、社内推論エンジンについて、vLLMからの独自改変、社内インフラへの依存、保守に割ける人員の制約を説明していた。当時は、独立した部品の公開や既存プロジェクトへの最適化の提供を進める方針だった。約18カ月を経て、今回は推論フレームワークをまとまった形で公開した。
周辺基盤の構築では、vLLMのPagedAttentionによるKVキャッシュ管理や、prefillとdecodeを分離する既存の研究・実装が参考になる。NGINXやクラウドのロードバランサーを入口に使う場合も、推論状態やキャッシュを考慮する振り分けとの接続が必要となる。
既にFlashMLAやDeepGEMMなどを扱ってきたオープンソースの開発者にとって、DeepInferはモデル全体の実行方法を検討する新たな材料となる。今後は、公開されたエンジンとキャッシュ・負荷分散などの運用層をどう統合するかが、コミュニティーで取り組める課題になる。
DeepSeekは、将来のモデル向けコードも継続して公開する方針を示し、V4.1-Proの投入も予告している。企業が導入を判断する際の焦点は、必要なハードウェア、実際のリクエスト負荷での性能、周辺機能の開発・保守費用、データ管理の要件を含めた運用全体に移る。
元記事: DeepSeek Open-Sources Its Inference Engine, Withholds Cost-Saving Components