OpenAI、ソフトウェアのみで推論コストを半減か――ChatGPTの非ログイン層向けGPUを削減

OpenAIのエンジニアが、ソフトウェアのみの最適化技術により、AIモデルの実行コストを半分以下に削減したと報じられた。この技術をChatGPTの非ログイン（ゲスト）ユーザー向けトラフィックに適用したところ、同セグメント全体を処理するNvidia製GPUの数をわずか数百台規模にまで削減できたという。未発表の内部情報に基づくこの技術が他のサービス層にも適用されれば、AIビジネスの収益構造を大きく変える可能性がある。

■終わりのないコスト：AI推論コストの実態

最先端のAIモデルをトレーニング（学習）するには、GPT-4クラスで数億ドル（数百億円規模）に達すると見積もられる巨額の費用がかかるが、これは一回限りの固定費である。一方で「推論（インファレンス）」は真逆の性質を持つ。ユーザーがChatGPTにメッセージを送信したり、APIを呼び出したり、エージェントを実行したりするたびに、インフラはモデルを通じた順伝播処理を実行しなければならず、その都度GPUの処理時間と電力が消費される。このコストは、世界中の何億人ものユーザーによるすべてのクエリに対して、毎日、毎瞬、継続的に発生する。

複数のメディアが確認した監査済みの財務書類によると、OpenAIは2025年上半期だけでMicrosoft Azureの推論費用に50億2000万ドル（約8082億円、1ドル=161円換算）を費やしたとされている。これは年間換算で数十億ドル規模の推論費用が発生していることを示唆しており、新規ユーザーや新製品の増加に伴ってさらに膨らむ。推論コストは、事業規模の拡大だけで自然に解消できる性質のものではなく、ビジネスの成長に比例して増大し続ける重荷となっている。

■OpenAIのエンジニアが達成した成果と、残された謎

米メディア「The Information」が2026年6月30日頃に報じた内容によると、OpenAIのエンジニアは同年6月前半、同僚たちに向けてあるソフトウェア最適化技術の実演を行ったという。内部事情に詳しい関係者の話として伝えられた最大のポイントは、アカウントを作成せずに利用するカジュアルな訪問者（ゲスト層）向けのChatGPTにこの最適化を適用したところ、そのトラフィックを処理するために必要なNvidia製GPUの数が「数百台」にまで激減したことだ。これまでの業界の予測では、同規模の処理には数万台のGPUが必要と見積もられていた。

OpenAIはこの最適化技術の詳細を公表しておらず、コメントも控えている。情報源となった内部関係者からも技術的な仕様は明かされていない。ただし、追加の計算資源を投入したのではなく、既存のサーバーリソースの利用効率を向上させたことによる成果であるというメカニズムの分類については確認されている。

■なぜ「ゲスト層」が最初のテストベッドに選ばれたのか

最初の導入対象として非ログインのゲスト層が選ばれたのは、偶然ではない。ゲスト層のトラフィックは、ログイン済みのユーザーとは構造的に異なり、最適化が容易な特徴を備えている。ゲストユーザーに提供される機能は制限されており、有料サブスクリプション会員が利用できるような高度なモデル機能にはアクセスできない。そのため、クエリがシンプルで、コンテキストウィンドウ（一度に処理する文脈の長さ）が短く、リクエスト数は多いものの1件あたりの複雑さは低いという、均一で予測しやすいトラフィックパターンを示す。

この「制限された機能」「予測可能なワークロード」「大量のリクエスト」という組み合わせは、業界のアナリストやエンジニアが今回の最適化の構成要素として有力視している、いくつかの効率化技術を適用する上で理想的な条件となる。つまり、ゲスト層は本番環境スケールのトラフィックを備えた、格好の「最適化実験室」だったのだ。

■50%以上のコスト削減を支える「4つの技術的アプローチ」

OpenAIは具体的な手法を明らかにしていないが、AIインフラを専門とするエンジニアや研究者らは、これほどの劇的な効果を組み合わせて生み出し得る、確立された4つの手法を指摘している。これらはいずれも新しいハードウェアを必要とせず、汎用GPUで大規模言語モデル（LLM）を実行する際の根本的な非効率性を解消するものだ。

根本的な問題は、現代のAI推論が「計算能力（演算）」ではなく「メモリ帯域幅」のボトルネックに直面している点にある。LLMが回答を生成する際、自己回帰ループによって1トークンずつ処理を行うが、その各ステップでGPUはメモリからモデルの全重みデータと中間計算テンソルを読み込む必要がある。研究によると、小規模なバッチ処理の推論ワークロードでは、ハイエンドGPUの理論上の計算性能のわずか0.13%しか活用できていないケースもあるという。メモリサブシステムの処理が追いつかない間、チップの膨大な並列処理能力がアイドル状態（休止状態）になってしまうのだ。この「利用率のギャップ」こそが、ソフトウェア最適化が介入する余地となる。

有力視されている4つの候補技術は以下の通りである。

1. KVキャッシュ（Key-Value Cache）の再利用：過去のトークンに対して計算された中間的なアテンションテンソル（KeyとValue）を保存しておくことで、新しい出力トークンごとに再計算する手間を省く。これにより、アテンションメカニズムの計算複雑性を、コンテキスト長の2乗に比例する関係から、線形（比例）の関係へと劇的に軽減できる。ただし、KVキャッシュはバッチサイズやコンテキスト長、モデルサイズに応じて線形に増大するため、大規模環境ではGPUのVRAM（ビデオメモリ）を枯渇させるリスクがある。

2. 量子化（Quantization）：モデルの重みやアクティベーションを保存・計算する際の数値精度を、トレーニング時の16ビットや32ビットの浮動小数点から、8ビット整数（INT8）以下に引き下げる。NvidiaのH100アーキテクチャにおけるFP8量子化では、標準的な指示追従タスクにおいて品質低下を2%未満に抑えつつ、FP16と比較して1.3〜2倍のスループット向上が実証されている。ただし、過度な量子化は軽微なエラーを導入し、複雑な推論や長文生成タスクでエラーが蓄積するトレードオフがある。

3. インフライト・バッチング（In-flight request batching）：処理中のバッチ全体が完了するのを待たずに、完了したシーケンスから即座にバッチから除外して新しいリクエストを割り当てる。これにより、応答の長さが大きく異なる数百万件のクエリを同時に処理するサービスにおいて、GPUがアイドル状態で待機する時間を減らし、アクティブな計算に費やす割合を劇的に高めることができる。

4. クエリルーティング（Query routing）：単純で複雑度の低いクエリを、より小さく計算負荷の低いモデルに迂回させ、フルスケールの高性能モデルはそれを必要とするリクエストのために温存する。基本的な事実に関する質問に、複雑な多段階推論タスクと同じモデルを使う必要はない。前者を軽量モデルにルーティングすることで、大型モデルの処理能力を後者のために解放できる。

これらの技術は、単体で適用しても限定的な効果しか得られない。しかし、本番スケールの特定のトラフィックプロファイルに合わせてこれらを組み合わせ、モデルのアーキテクチャやサービングスタックの内部に直接アクセスできるエンジニアチームが実装すれば、その相乗効果は極めて大きくなる。50%以上の削減という数字は、これらの技術が個別に示してきた限界値の上限に近いが、組み合わせによって達成不可能な範囲ではない。

■OpenAIの収益計算：粗利益率52%の目標達成に向けて

今回の最適化が急がれた背景には、財務的な切迫感がある。OpenAIのAPIビジネスにおける調整後粗利益率は、急速なユーザー増加に伴って推論コストが約4倍に膨らんだ結果、2024年の40%から2025年には33%へと低下した。2026年第1四半期末までに約39%まで回復したものの、同社が掲げる年内の目標は52%であり、このギャップを埋めるには継続的かつ実質的なコスト削減が不可欠だった。

インフラの一部であっても推論コストを半分以下に削減できるソフトウェア最適化は、この目標達成に直結する。もしこの最適化が、ゲストトラフィックよりもはるかに複雑で収益性の高い「ログイン済みの無料ユーザー」「有料サブスクリプション会員」「API」といったセグメントにも適用可能（汎用化）になれば、開発者向けのAPI価格の引き下げや、サブスクリプション会員の利用制限緩和、さらには株式公開（IPO）を視野に入れた投資家向けの収益性目標の早期達成につながる可能性がある。

■AI軍拡競争のゲームルールを変える「効率化」の戦い

これまでのAI競争における優位性は、主に「GPUの確保」に依存していた。最も多くの計算資源を有利な価格で調達し、最も効率的にトレーニングを行える研究所がリードを保つという構図だ。しかし、OpenAIのソフトウェア最適化が大規模環境でも実証されれば、競争の軸がシフトしていることを示唆することになる。新たな競争は「誰が最も多くのチップを持っているか」ではなく、「同じチップから1ドルあたりどれだけ多くの出力を引き出せるか」に移りつつある。

競合であるAnthropicのCEO、ダリオ・アモデイ氏は、同様の社内施策を「計算マルチプライヤー（Compute Multipliers）」と呼び、模倣を防ぐために詳細を極秘にしていると報じられている。Google、Meta、Amazon、Microsoftもそれぞれ独自のソフトウェアおよびハードウェアの効率化プログラムを推進している。複数の研究所から同時期にソフトウェア主導の劇的な効率化の報告が相頭していることは、AI業界が「サービングスタック（推論実行環境）のエンジニアリング」という、地味ながらもモデル構築と同等に戦略的に重要なフェーズに移行している構造変化を物語っている。

このシフトは、垂直統合型の強みをもたらす。モデル、実行インフラ、そして日々数億人のユーザーが生成するワークロードデータを一元的に管理している企業は、こうした最適化を発見し適用する上で圧倒的に有利だ。独自の運用データを持つ最先端の研究所と、他社のモデルを汎用インフラ上で動かしているだけの企業との間にある「最適化の格差」は、同等の規模と垂直統合を再現しない限り、埋めることは極めて困難である。

■残された疑問：この技術は「汎用化」できるのか？

このニュースにおける最大の懸念材料は、その「適用範囲」である。今回の最適化が確認されたのは、OpenAIが運営する中で最もシンプルで収益性が低く、制約の多い「ChatGPTのゲスト層」のみである。OpenAIが実行する他のすべての推論カテゴリーは、これよりもはるかに難易度が高い。

ログイン済みの無料ユーザーは、匿名訪問者よりも広範な機能、長いコンテキストウィンドウ、より高性能なモデルを利用できる。有料サブスクリプション会員は、フル機能のモデル群、マルチモーダル機能、そして計算負荷が大幅に高い推論モデル（Reasoning Models）による出力を利用する。さらに、API顧客、特に自律型エージェント（マルチステップのタスクを自律的に実行するエージェント）を動かしている顧客は、消費者のチャットセッションよりも桁違いに多くのトークンを消費する、最も計算需要の厳しいセグメントである。

ゲストトラフィックを数百台のGPUに圧縮したソフトウェア最適化が、これらのより複雑なセグメントに有意義に移植できるかどうかは不明である。ニュースレター「AI Weekly」も、この報道の直後にまさにこの点を指摘し、「一回限りのPRパフォーマンスに終わるか、構造的なコストシフトになるかの分かれ目は、有料APIや推論モデルの階層にまで同様の効率化が行き届くかどうかにかかっている」と分析している。OpenAIはこの疑問に対して回答を示していない。

■二段構えの戦略：カスタムチップ「Jalapeño」の登場

このソフトウェア最適化は、単独で進められているわけではない。2026年6月24日、OpenAIとBroadcomは、わずか9カ月で開発されTSMCが製造する、OpenAI初の独自設計推論アクセラレータ「Jalapeño（ハラペーニョ）」を公表した。このチップは、汎用的なNvidia製GPUがサポートしなければならない広範なワークロードとは異なり、LLMの推論処理専用に設計された特定用途向け集積回路（ASIC）である。

その設計思想は、今回のソフトウェア最適化と軌を一にしている。Nvidia製GPUは、推論処理が計算能力ではなくメモリ帯域幅に縛られるため、推論ワークロードでは決してフル活用されない計算能力を抱え込んでいる。Jalapeñoは、トランスフォーマーモデルのメモリ移動、カーネルパターン、ネットワーク特性に特化して設計されており、チップの理論上のピーク性能に極めて近い利用率を達成することを目指している。BroadcomのCEOであるホック・タン氏は、初期テストにおいて、現行世代のGPUと比較して1トークンあたりの推論コストを約50%削減できるとBloombergに語っている。ただし、第三者によるベンチマークは公開されておらず、本格的な本番環境への導入は2027年または2028年まで見込まれていない。

「今すぐ利用できるソフトウェア最適化」と「将来のカスタムハードウェア」という2つの路線の融合こそが、OpenAIが描きつつある推論戦略の実態である。ソフトウェアによる恩恵は、既存のインフラ上で追加の設備投資なしに即座に享受できる。一方、ハードウェアによる恩恵は本番スケールで実現するまでにあと2〜3年を要するが、ソフトウェア単体では到達できないさらなる効率化を約束する。これらが組み合わさることで、OpenAIの現在の粗利益率39%から目標の52%、さらにはその先への道筋が見えてくる。

ただし、この道筋が実現するかどうかは、ソフトウェア最適化が持続可能かつ汎用的なものであると証明されること、そしてJalapeñoのハードウェア性能の主張が本番環境のワークロードに耐えうるかどうかにかかっている。どちらも現時点では保証されていない。OpenAIは最適化の技術的メカニズムを一切開示しておらず、BroadcomによるJalapeñoの性能主張にも公開されたベンチマークの裏付けはない。AI業界には、研究室レベルでは本物であっても、実用段階では限定的な効果にとどまった効率化の主張が数多く存在する。

しかし、方向性は明確だ。ソフトウェア主導の推論効率化の限界値は、業界が想定していたよりもはるかに高い。そしてOpenAIのエンジニアチームは、外部のアナリストが「すでに十分に最適化されている」と考えていたスタックから、さらに大きな改善の余地を見つけ出せることを証明した。この事実だけでも、競合他社がAIのコスト環境を予測する方法や、開発者や企業が2027年に向けたAIサービスの価格設定をどう考えるかに、大きな影響を与えることになるだろう。

■注目ポイントQ&A

●AIの推論コストとは何ですか？なぜChatGPTユーザーに関係があるのですか？

推論コストとは、ユーザーがChatGPTにメッセージを送信したりAPIを呼び出したりするたびに、モデルを実行して回答を生成するためにOpenAI側で発生する計算処理の運用費用です。モデルのトレーニングにかかる一回限りの費用とは異なり、推論コストはユーザー数やクエリ数に応じて継続的に発生し、増大し続けます。これが現在のAI APIの価格設定の主な要因であり、OpenAIの収益性における最大の課題となっています。推論コストが削減されれば、API価格の引き下げや、無料・有料ユーザーの利用制限の緩和につながる可能性があるため、OpenAIのサービスを利用または活用して開発を行うすべての人に関係があります。

●OpenAIはどのようにしてChatGPTのGPU必要数を数百台にまで削減したのですか？

OpenAIは具体的な最適化技術を公表していません。しかし業界のアナリストは、確立された手法である「KVキャッシュの再利用（中間計算の保存による再計算の回避）」「GPU利用率を最大化するリクエストのバッチ処理」「モデルの重みの数値を粗くして軽量化する量子化」「単純な質問を負荷の低い小型モデルに振り分けるクエリルーティング」などを組み合わせたものと推測しています。ChatGPTのゲスト層は、ログインユーザーに比べて予測可能でシンプルなトラフィックであるため、これらの最適化を試す効果的なテストベッドとなりました。この成果が、より複雑な有料プランやAPIのワークロードにも適用できるかどうかが今後の焦点です。

●このコスト削減により、API価格の引き下げやChatGPTの利用制限緩和は行われますか？

現時点ではそのような発表はありません。今回の最適化が確認されたのは、OpenAIのサービスの中で最もコストが低く制限の多い「非ログインのゲストトラフィック」のみであり、無料プラン、有料プラン、またはAPIユーザーにこれがいつ適用されるかは明言されていません。もしこの効率化がシステム全体に適用されれば、価格引き下げや利用制限の緩和、あるいは同社が目標とする2026年の粗利益率52%の達成に向けた原資となる可能性があります。ただし、OpenAIが効率化の恩恵を顧客に還元してきた過去の傾向を見ると、API価格の引き下げは主に旧世代のモデルが対象であり、最先端モデルの価格は維持される傾向があります。

●「Jalapeño（ハラペーニョ）」チップとは何ですか？OpenAIの戦略にどう位置づけられますか？

Jalapeñoは、OpenAIが設計し、BroadcomとTSMCが製造を担当して2026年6月24日に発表された独自のAI推論専用アクセラレータ（ASIC）です。あらゆる計算に対応しなければならないNvidia製の汎用GPUとは異なり、LLMの推論における特定の計算パターンに特化して設計されています。Broadcomのホック・タンCEOによると、初期テストでは現行GPUに比べて1トークンあたりの推論コストを約50%削減できるとされていますが、独立したベンチマークは未公開です。2026年末までに初期プロトタイプが導入され、2027年から2028年にかけて本格的な本番稼働が予定されています。今回のソフトウェア最適化とJalapeñoは、「既存インフラから今すぐ効率を引き出し、将来的に専用シリコンへ移行する」という二段構えの推論戦略を表しています。

元記事: OpenAI Halves Inference Costs With Software Alone: GPUs Drop to Hundreds