米Together AIの研究責任者であるダン・フー（Dan Fu）氏らは、大規模言語モデルの寿命2年換算で推論flopsの消費量が訓練の12倍に達し、計算資源の主戦場が推論へ移行した実態を公表しました。さくらインターネットなど国内クラウド事業者のGPU基盤上でエージェントを本番運用する技術者にとって、調達指標を単純な時間単価から推論スタックの効率へと見直す契機になります。
訓練からデコードへの資源転換と推論プロバイダーの経済性格差
2026年10月、米Y Combinator（Yコンビネータ）の「Paper Club」にて、Together AI、Ollama（オラマ）、Luminal（ルミナル）、SGLang（エスジーラング）の実務責任者による討議が行われました。登壇者らは、AI投資の回収可能性を決定づける要素が「モデル訓練の効率」から「デコード段階の実行効率」へ完全に移った実態を指摘しています。
これまでAI研究の評価軸は、特定のモデル能力に到達するまでの計算量を測る「iso-train-flops」が中心でした。しかし実運用環境では、モデル運用期間全体で消費される計算資源の大部分を推論が占めています。中国DeepSeek（ディープシーク）が公表したDeepSeek-V3の稼働データは、この構造転換を数値で証明しました。
| 指標 | 訓練段階 | サービング（推論）段階 | 備考 |
|---|---|---|---|
| 消費計算資源 | 約280万H800 GPU時間 | 日次約4万3,000H800 GPU時間 | 単一モデル重みあたり |
| 年間flops比率 | 基準（1.0倍） | 訓練の約6倍 | 運用1年換算 |
| 2年間flops比率 | 基準（1.0倍） | 訓練の約12倍 | モデル寿命を2年と想定 |
| GPU計算機使用率 | – | プリフィル時：約50% / デコード時：約5% | デコードはメモリ帯域律速 |
| トークン処理量 | – | 150万トークン/秒（キャッシュ時プリフィル） | デコードは1.4万トークン/秒 |
単一の重みファイルを2年間稼働させた場合、推論で消費される総flopsは訓練時の約12倍に達します。DeepSeekはこの運用構造のもとで、約80%という高いサービング粗利益率を達成しました。同社はより賢いモデルを作ることのみならず、モデルを極限まで低コストに提供する推論パイプラインを構築することで利益を確保しています。
一方、モデルの提供基盤による品質格差も顕在化しています。Ollamaの最高経営責任者（CEO）であるジェフリー・モーガン（Jeffrey Morgan）氏は、同一のオープンモデル重みであっても提供プロバイダーによって出力性能が著しく異なると指摘しました。2024年の調査では、Meta（メタ）のオープンモデルLlama（ラマ）を提供する31のエンドポイントを比較したところ、一部の低品質プロバイダーではGPT-3.5相当まで性能が低下していました。
この品質偏差は、複数ステップを連続実行するエージェント型ワークロードにおいて致命傷となります。15ステップのコーディングタスクを実行する際、API呼び出し1回あたり10%の精度偏差が生じるだけで、最終出力の誤り率は累積で最大79%まで跳ね上がります。推論基盤の不透明な最適化や過度な量子化は、下流のアプリケーション品質を破壊するリスクを抱えています。
参考記事: AI推論インフラとは？CTOが知るべきアーキテクチャ設計とROI最大化戦略
メモリ律速のデコードを攻略する3つの先進最適化アプローチ
推論コストの集中するボトルネックは、テキスト生成の2段階（プリフィルとデコード）における物理特性の非対称性に起因します。プロンプト全体を一括処理するプリフィル段階は計算律速であり、並列処理によってGPU使用率は約50%に達します。
対照的に、回答を1トークンずつ逐次出力するデコード段階は直列処理を強制されます。トークンを1つ生成するごとにモデル全体の全重みをGPUメモリから演算コアへ読み出す必要があり、メモリ帯域律速によってハードウェア使用率は約5%にまで低下します。NVIDIA（エヌビディア）製GPUが公称2兆FP8 flopsの性能を備えていても、デコード実行時にはそのごく一部しか引き出せません。
このメモリの壁を打破するため、登壇各社はスタックの異なる階層から独自のアーキテクチャを実装しています。
RadixAttentionと多層階層メモリによるKVキャッシュ管理
推論エンジンSGLangの開発者であるリャン・チェン（Liang Cheng）氏は、KVキャッシュの効率化がもたらす非線形なコスト削減効果を実証しました。システムプロンプトや共通コンテキストのキャッシュヒット率を95%から99%へ引き上げると、未処理のプリフィル計算が激減し、計算コストは5%削減にとどまらず5分の1に激減します。
SGLangは、エージェント特有の複雑なコンテキストをRadixTree（基数木）構造で管理する「RadixAttention」を導入しました。これにより、分岐したサブエージェント間で共通プレフィックスを再利用できます。さらにGPUメモリ、ホストメモリ（DRAM）、NVMeストレージにまたがる3層キャッシュ階層を構築し、出力トークンあたりの所要時間を56%削減しました。
次世代ハードウェアへの対応として、GPUとCPU間の通信同期オーバーラップも不可欠です。Hopper世代で1.1〜1.5倍だったオーバーラップスケジューリングの性能向上幅は、Blackwell世代（GB200等）では最大約2倍に達します。
Luminalによる制約付き基本演算分解と実行時プロファイリング
LuminalのCEOであるジョー・フィオッティ（Joe Fiotti）氏は、従来の手作業によるMLIR（Multi-Level Intermediate Representation）コンパイラ開発の限界を指摘します。何百人ものエンジニアが手動で変換ルールを記述する手法は、モデル構造や半導体の多様化に追いつきません。
Luminalは、ニューラルネットワークの演算を行列積を用いずに約14〜15の基本演算（加算、乗算、総和リダクション等）へ分解する手法を採用しました。中間表現の自由度をあえて制限することで、コンパイラがメモリ転送経路を解析的に絞り込めるように設計されています。
さらに、不正確な理論コストモデルによる予測を排除し、実機上でコード候補をコンパイルして10ミリ秒未満で計時する探索ループを実行します。1秒あたり約1,000回の実機ベンチマークを回し、可能空間の局所最適解を探索することで、わずか8人のチームでエヌビディア、AMD（アドバンスト・マイクロ・デバイセズ）、AWS Trainium（トレイニアム）、Google TPU混在環境において月間80〜90兆トークンの推論を処理しています。
DeepSeekの72時間コンテキスト保持とルーティング設計
DeepSeekの推論基盤「DeepInfer」は、ペタバイト規模のKVキャッシュを72時間にわたって常駐させる運用設計を採用しています。エージェント開発環境のような長い文脈を反復利用するワークロードにおいて、平均96%という極めて高いキャッシュヒット率を維持し、プリフィル処理の9割以上をスキップしています。
この運用を実現する前提条件が、キャッシュの局所性を考慮したクラスタスケジューリングです。従来型のラウンドロビン方式で負荷分散を行うと、以前のセッション情報を保持していないノードへリクエストが割り振られ、キャッシュ再利用が破壊されます。DeepInferはルーター層でGPUレプリカの負荷分散とKVキャッシュの局所性維持を同時に解くことで、無駄な再計算を排除しています。
参考記事: DeepSeek-V4-Flashの仕組みと影響｜AIデータセンター構造を変革する推論最適化のロードマップ
参考記事: HBM（高帯域幅メモリ）とは？仕組み・AIインフラでの重要性と2030年へのロードマップを徹底解説
エージェント普及が迫るAPI調達基準の刷新と国内インフラへの影響
海外で進む推論スタックの最適化競争は、日本のAIサプライチェーンとエンタープライズのシステム設計に直接的な影響を及ぼします。
「未最適化インスタンス再販」モデルの経済的破綻
国内のデータセンターやホスティング事業者は、NVIDIA H100やH200のインスタンスを時間貸しするビジネスモデルを展開してきました。しかし、ハードウェアをそのまま貸し出すだけの形態は急速に競争力を失います。
専用コンパイラや高度なKVキャッシュ管理を持たない未最適化環境では、デコード時のGPU使用率が5%前後に留まります。一方で、自社最適化スタックを備えたハイパースケーラーや推論特化プロバイダーは、同じハードウェアから数倍のスループットを引き出し、安価なトークン単価と80%近い粗利益率を両立させます。国内事業者が推論インフラで収益を維持するためには、SGLangのような最先端推論エンジンやクラスタルーターを統合したマネージド推論サービスの提供が不可欠です。
15ステップエージェントが直面するサイレント品質劣化
国内金融機関や製造業において、複数ツールを自律連携させるマルチステップエージェントの検証が進んでいます。ここで重大な障害となるのが、格安APIプロバイダーによる「サイレントな推論品質の劣化」です。
一部のプロバイダーは、推論コストを削減するために極端な低ビット量子化や投機的デコードを独自に導入しています。単発のテキスト要約では差が目立ちにくいものの、構造化出力やFunction Calling（ツール呼び出し）の精度は大きく低下します。1回の呼び出しで10%精度がブレるだけで、15ステップのエージェント処理が破綻する確率は約8割に達します。調達部門がAPIの「100万トークンあたりの表面価格」のみでベンダーを選定した場合、システム全体の運用コストと障害対応コストが跳ね上がる構造的リスクを抱えています。
モデル重みとサービングスタックの一体調達
モデル開発元の評価基準も変化しています。従来のように「Hugging Face上にモデル重みファイルを公開して完了」とする配布形式は実用性を欠きます。DeepSeekがDeepInferを同梱し、Moonshot AI（ムーンショット）が「Kimi K2」のツール呼び出し検証スコアボードを公開したように、最適化済み推論スタックと品質検証基準のセット提供が標準化しつつあります。
国内で独自モデルを開発するフロンティアラボやSI事業者は、モデルアーキテクチャの事前学習だけでなく、特定ハードウェア向けにチューニングされたカーネル、KVキャッシュ退避ポリシー、量子化レシピまでを統合して提供する能力が問われます。
参考記事: GPUクラスタの仕組みと構築戦略｜CTOが押さえるべき最前線と2030年の未来
自社推論環境のROIを確立するための実装ロードマップ
推論の計算資源消費が訓練を大きく上回る時代において、技術責任者およびインフラ設計者が直ちに着手すべき実践項目は以下の通りです。
- 推論パイプラインのプロファイリングとプリフィル／デコード分離
自社ワークロードにおけるプロンプト長と生成トークン数の比率を可視化します。長い文脈を入力して短い回答を得る社内検索（RAG）用途ではプリフィルの並列処理を強化し、長文生成やコード生成ではメモリ帯域とデコード最適化エンジンを最優先に配置する分離スケーリングへ移行します。 - SGLangやvLLMをベースとした多層KVキャッシュの導入
共通プロンプトや複数エージェントが参照する共有プレフィックスを再利用するため、RadixAttention等のプレフィックスキャッシングを本番環境へ配備します。キャッシュヒット率のわずかな向上が計算コストの非線形な削減を生むため、ホストメモリを活用したキャッシュ階層を構築します。 - エージェント稼働環境における「トークン品質監査」の仕組み化
推論APIの調達において、単一トークンのパープレキシティ監視だけでなく、ツール呼び出しの引数整合性やJSON構文の遵守率を常時検証する評価ハーネスを組み込みます。プロバイダーのサイレントなモデル更新や過度な量子化による精度ドリフトを自動検知し、誤った推論結果が業務ワークフローへ混入するリスクを遮断します。
推論インフラの勝敗は、確保したGPUの絶対数ではなく、デコード段階のメモリ制約をどれだけ低減できるかという配管のエンジニアリングによって決まります。
出典: BigGo Finance
