NVIDIAの740億モデルが24GB動作｜国内企業の閉域AI選定への影響

米エヌビディア（NVIDIA）は2026年10月15日、総パラメータ数740億のオープンモデル「Nemotron 3.5 Bolt 74B」を公開し、2ビット圧縮によってメモリ所要量24GBでのローカル動作を実現しました。日本電気株式会社（NEC）や富士通株式会社などが進めるオンプレミス・閉域環境でのセキュアな生成AI実装において、クラウドAPIに頼らない選択肢が浮上しています。

24GB枠で競うローカルAIの海外動向

エヌビディアは2026年10月15日、Mixture of Experts（MoE）構造を採用した「Nemotron 3.5 Bolt 74B A9B」のモデル重みをHugging Face上で公開しました。本モデルは同社が2026年5月のComputexで発表し、同年10月7日に予約受付を開始したマイクロソフト（Microsoft）との共同プラットフォーム「RTX Spark」搭載PCでの実行を前提に設計されています。

同日にはメタ（Meta）も総パラメータ数8160億（アクティブ420億）のオープンウェイトモデル「Muse Spark Open」を公開しました。海外市場では、クラウドの大規模クラスタで稼働させるフロンティアモデルと、手元のワークステーションやノートPCで完結する高効率モデルへの二極化が進んでいます。

エヌビディアのNemotronファミリーと競合モデルの立ち位置は以下の通りです。

第三者評価機関であるArtificial Analysisの「Intelligence Index」（2026年10月15日時点）によると、親モデルであるNemotron 3.5 Super VLがスコア「26.5」で米国発オープンウェイト首位を獲得しました。これを圧縮したBolt 74Bもスコア「21」を記録しています。5500億パラメータを擁する前世代の「Nemotron 3 Ultra」（スコア23）に迫る水準を、わずか7分の1以下のパラメータ規模で達成しました。

推論速度の面でも測定値が示されています。NVIDIA Researchが公表した技術レポートによると、RTX Spark（Surface Laptop Ultra 128GBメモリ構成）上で投機的デコーディング手法「LiLiCorr」を適用した場合、コーディング性能を測る「AIPerf SPEED-Bench-Coding」テストにおいて83.99 TPS（秒間約84トークン）を記録しました。

参考記事: NVIDIAのHugging Face買収報道が示すAI推論覇権と垂直統合の全貌

2ビット極限量子化とMoEを両立させた技術構造

Nemotron 3.5 Bolt 74Bが24GBのメモリ枠で実用精度を維持できる理由は、アーキテクチャ設計と学習プロセスの双方に施された最適化にあります。

単なる事後量子化（PTQ: Post-Training Quantization）では、重みを2ビットまで削減するとモデルの推論能力が著しく崩壊します。エヌビディアは開発段階から精度の低下を織り込んで重みを更新する「量子化考慮学習（QAT: Quantization-Aware Training）」を採用しました。

層別の混合量子化とMoEの組み合わせ

モデル全体の単純計算では、740億パラメータを2ビット化すると約18.5GBとなります。公表値の24GBと乖離があるのは、重要度の高い層に対して異なるビット精度を割り当てる混合量子化を採用しているためです。

• エキスパート層: 全体の大部分を占めるMoEエキスパートにはIQ2-XXS形式（1重みあたり2.0625ビット）を採用。
• Mambaレイヤー: 状態空間モデル（SSM）層にはNVFP4（4ビット浮動小数点）を維持。
• 入出力層: 単語の埋め込みおよび最終出力層にはQ8_0（8ビット整数）を適用。

推論計算時には、1トークンごとに740億パラメータのうち90億パラメータ（A9B）のみを動的に選択して活性化させます。計算負荷を90億モデル相当に抑えつつ、740億モデルが持つ知識容量を保持する構成です。

ベンチマーク比較に見る性能特性

公開されたベンチマークでは、Bolt 74B（2ビット圧縮）と、非圧縮（BF16精度）の小型モデル3種（Qwen3.6-35B-A3B、Gemma 4 26B-A4B、Nemotron 3.5 Lightning 30B-A3B）が比較されています。

Bolt 74Bは評価された13項目中10項目で非圧縮モデルを上回るスコアを示しました。特にウェブ探索タスクのBrowseCompでは66.75を記録し、次点のQwen3.6（48.74）を大きく引き離しています。

一方で、事実に基づかない回答を測定するAA-Omniscience（非ハルシネーション指標）では61.27となり、Nemotron Lightning（68.81）やQwen3.6（65.85）を下回りました。極限圧縮によって特定領域の知識想起にばらつきが生じる傾向が確認されており、厳密な事実確認が求められる用途では外部知識検索（RAG）との併用が必須条件となります。

ソフトウェア面では、Linux Foundationが2026年5月に定めたパーミッシブライセンス「OpenMDW-1.1」を採用し、商用利用が無償で認められています。llama.cpp、vLLM、Ollama、Unsloth、LM Studioの主要ランタイムに即日対応し、最大256Kトークンのコンテキスト処理と2分以内の動画入力に対応します。

参考記事: iPhoneで動作しBonsai 27Bと同等性能で13倍高速なAI「Maple-Preview」が登場

日本のIT投資と端末調達への示唆

Nemotron 3.5 Bolt 74Bの登場は、国内企業のAIインフラ戦略に具体的な再考を迫ります。

これまで700億パラメータ級のモデル運用には、データセンター向けのNVIDIA H100やA100（80GBメモリ）を複数枚束ねるか、高額な従量課金APIを契約する必要がありました。しかし本モデルの登場により、32GBのVRAMを備えた単一のワークステーション向けGPU（GeForce RTX 5090等）や、ユニファイドメモリを積んだRTX Spark搭載PC上でのスタンドアロン稼働が視野に入ります。

特に機密図面を扱う製造業の設計部門や、個人情報・口座情報を扱う金融機関のバックオフィスでは、ネットワークから隔離されたオンプレミス環境で自律エージェントを動かしたい需要が存在します。24GBのフットプリントであれば、外部データ送信を社内規定で禁止している閉域端末上でも、ツール呼び出し（Function Calling）やJSON構造化出力を伴う業務自動化エージェントを構築できます。

ただしハードウェア調達には注意が必要です。公表値の24GBは重みデータ単体の占有量であり、256Kトークンのコンテキストを維持するためのKVキャッシュ領域は含まれていません。既存の24GBメモリ搭載グラフィックスカード（RTX 4090等）ではコンテキスト展開時にメモリ不足（OOM）を起こす可能性が高く、実務投入には32GB以上の専用メモリ、または最大128GBを共有できるユニファイドメモリ環境の選定が前提となります。

参考記事: Nvidia、TMLに25億ドル出資交渉｜対ASIC垂直統合が迫る自社AI戦略

技術責任者が進めるべき検証計画

手元で700億パラメータ級モデルが稼働する環境が整ったことで、技術責任者は以下の手順で自社システムの評価を進めることが推奨されます。

1. 推論環境とランタイムの動作検証
   llama.cppやvLLMを用い、既存の社内ハードウェア資産（RTX 5090やワークステーション）上でGGUF版Bolt 74Bを展開し、長文コンテキスト処理時の実効メモリ消費量とトークン生成速度（TPS）を測定します。
2. APIラッパー型SaaSのコスト比較
   クラウドAPI経由で運用している定常的なバッチ処理や社内問い合わせエージェントについて、オンデバイス実行に切り替えた場合のハードウェア減価償却費と通信費・API利用料の損益分岐点を試算します。
3. ハルシネーション抑制パイプラインの設計
   AA-Omniscienceのベンチマークが示す通り、2ビット圧縮モデル特有の知識脱落を補うため、社内ベクトル検索エンジン（RAG）やプロンプトによる制約プロトコルを検証プロセスに組み込みます。

出典: NVIDIA Research Technical Report
出典: Linux Foundation Press Release
出典: Artificial Analysis