パススルーARとは？

ビデオシースルー方式を採用したパススルーARは、ヘッドセット外部のステレオカメラが毎秒90〜120フレームで捉えた現実世界の映像を、GPU上でデジタルグラフィックスとピクセル単位でリアルタイム合成し、内部ディスプレイに投影する技術である。ユーザーは物理的に視界を密閉されたヘッドセットを装着しながらも、低遅延な映像によって周囲を視認する。本稿では、光学透過式（オプティカルシースルー）と区別するため、このビデオシースルー方式を「パススルー」と定義し、その技術構造、実装仕様、最適化手法を解説する。

パススルーARの定義と仕組み：ビデオシースルーと光学透過式の技術的相違点

空間コンピューティングやMR（複合現実）を実現する上で、ビデオシースルー方式は従来の光学透過式と光学的・物理的なアプローチが大きく異なる。その決定的な違いを、視野角（FOV）、不透明度表現（オクルージョン）、遅延（レイテンシー）、輝度（コントラスト）の4つの技術的指標から整理した比較表が以下である。

ビデオシースルー方式の描画プロセスとレイテンシー（遅延）の技術的課題

ビデオシースルーの描画プロセスは、以下のような複数のデジタル処理パイプラインを経由してディスプレイへ投影される。

• イメージキャプチャ：ヘッドセット外側に搭載されたイメージセンサーが、現実世界を毎秒90〜120フレームで撮影する。
• 画像処理と空間補正：カメラの物理的な配置位置（視点）と、ユーザーの実際の瞳孔位置（IPD：瞳孔間距離）のズレを解消するため、幾何学的な歪み補正（リプロジェクション）を瞬時に実行する。
• デジタル情報のレンダリング・合成：現実の映像バッファと、Unityなどのエンジン側でレンダリングされた3Dオブジェクト（仮想空間のグラフィックスデータ）をピクセル単位でアルファ合成する。
• ディスプレイ表示：最終的に合成された映像をディスプレイ（有機ELや液晶）に表示する。

この一連のパイプラインにおいて最も重大な技術的課題が、レイテンシー（処理遅延）である。人間の視覚システムは、頭部の動きと視野の追従に15ミリ秒以上のズレが生じると違和感を覚え、20ミリ秒を超えると激しい映像酔い（VR酔い）を引き起こすことが学術的にも明らかになっている。例えば、空間コンピューティングデバイスであるApple Vision Proでは約12ミリ秒、Meta Quest 3では実測値で約15ミリ秒の「Motion-to-Photon（動きから表示までの遅延）」を実現しており、この限界値未満に抑えるために、専用の補助プロセッサによるハードウェア処理や、リプロジェクションアルゴリズムの最適化が行われている。

光学透過式（シースルー）との物理的・光学的アプローチの比較

光学透過式（オプティカルシースルー）とビデオシースルー（パススルー）の物理的な差異は、網膜に届く「現実の光」の経路上に介在する光学デバイスの構造に起因する。

Magic Leap 2やMicrosoft HoloLens 2が採用する光学透過式は、導波管（ウェーブガイド）の微細なスリット内で光を全反射させ、外部の自然光とマイクロプロジェクター（LCoSやMicroLED）からの映像光を重ね合わせる。実世界の光が直接網膜に到達するため、遅延は物理的にゼロであり、電力喪失時にも視界が遮られない安全性を確保できる。しかし、この方式は光の「加算」しか行えないため、環境光が強い屋外ではデジタルオブジェクトが透過して視認性が著しく低下する。また、黒色の光を物理的に「投影」することは不可能なため、完全な不透明度（オクルージョン）の表現には物理的な限界がある。

一方、ビデオシースルー方式では、外界の光は完全に遮断され、CMOSイメージセンサーを介して一度VRAM（ビデオメモリ）上にRGB値として展開される。仮想オブジェクトの不透明度は、Unityのピクセルシェーダー上で現実のビデオバッファのアルファ値を制御することによって決定される。この100%のデジタル制御により、現実の物体とバーチャルなアセットの前後関係（オクルージョン）を完全に再現することが可能となる。遅延や解像度といったカメラ性能の物理的制約を受けつつも、没入感と実物感の融合においてはビデオシースルー方式が技術的に優位にある。

Meta Quest 3で進化を遂げたMR（複合現実）体験と空間コンピューティングの現在地

ビデオシースルーの仕組みをベースとし、実用性を大幅に高めたコンシューマー向けデバイスの代表例が「Meta Quest 3」である。

Quest 2からQuest 3へのスペック進化とそのメリット

前世代機である「Meta Quest 2」から「Meta Quest 3」への移行に伴い、ビデオシースルー機能は劇的な性能向上を遂げた。Quest 2のパススルー機能は、ヘッドセットの位置トラッキング用モノクロカメラを流用した、周囲の安全確認のための簡易的な位置づけであった。これに対し、Quest 3は最初からMR（複合現実）体験を前提にハードウェアが設計されている。両デバイスの具体的なスペックの違いは以下の通りである。

このスペックの劇的な変化は、装着時の視覚体験と空間インタラクションを根底から変える。18 PPD（Pixels Per Degree）という角解像度は、装着状態のままスマートフォンの10ポイント前後のフォントやPC上のソースコードを歪みなく判読することを可能にする。また、12ミリ秒という超低遅延化は、不意の頭部挙動時における視界の揺れを最小限に抑え、歩行や階段の昇降といった現実の動的アクションを阻害しない。

新たに搭載されたToF（Time-of-Flight）方式のアクティブ深度センサーは、空間認識フェーズにおける最大のボトルネックを解消した。従来のQuest 2ではユーザーがコントローラーを用いて壁や家具の輪郭を登録する手動設定が必要だったが、Quest 3では周囲を見渡すだけで、デバイスが動的に物理環境の3D点群（ポイントクラウド）を測定し、ポリゴンメッシュ（空間メッシュ）を自動構築する。この深度情報の取得により、バーチャルオブジェクトが現実の遮蔽物の陰に隠れるオクルージョン処理や、物理エンジンによる現実の壁や床への衝突判定（コライダーの自動生成）が、開発者の追加コードなしでシームレスに動作する。

空間コンピューティングにおけるパススルーの役割と主要デバイスのポジショニング

「空間コンピューティング」という新しい概念において、パススルーARは単なるエンターテインメントの枠を超え、現実の空間そのものをデスクトップや作業場として拡張するインターフェースとして機能する。現在、市場には異なるアプローチをとる複数のビデオシースルーデバイスが存在する。

例えば、Apple Vision Proは片眼4Kディスプレイ、約34 PPDの解像度パススルー、12ミリ秒の低遅延、そしてアイトラッキングとハンドトラッキングを組み合わせた操作体系を特徴とする。価格帯は3,499ドル（日本では約59万円〜）からと高価であり、主にエンタープライズやオフィスワークの代替、プレミアムなパーソナルシアター用途といった「高精度なディスプレイ代替」としてポジショニングされている。

これに対し、Meta Quest 3は499.99ドル（日本では約74,800円〜）からというコンシューマーにアプローチしやすい価格帯でありながら、実用的なパススルー品質を提供している。さらに、物理コントローラーによる高精度な操作体系を残すことで、VRゲームからの移行をスムーズにし、MR（複合現実）ゲーム市場を牽引するポジショニングを確立している。

このポジショニングの強みは、Unity等の開発エコシステムにも直接影響を及ぼしている。Metaは公式に提供する「Meta Horizon SDK」を通じて、開発者がUnityでのパススルー実装を迅速に行えるようにAPIを統合している。開発者は、Unityのエディタ上で簡単なスクリプトとコンポーネントを追加するだけで、カメラのビデオシースルー映像を取り込み、特定の色にフィルターをかけるスタイリングや、バーチャルオブジェクトと実世界の衝突判定を実装できる。これにより、すでに多くのVR開発者が既存のスキルを流用して、Meta Quest 3向けのMRアプリやコンテンツを開発・提供できる環境が整っている。

実例として、卓球ゲームの『Eleven Table Tennis』では、MRモードを有効にすることで、自分の部屋の中に卓球台を配置し、視界を塞がれることなく対戦相手とバーチャルに試合ができる機能を提供し、プレイヤーから高い評価を得ている。これは、低レイテンシーなカラーパススルーと高精度なコントローラートラッキングが組み合わさることで、初めて実現可能となった実用的なユースケースである。このように、ビデオシースルーを用いた空間コンピューティングは、ハードウェアの進化と開発エコシステムの成熟によって、確実に実用レベルへと移行している。

【Unity/Meta XR SDK】パススルー機能を有効化する実践的な実装ステップ

Meta Quest 3のパススルー機能を活用した本格的なMR（複合現実）アプリケーションを開発するには、カメラが捉えたビデオシースルー映像と、Unity上で描画する3D仮想オブジェクトを高精度に重ね合わせる処理が求められる。UnityのUniversal Render Pipeline（URP）は、高品質なシェーダー描画と効率的なレンダリングパスを両立できるため、Quest 3向け空間コンピューティング開発のデファクトスタンダードとなっている。本セクションでは、Meta XR Core SDKを用いて、Unity上でパススルーを有効化する具体的な実装手順と最適化手法を解説する。

開発環境のセットアップとPassthrough Layer性能の最大化手順

Unityにおけるパススルー実装を行うための前提として、Unity 2022.3 LTS以降のバージョンを使用し、グラフィックスAPIにはVulkanを選択する。Metaの公式データによると、VulkanはOpenGL ESと比較してマルチスレッド描画の効率が高く、ビデオシースルーのレイテンシー（遅延）を最小限に抑えるために必須とされている。Unity Package Managerから「Meta XR Core SDK」をインポートした上で、以下の構成に沿ってコンポーネントを配置する。

[OVRCameraRig] (GameObject)
  │
  ├── [OVRManager] (Component)
  │     ├── Enable Passthrough: True (チェックON)
  │     └── Insight Passthrough Support: Required
  │
  └── [TrackingSpace] (GameObject)
        │
        └── [CenterEyeAnchor] (Camera Component)
              │   ├── Clear Flags: Solid Color
              │   └── Background: (R:0, G:0, B:0, A:0) ※アルファ値は必ず0に設定
              │
              └── [OVRPassthroughLayer] (Component)
                    ├── Projection Method: Reconstruct
                    └── Placement: Underlay (背景として描画)

パススルー映像を正常に表示させるためには、Unityのメインカメラの設定とOVRPassthroughLayerコンポーネントの設定を連動させる必要がある。以下に、Unity Inspector上で設定すべき必須パラメータをまとめた。

描画順（Composite Layer）の最適化において、Placement設定の「Underlay」と「Overlay」の選択はパフォーマンスを左右する重要な分岐点である。一般的なMRアプリケーションでは、仮想オブジェクトが現実の机や壁（パススルー映像）の手前に表示される必要があるため、Underlayを選択する。Underlayモードでは、Meta Quest 3のタイムワープコンポジッター（TimeWarp Compositor）が、Unityのレンダリングバッファのアルファ値が「0（透明）」であるピクセル部分にのみ、ハードウェアレベルでパススルー映像を合成する。これにより、GPUによる不必要なピクセル描画（オーバードロー）を回避し、グラフィックスパイプラインの負荷を低減させ、安定したリフレッシュレート（90Hz/120Hz）を維持できる。

カラーマッピング、エッジレンダリング、ルックアップテーブル（LUT）によるスタイリング実装

OVRPassthroughLayerは、単に現実の映像を背景に流すだけでなく、描画されるビデオシースルー映像に対して、リアルタイムで色の乗算、コントラスト調整、エッジ検出（輪郭線描画）、およびLUT（ルックアップテーブル）によるカラーグレーディングを施すAPIを提供している。これにより、現実世界とバーチャル空間のトーン＆マナーを統一させ、没入感を高めることができる。

以下のC#スクリプトは、実行時にパススルーのスタイルを動的に変更する実装コードである。ボタン入力やゲームのステート変化に合わせて、パススルー映像をモノクロ（グレースケール）化し、さらに境界線を特定の色で強調するエッジレンダリングを実行する。

using UnityEngine;

public class PassthroughStylingController : MonoBehaviour
{
    [SerializeField] private OVRPassthroughLayer passthroughLayer;
    [SerializeField] private Color edgeColor = Color.cyan;
    [SerializeField] private float edgeContrast = 1.0f;

    void Start()
    {
        if (passthroughLayer == null)
        {
            passthroughLayer = GetComponent<OVRPassthroughLayer>();
        }
    }

    // パススルー映像をモノクロ化し、指定したカラーのエッジを際立たせるスタイリングを適用
    public void ApplyMonochromeEdgeStyle()
    {
        // カラーマップタイプを「ColorAdjustment」に設定
        passthroughLayer.controlStyle = OVRPassthroughLayer.ColorMapEditorType.ColorAdjustment;
        
        // 色調、コントラスト、輝度の設定
        passthroughLayer.colorMapEditorContrast = edgeContrast;
        passthroughLayer.colorMapEditorBrightness = 0.0f;
        passthroughLayer.colorMapEditorPosterize = 0.0f;

        // エッジレンダリング（輪郭線）を有効化し、カラーを適用
        passthroughLayer.edgeColor = edgeColor;
        passthroughLayer.edgeRenderingEnabled = true;

        // 内部のグラフィックスステートを更新
        passthroughLayer.SetColorMapControls();
    }

    // スタイリングをリセットし、通常のフルカラーパススルーに戻す
    public void ResetToDefaultStyle()
    {
        passthroughLayer.edgeRenderingEnabled = false;
        passthroughLayer.controlStyle = OVRPassthroughLayer.ColorMapEditorType.None;
    }
}

より高度な色彩設計を行う場合には、ルックアップテーブル（LUT）を用いたカラーマッピングを実装する。Meta XR SDKでは、256×16ピクセルのPNG形式のカラーチャート（LUTテクスチャ）をOVRPassthroughLayer.SetColorMapLut()メソッドに渡すことで、パススルー映像全体のカラーグレーディングを一瞬で切り替えることができる。例えば、SF調のサイバーパンクな世界観を構築する際、現実世界の映像全体を「ネオンブルーと紫」を基調とした独自のカラーパレットに変換できる。この処理はMeta Quest 3のSoC（Snapdragon XR2 Gen 2）に内蔵された専用の画像処理ブロックで実行されるため、Unity側のCPU/GPUフレームタイムを消費することなく、極めて低負荷で実行できる点が大きな強みである。

産業分野・ユースケース別に見る実用的なパススルーAR活用事例

実世界とデジタル情報を融合させるMRは、ビデオシースルー方式を採用したデバイスの普及によって、エンターテインメントから実用的なツールにいたるまで、より現実的なユーザー体験を提供する段階へと移行している。開発者がUnityでのパススルー実装を通じて構築した機能は、すでに多くの実在するアプリケーションで活用されている。その代表例における「UX上のメリット」と「解決した課題」は以下の通りである。

メディア・エンタメ：ビデオプレイヤー（DeoVR等）における現実と仮想の融合

世界的なVR動画配信プラットフォームである「DeoVR」では、ビデオシースルー技術を用いたパススルー表示機能が標準実装されている。このシステムは、映像内の特定色（主にグリーンバック）をコンポジッター側で透過処理（クロマキー合成）し、現実の背景映像（パススルーバッファ）と合成するものである。

従来のVR動画は、完全な没入を強制するため、装着中の孤立感や、周囲の物理環境への接触リスクが課題となっていた。DeoVRは、Meta XR SDKのPassthrough APIを用いて、仮想空間の背景を透過（アルファチャネルをゼロに設定）し、最背面にOVRPassthroughLayerを配置することでこの問題を解消している。これにより、「自室の家具や空間がそのまま見えつつ、その場に演者が立っている」という極めて高い実在感と、周囲を確認できる精神的安心感を両立している。この実装は、単なる映像の透過に留まらず、ユーザーの視聴ハードルを下げてアプリの滞在時間を引き上げるという明確なビジネス成果に繋がっている。

ツール・実用アプリ：現実世界を計測・拡張する「MR Ruler」や生産性ツールの検証

また、空間計測ツールである「MR Ruler」では、デバイスに搭載されたToFセンサーとカラーパススルーを組み合わせることで、物理的なスケール感を損なわずに空間を測定するUXを提供している。

スマートフォンにおける単眼カメラのAR計測では、視差（パララックス）の計算限界から、奥行き方向の測定誤差が数センチメートル単位で発生することが避けられなかった。しかし、ビデオシースルー方式のMRデバイスでは、ステレオカメラによる正確な視差とToFセンサーによる直接的なデプス計測により、3D空間上の任意の2点間プロットをミリメートル精度で描画できる。さらに、平面検出API（Plane Detection）を利用して、現実の壁面やテーブルの天板に対して自動的に測定基準線をスナップさせることで、操作性を大幅に向上させている。

さらに、生産性向上を支援する「Immersed」や「vSpatial」といったバーチャルデスクトップアプリでも、パススルー機能は不可欠な要素となっている。これらのアプリでは、仮想のマルチディスプレイを展開しながら、手元の物理キーボードやマウス、あるいはノートなどの筆記用具をパススルーで視認できるようにする「パススルーポータル（部分透過）」機能を提供している。Meta Quest 3などの18 PPDを超える高精度なカラーパススルー品質により、ヘッドセットを外すことなく手元のテキストを読み取ることが可能になり、完全なVR環境に閉じ込められていたユーザーの作業環境を、現実とバーチャルが融合した真のハイブリッドワークスペースへと変貌させている。

次世代パススルーAR開発を成功に導く技術的チェックリストと実装の落とし穴回避策

3つの主要なボトルネック（3Dオクルージョン、歪み、バッテリー消費）の解決アプローチ

ビデオシースルー方式を採用するMeta Quest 3やApple Vision Proなどの空間コンピューティングデバイスにおいて、高度なMR体験を提供する際には、従来のVR開発にはなかった特有の課題が生じる。開発においてエンジニアが直面する3つの大きなボトルネックと、それぞれの具体的な解決アプローチは以下の通りである。

• 3Dオクルージョン（現実物によるデジタル物の遮蔽の不完全さ）
  • 課題：現実の手や部屋の家具などの物理オブジェクトの背後にデジタルオブジェクトが回り込んだ際、正しく遮蔽（隠蔽）されずに手前に描画されてしまう現象である。これが崩れると、ユーザーの空間認識に矛盾が生じ、没入感が著しく損なわれる。
  • 解決策：デバイスが搭載するToFセンサーやステレオカメラから得られる深度情報（Depth Map）をリアルタイムに取得し、シェーダー処理でデジタル描画をマスクする。Unityにおいては「Meta XR Depth API」をインポートし、深度ベースのオクルージョン機能を有効化する。手の輪郭部にはエッジ保存型フィルターを適用し、更新遅延を15ミリ秒以下に抑える実装が極めて有効である。
• カメラ歪みによるVR酔い（ディストーション）
  • 課題：ビデオシースルーは、カメラが捉えた実世界の映像をディスプレイに再投影（リプロジェクション）してユーザーに見せるため、物理的なカメラ位置とユーザーの実際の目の位置（IPD：瞳孔間距離）のズレから、映像の歪みや歪曲（ディストーション）が発生する。特に頭部を動かした際の遅延や歪みは、前庭感覚と視覚の不一致を引き起こし、深刻なVR酔いの原因となる。
  • 解決策：アプリの描画フレームレートをデバイスのディスプレイリフレッシュレート（推奨90Hz以上）に完全に同期させ、描画パイプラインの遅延（Motion-to-Photon Latency）を20ms以下に抑える必要がある。Unityでのパススルー実装においては、フォワードレンダリングを採用した上で、レンダリング負荷を軽減するために固定注視点レンダリング（Fixed Foveated Rendering: FFR）を「Level 2（Medium）」以上に設定し、周辺視野の描画解像度を意図的に下げるアプローチが推奨される。
• 描画負荷によるバッテリー消費
  • 課題：実世界のフルカラーパススルー映像を毎秒90フレームでキャプチャ・デコード・合成しながら、高精細な3Dグラフィックスを重ね合わせて描画するため、SoCへの負荷は極めて高い。最適化を怠ると、サーマルスロットリングによるフレームレートの低下が発生し、デバイスの連続稼働時間が1.5時間を下回る事態に陥るリスクがある。
  • 解決策：描画命令であるDraw Callを削減するため、マテリアルの結合（Static/Dynamic Batching）とGPUインスタンシングを徹底する。さらに、Unityの「XR General Settings」において、両目用の画像を1回のパスで描画する「Single Pass Instanced Rendering」を必須で有効化する。これにより、CPU側のオーバーヘッドが約40%削減され、描画負荷による消費電力を抑えることで、実稼働において2時間以上のバッテリー動作時間を確保できる。

開発者がデバッグ時に参照すべき最適化ベンチマークシート

空間コンピューティングのアプリケーション開発において、デバッグ時に達成すべきパフォーマンスの基準値を定義したベンチマークシートである。Meta Quest Developer HubやUnity Profilerを用いて、以下の数値をクリアしているかをビルドごとに実機で検証すべきである。

よくある質問（FAQ）

監修者プロフィール

近本 彰

大手ITコンサルティングファームにて企業のDX推進に従事。 その後、上場企業やスタートアップにてテクノロジーを活用した新規事業を複数立ち上げ。 現在はIT・テクノロジー系メディア「TechShift」を運営し、最新テクノロジーをわかりやすく解説している。