AI技術を用いたステレオ画像からの深度推定と特徴点マッチングによる奥行き推定

【概要】

本ページでは、従来の古典的アルゴリズム（ブロックマッチング等）を完全に凌駕する、最新のAI・深層学習技術を用いたステレオ画像解析手法について解説します。 画像全体の緻密な距離情報を生成する「密な深度推定（CREStereo）」と、2枚の画像間で正確に対応点を結びカメラ姿勢や特徴点深度を割り出す「疎な特徴点マッチングによる奥行き推定（LightGlue）」の2つのアプローチを、すぐに手元で実行可能なPythonコードと共に紹介します。

【目次】

【関連する外部ページ】

【サイト内の関連情報】

第1章 前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

方法 2：インストーラーによるインストール

  1. Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．

  1. コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（Ctrl+Shift+P）
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から，使用する Python（例：C:\Program Files\Python312\python.exe）を選択する．

Python プログラム実行手順

[Windows での Python プログラム実行手順を見るには、ここをクリック]

Windows での Python 実行手順（Visual Studio Codeを使用）

プログラムファイルの作成と保存

  1. 左サイドバーの「エクスプローラー」アイコン（Ctrl+Shift+E）をクリックする
  2. 「NO FOLDER OPENED」（作業対象フォルダが未選択の状態）と表示される場合は，「Open Folder」をクリックし，プログラムを保存するフォルダを選択する

    続いて「フォルダを信用するか」を確認する画面（フォルダ内のコードを実行してよいか確認する VS Code の仕組み）が表示されるので，チェックして Yes を選択する

  3. フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
  4. ファイル名（例：aitask.py．ファイル名は何でも良い）を入力し Enter を押す．拡張子は .py（Python ファイルを示す拡張子）とする
  5. 実行したいコードを選択し，Ctrl+C でコピーする．VS Code のエディタ領域に Ctrl+V で貼り付ける
  6. Ctrl+S で保存する

プログラムの実行

  1. エディタ右上の三角形「▷」アイコン（Run Python File：現在開いている Python ファイルを実行するボタン）をクリックする．または，エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
  2. VS Code 下部のターミナル（コマンドの入出力を表示する画面）に，実行結果（print 関数の出力等）が表示される
  3. tkinter（Python 標準の GUI ライブラリ）のファイル選択ダイアログを使うプログラムを実行した場合は，ダイアログが開くので対象画像を選択する
  4. VS Code 下部のターミナルで実行結果を確認する．OpenCV ウィンドウ（OpenCV が画像を表示するために開く専用ウィンドウ）が開いた場合はそちらも確認する．OpenCV ウィンドウは，マウスクリックでウィンドウをアクティブ（操作対象の状態）にしてからキーを押すと終了する

必要なPythonライブラリのインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

以下のコマンドを実行し、本演習に必要なAI推論ライブラリおよび画像処理パッケージをインストールします。

pip install -U --no-user opencv-python onnxruntime torch torchvision lightglue requests

第2章 AIによる密な深度推定（CREStereo ONNX版）の実装

従来の古典的ブロックマッチング（SGBMなど）は、テクスチャの乏しい領域（のっぺりした壁など）や複雑な境界部分で視差計算が破綻する課題がありました。 最新のステレオマッチングネットワークであるCREStereo (Cascaded Recurrent Bilateral Consensus)は、再帰的な双方向コンセンサスアップデートを用いることで、ノイズや遮蔽領域（オクルージョン）に対しても極めてロバストで精細な視差マップを生成できます。

ここでは、高価なGPU環境や複雑なビルド手順を必要とせず、CPUでも高速に動作するONNX Runtimeを用いた単体実行スクリプトを提供します。実行すると、自動的にOpenCV公式のサンプル画像（aloe）と軽量化された学習済みONNXモデルをダウンロードし、高精度な深度推定結果を表示・保存します。 

import os
import urllib.request
import cv2
import numpy as np
import onnxruntime as ort

def download_file(url, filepath):
    if not os.path.exists(filepath):
        print(f"Downloading {url}...")
        urllib.request.urlretrieve(url, filepath)

# 1. サンプル画像と事前学習済みONNXモデルのダウンロード
img_L_url = "[https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeL.jpg](https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeL.jpg)"
img_R_url = "[https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeR.jpg](https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeR.jpg)"
# CREStereoの軽量モデル（モデルサイズ削減版）を使用
model_url = "[https://github.com/PINTO0309/PINTO_model_zoo/raw/main/271_CREStereo/resources/crestereo_combined_240x320.onnx](https://github.com/PINTO0309/PINTO_model_zoo/raw/main/271_CREStereo/resources/crestereo_combined_240x320.onnx)"

download_file(img_L_url, "aloeL.jpg")
download_file(img_R_url, "aloeR.jpg")
download_file(model_url, "crestereo_combined_240x320.onnx")

# 2. 画像の読み込みとモデル入力サイズ（240x320）への適合
imgL = cv2.imread("aloeL.jpg")
imgR = cv2.imread("aloeR.jpg")

h, w = 240, 320
imgL_resized = cv2.resize(imgL, (w, h))
imgR_resized = cv2.resize(imgR, (w, h))

# BGRからRGBへ変換し、[0, 1]に正規化
imgL_rgb = cv2.cvtColor(imgL_resized, cv2.COLOR_BGR2RGB)
imgR_rgb = cv2.cvtColor(imgR_resized, cv2.COLOR_BGR2RGB)

# チャンネル順を [H, W, C] から [C, H, W] へ変更
input_L = imgL_rgb.transpose(2, 0, 1).astype(np.float32) / 255.0
input_R = imgR_rgb.transpose(2, 0, 1).astype(np.float32) / 255.0

# 左右画像をバッチとしてスタックし、モデル入力形状 [1, 2, 3, H, W] に整形
input_tensor = np.stack([input_L, input_R], axis=0)
input_tensor = np.expand_dims(input_tensor, axis=0)

# 3. ONNX Runtime セッションの開始と推論実行
session = ort.InferenceSession("crestereo_combined_240x320.onnx", providers=['CPUExecutionProvider'])
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name

print("Computing disparity map using CREStereo AI model...")
outputs = session.run([output_name], {input_name: input_tensor})
disparity = outputs[0][0]  # 推論結果の視差マップ（Disparity）を取り出し

# 4. 視差マップのカラー表現への変換と表示・保存
disparity_normalized = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX)
disparity_colormap = cv2.applyColorMap(disparity_normalized.astype(np.uint8), cv2.COLORMAP_JET)

# 出力サイズを元の画像サイズに復元して保存
result = cv2.resize(disparity_colormap, (imgL.shape[1], imgL.shape[0]))
cv2.imwrite("disparity_ai.png", result)

print("Saved disparity map to disparity_ai.png")
cv2.imshow("AI Disparity Map", result)
cv2.waitKey(0)
cv2.destroyAllWindows()

第3章 AIによる特徴点マッチング（LightGlue版）と奥行き推定の実装

ステレオビジョンにおいて、2枚の画像の間で正確に同じ物体・地点の「ピクセル同士の対応関係」を結ぶことは、3次元復元や特定のキーポイントの奥行きを推定するための極めて重要なプロセスです。 従来の幾何学的アプローチ（ROC/RIPOCなど）や初期のCNN手法は、カメラの視点角度や光の当たり方が変化するとミスマッチが多発する弱点がありました。

LightGlueは、アテンション（注意機構）ネットワークをベースにした特徴点マッチングの最新モデルです。対応点探索プロセスを適応的に早期終了させる仕組みを備えており、極めて高速かつ人間レベルの正確さで、照明変動や視点の歪み、遮蔽に負けない高精度な特徴点マッチングを行います。

以下に示すスクリプトは、LightGlueを用いて左右画像間のキーポイントを紐付け、それらの対応関係からエッセンシャル行列（対応点の幾何学的な位置関係の整合性を示す行列）を算出して、左右カメラの相対的な回転（R）と並進（t）からなる3次元の相対姿勢関係を復元します。これは、対応させた各特徴点の厳密な空間的奥行き（3次元座標）を三角測量で算出するためのダイレクトな基礎となるプロセスです。 

import os
import urllib.request
import cv2
import torch
import numpy as np

# 1. サンプル画像のダウンロード
img_L_url = "[https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeL.jpg](https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeL.jpg)"
img_R_url = "[https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeR.jpg](https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeR.jpg)"

if not os.path.exists("aloeL.jpg"):
    urllib.request.urlretrieve(img_L_url, "aloeL.jpg")
if not os.path.exists("aloeR.jpg"):
    urllib.request.urlretrieve(img_R_url, "aloeR.jpg")

# LightGlueパッケージから必要なモジュールをロード
from lightglue import LightGlue, SuperPoint
from lightglue.utils import load_image

# 2. 推論デバイスの設定とモデルのロード
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f"Using device: {device}")

# 特徴抽出にSuperPoint、マッチングにLightGlueを使用
extractor = SuperPoint(max_num_keypoints=1024).eval().to(device)
matcher = LightGlue(features='superpoint').eval().to(device)

# 3. 画像の読み込みと特徴抽出・マッチング処理
image0 = load_image('aloeL.jpg').to(device)
image1 = load_image('aloeR.jpg').to(device)

print("Extracting features and matching using LightGlue...")
feats0 = extractor(image0)
feats1 = extractor(image1)
matches01 = matcher({'image0': feats0, 'image1': feats1})

# 4. マッチングに成功したキーポイントの座標配列を取得
kpts0, kpts1 = feats0['keypoints'], feats1['keypoints']
matches = matches01['matches']
m_kpts0, m_kpts1 = kpts0[matches[..., 0]], kpts1[matches[..., 1]]

pts0 = m_kpts0.cpu().numpy()
pts1 = m_kpts1.cpu().numpy()

# 5. カメラ姿勢（回転R、並進t）の推定による3D奥行き情報の基礎計算
h, w, _ = cv2.imread('aloeL.jpg').shape
f = 1.0 * w  # 焦点距離を画像横幅から概算
K_matrix = np.array([[f, 0, w/2],
                     [0, f, h/2],
                     [0, 0, 1]])

# 2画像間のエッセンシャル行列を推定し、カメラの3次元的姿勢（移動と傾き）を復元
E, mask = cv2.findEssentialMat(pts0, pts1, K_matrix, method=cv2.RANSAC, prob=0.999, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts0, pts1, K_matrix, mask=mask)

print("\n--- Estimated Camera Pose (Relative to Left Camera) ---")
print("Rotation Matrix (R):\n", R)
print("Translation Vector (t):\n", t)

# 6. 対応点の可視化画像の作成と保存
img0 = cv2.imread('aloeL.jpg')
img1 = cv2.imread('aloeR.jpg')

# 上位50個の特徴点ペアのみを直線で結んで可視化
draw_matches = []
for i in range(min(50, len(pts0))):
    pt0 = tuple(pts0[i].astype(int))
    pt1 = tuple(pts1[i].astype(int))
    draw_matches.append((pt0, pt1))

combined_img = np.hstack((img0, img1))
for pt0, pt1 in draw_matches:
    # 右側画像のX座標を幅分だけオフセットして直線を引く
    cv2.line(combined_img, pt0, (pt1[0] + w, pt1[1]), (0, 255, 0), 1)
    cv2.circle(combined_img, pt0, 3, (0, 0, 255), -1)
    cv2.circle(combined_img, (pt1[0] + w, pt1[1]), 3, (0, 0, 255), -1)

cv2.imwrite("lightglue_matches.png", combined_img)
print("Saved matching visualization to lightglue_matches.png")

cv2.imshow("LightGlue Matches", combined_img)
cv2.waitKey(0)
cv2.destroyAllWindows()