カメラのステレオマッチング（OpenCV，Python を使用）

1. エグゼクティブサマリー

2台のビデオカメラと OpenCV（Python）を使用し，ステレオマッチングによる視差画像を生成する方法を扱う．

処理は3段階で構成される．2台のカメラからリアルタイムに画像を取得・表示し，PhaseCorrelate でステレオ画像間の平行移動量を推定して位置合わせを行い，StereoSGBM で視差画像を生成する．視差画像にはカラーマップを適用し，視差の大小を直感的に把握できるようにしている．

2. 前準備（必要ソフトウェアの入手）

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.htmlで詳しく解説しているので、必要に応じて参照してください。

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

python --version

winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"

Python の OpenCV ライブラリのインストール [クリックして展開]

管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

python -m pip install -U opencv-python opencv-contrib-python

3. 実行のための準備とその確認手順（Windows 前提）

3.1 プログラムファイルの準備

第5章に掲載するソースコードをテキストエディタ（メモ帳，Windsurf 等）に貼り付け，それぞれ camera_display.py，phase_correlate.py，stereo_matching.py として保存する（文字コード：UTF-8）．

3.2 実行コマンド

コマンドプロンプトでファイルの保存先ディレクトリに移動し，以下を実行する．

python camera_display.py

python phase_correlate.py

python stereo_matching.py

3.3 動作確認チェックリスト

4. 概要・使い方・実行上の注意

各プログラムのソースコードは第5章に掲載している．

4.1 ハードウェアの準備

パソコンに接続できるビデオカメラ2台を準備し，パソコンに接続しておく．

4.2 カメラ画像の表示

OpenCV による動画表示を行う．2台のカメラから取得した画像を個別のウィンドウに表示するとともに，左右の画像を横に並べたウィンドウも表示する．

4.3 PhaseCorrelate を用いたステレオ画像の位置合わせ

ステレオ画像のうち1枚を，平行移動により位置合わせする．PhaseCorrelate で2枚のグレースケール画像間の平行移動量を推定し，warpAffine でカメラ0の画像を移動する．

4.4 ステレオマッチングによる視差画像の生成

OpenCV による動画表示を行う．位置合わせ後の画像に対し StereoSGBM でステレオマッチングを実行し，視差画像を生成する．視差画像にはカラーマップ（JET）を適用して表示する．

4.5 プログラムの終了方法

* 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

5. ソースコード

5.1 カメラ画像の表示

Python プログラムとして実行する．

import cv2

v0 = cv2.VideoCapture(0)
v1 = cv2.VideoCapture(1)
while True:
    r0, bgr0 = v0.read()
    r1, bgr1 = v1.read()
    cv2.imshow("0", bgr0)
    cv2.imshow("1", bgr1)
    combined = cv2.hconcat([bgr0, bgr1])
    cv2.imshow("stereo", combined)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v0.release()
v1.release()
cv2.destroyAllWindows()

5.2 PhaseCorrelate を用いたステレオ画像の位置合わせ

import cv2
import numpy as np

v0 = cv2.VideoCapture(0)
v1 = cv2.VideoCapture(1)
while True:
    r0, bgr0 = v0.read()
    r1, bgr1 = v1.read()
    mono0 = cv2.cvtColor(bgr0, cv2.COLOR_BGR2GRAY)
    mono1 = cv2.cvtColor(bgr1, cv2.COLOR_BGR2GRAY)
    f0 = mono0.astype(np.float32)
    f1 = mono1.astype(np.float32)
    dxdy, response = cv2.phaseCorrelate(f0, f1)
    print(dxdy[0], dxdy[1])
    bgr0after = cv2.warpAffine(bgr0, np.float32([[1, 0, dxdy[0]], [0, 1, dxdy[1]]]), (f0.shape[1], f0.shape[0]))
    cv2.imshow("bgr0", bgr0)
    cv2.imshow("bgr1", bgr1)
    cv2.imshow("bgr0after", bgr0after)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v0.release()
v1.release()
cv2.destroyAllWindows()

5.3 ステレオマッチングによる視差画像の生成

import cv2
import numpy as np

v0 = cv2.VideoCapture(0)
v1 = cv2.VideoCapture(1)
window_size = 3
min_disp = 16
num_disp = 112 - min_disp
stereo = cv2.StereoSGBM_create(minDisparity=min_disp,
    numDisparities=num_disp,
    blockSize=8,
    P1=8 * 3 * window_size ** 2,
    P2=32 * 3 * window_size ** 2,
    disp12MaxDiff=1,
    uniquenessRatio=10,
    speckleWindowSize=200,
    speckleRange=1
)
while True:
    r0, bgr0 = v0.read()
    r1, bgr1 = v1.read()
    mono0 = cv2.cvtColor(bgr0, cv2.COLOR_BGR2GRAY)
    mono1 = cv2.cvtColor(bgr1, cv2.COLOR_BGR2GRAY)
    f0 = mono0.astype(np.float32)
    f1 = mono1.astype(np.float32)
    dxdy, response = cv2.phaseCorrelate(f0, f1)
    print(dxdy[0], dxdy[1])
    mono0after = cv2.warpAffine(mono0, np.float32([[1, 0, dxdy[0]], [0, 1, dxdy[1]]]), (mono0.shape[1], mono0.shape[0]))
    disparity = stereo.compute(mono0after, mono1).astype(np.float32) / 16.0
    disp_vis = ((disparity - min_disp) / num_disp * 255).clip(0, 255).astype(np.uint8)
    disp_color = cv2.applyColorMap(disp_vis, cv2.COLORMAP_JET)
    cv2.imshow("bgr0", bgr0)
    cv2.imshow("bgr1", bgr1)
    cv2.imshow("disparity", disp_color)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v0.release()
v1.release()
cv2.destroyAllWindows()

6. まとめ

6.1 ステレオカメラによる画像取得

2台のビデオカメラをパソコンに接続し，OpenCV の VideoCapture でリアルタイムに画像を取得する．左右の画像を横に並べて表示することで，カメラの配置状態を確認できる．

6.2 PhaseCorrelate による位置合わせ

PhaseCorrelate でステレオ画像間の平行移動量を推定し，warpAffine で一方の画像を平行移動して位置合わせを行う．

6.3 StereoSGBM によるステレオマッチング

位置合わせ後のグレースケール画像に対し StereoSGBM でステレオマッチングを実行し，視差画像を生成する．

6.4 視差画像のカラーマップ表示

視差画像に applyColorMap で JET カラーマップを適用することで，視差の大小をグレースケールよりも直感的に把握できる．

6.5 プログラムの終了操作

プログラムを終了するときは，右上の「x」をクリックせず，画面の中をクリックしてから「q」キーを押す．