ステレオマッチング

【概要】

ステレオマッチングとは,視点の異なる2枚の画像の対応点のずれ(視差)から,被写体までの奥行きを求める手法である。

キーワード: Depth Map(距離を画素の濃淡で示した画像), 視差, ブロックマッチング法, セミグローバルブロックマッチング法

【目次】

前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

ステレオ画像の準備

Middlebury の 2014 Stereo Datasets を使う(感謝)。同一シーンを左右2か所から撮影した画像の組が公開されている。

  1. 次のWebページを開く

    https://vision.middlebury.edu/stereo/data/scenes2014/

  2. Playtable の右横の「Perf」をクリックする
  3. 2つの画像ファイル im0.png(左画像)と im1.png(右画像)を保存する。

    以下では「D:\」(D: の直下)に保存したものとして説明する。

  4. ダウンロードした2つの画像ファイルを確認する
  5. 2つの画像の横方向の連結

    Python プログラムを実行する。hconcat で横方向に連結し,1つのオブジェクト g を作る。

    import cv2
    im0 = cv2.imread("D:/im0.png")
    im1 = cv2.imread("D:/im1.png")
    g = cv2.hconcat([im0, im1])
    cv2.imshow("hoge", g)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    
  6. 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)

    このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる

  7. 2つの画像の横方向の連結と画像の縮小

    元画像は横 2000 画素を超えるため,resize で 1/8 に縮小して表示する。

    「Python」で次を実行する。

    import cv2
    im0 = cv2.imread("D:/im0.png")
    im1 = cv2.imread("D:/im1.png")
    g = cv2.hconcat([im0, im1])
    h, w = g.shape[:2]
    g2 = cv2.resize(g, (int(w/8), int(h/8)))
    cv2.imshow("hoge3", g2)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    
  8. 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)

    このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる

  9. 2つのカラー画像の差の絶対値と画像の縮小

    画素値は 8 ビット符号なし整数のため,im0 - im1 では負の値が折り返して正しい差にならない。差の絶対値には cv2.absdiff を使う。

    「Python」で次を実行する。

    import cv2
    im0 = cv2.imread("D:/im0.png")
    im1 = cv2.imread("D:/im1.png")
    g = cv2.absdiff(im0, im1)
    h, w = g.shape[:2]
    g2 = cv2.resize(g, (int(w/8), int(h/8)))
    cv2.imshow("hoge4", g2)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    
  10. 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)

    カラー画像どうしの差の絶対値なので,結果もカラー画像である。手前にある物体ほど左右の画像でのずれが大きく,差が大きく現れる。

    このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる

Depth Map

Depth Map とは,距離を画素の濃淡で示した画像である。以下では視差を濃淡に変換して表示するので,

となる。

OpenCV の compute が返す視差は,実際の視差を 16 倍した 16 ビット整数である。実際の視差を得るには 16.0 で割る。対応点が求まらなかった画素には負の値が入る。

ブロックマッチング (Block Matching) 法による Depth Map の生成

numDisparities(視差の探索範囲)は 16 の倍数,blockSize(照合するブロックの一辺)は 5 以上の奇数を指定する。

「Python」で次を実行する。

import cv2
import numpy as np
im0 = cv2.imread("D:/im0.png")
im1 = cv2.imread("D:/im1.png")
mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY)
mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY)
stereo = cv2.StereoBM_create(numDisparities=256, blockSize=15)
disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0
map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
h, w = map.shape[:2]
g2 = cv2.resize(map, (int(w/4), int(h/4)))
cv2.imshow("hoge5", g2)
cv2.waitKey(0)
cv2.destroyAllWindows()

表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)

模様の少ない面や,片方の画像にしか写っていない部分(オクルージョン)では対応点が求まらず,黒い領域として残る。numDisparities を被写体の視差より大きく,blockSize を大きくすると,欠損は減るが細部がぼける。

このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる

セミグローバルブロックマッチング (Semi Global Block Matching) 法による Depth Map の生成

セミグローバルブロックマッチング法は,ブロックどうしの一致度に加えて,視差の滑らかさの拘束(P1, P2)を複数方向から集約する。ブロックマッチング法よりも欠損が少ない結果が得られる。blockSize は奇数を指定する。

「Python」で次を実行する。

import cv2
import numpy as np
im0 = cv2.imread("D:/im0.png")
im1 = cv2.imread("D:/im1.png")
mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY)
mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY)
b = 5
stereo = cv2.StereoSGBM_create(
    minDisparity=0, numDisparities=256, blockSize=b,
    P1=8 * b * b, P2=32 * b * b,
    disp12MaxDiff=1, uniquenessRatio=10,
    speckleWindowSize=100, speckleRange=32)
disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0
map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
h, w = map.shape[:2]
g2 = cv2.resize(map, (int(w/4), int(h/4)))
cv2.imshow("hoge9", g2)
cv2.waitKey(0)
cv2.destroyAllWindows()

表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)

ブロックマッチング法の結果と見比べて,欠損領域の違いを確認する。

このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる

side by side 形式の動画ファイル

side by side 形式とは,左目用と右目用の映像を1フレームの左半分と右半分に並べて記録した立体視用の形式である。左右に分割すれば,ステレオ画像の組として扱える。

  1. 次のWebページを開く

    http://www.dreamscene.org/s3dvideo.php?Cmd=Show&site=all

  2. 「Voyager S3D」の「side-by-side」をクリックし,zip ファイルをダウンロードする
  3. zip ファイルを展開し,中の Voyager_3D_sbs.wmv を「D:\」(D: の直下)に置く
  4. 1/4倍に縮小して再生する

    「Python」で次を実行する。 OpenCV による動画表示を行う。

    import cv2
    v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv")
    while(v.isOpened()):
        r, f = v.read()
        if ( r == False ):
            break
        h, w = f.shape[:2]
        g2 = cv2.resize(f, (int(w/4), int(h/4)))
        cv2.imshow("", g2)
        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    
  5. 結果を確認する

    途中で止めたいとき,右上の「x」をクリックしない。画面の中をクリックしてから,「q」のキーを押して閉じる

  6. セミグローバルブロックマッチング (Semi Global Block Matching) 法による Depth Map の生成

    各フレームを左半分(im0)と右半分(im1)に分割して処理する。マッチングの設定はフレームごとに変わらないため,StereoSGBM のオブジェクトはループの外で1回だけ作る。

    「Python」で次を実行する。

    import cv2
    import numpy as np
    b = 5
    stereo = cv2.StereoSGBM_create(
        minDisparity=0, numDisparities=64, blockSize=b,
        P1=8 * b * b, P2=32 * b * b,
        disp12MaxDiff=1, uniquenessRatio=10,
        speckleWindowSize=100, speckleRange=32)
    v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv")
    while(v.isOpened()):
        r, f = v.read()
        if ( r == False ):
            break
        h, w = f.shape[:2]
        im0 = f[0:h, 0:int(w/2)]
        im1 = f[0:h, int(w/2):w]
        mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY)
        mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY)
        disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0
        map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
        h, w = map.shape[:2]
        g2 = cv2.resize(map, (int(w/4), int(h/4)))
        cv2.imshow("", g2)
        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    
  7. 結果を確認する

    途中で止めたいとき,右上の「x」をクリックしない。画面の中をクリックしてから,「q」のキーを押して閉じる