ステレオマッチング
【概要】
ステレオマッチングとは,視点の異なる2枚の画像の対応点のずれ(視差)から,被写体までの奥行きを求める手法である。キーワード: Depth Map(距離を画素の濃淡で示した画像), 視差, ブロックマッチング法, セミグローバルブロックマッチング法
【目次】
前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
ステレオ画像の準備
Middlebury の 2014 Stereo Datasets を使う(感謝)。同一シーンを左右2か所から撮影した画像の組が公開されている。
- 次のWebページを開く
- Playtable の右横の「Perf」をクリックする
- 2つの画像ファイル im0.png(左画像)と im1.png(右画像)を保存する。
以下では「D:\」(D: の直下)に保存したものとして説明する。
- ダウンロードした2つの画像ファイルを確認する
- 2つの画像の横方向の連結
Python プログラムを実行する。
hconcatで横方向に連結し,1つのオブジェクト g を作る。import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = cv2.hconcat([im0, im1]) cv2.imshow("hoge", g) cv2.waitKey(0) cv2.destroyAllWindows()
- 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)
このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる
- 2つの画像の横方向の連結と画像の縮小
元画像は横 2000 画素を超えるため,
resizeで 1/8 に縮小して表示する。「Python」で次を実行する。
import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = cv2.hconcat([im0, im1]) h, w = g.shape[:2] g2 = cv2.resize(g, (int(w/8), int(h/8))) cv2.imshow("hoge3", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)
このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる
- 2つのカラー画像の差の絶対値と画像の縮小
画素値は 8 ビット符号なし整数のため,
im0 - im1では負の値が折り返して正しい差にならない。差の絶対値には cv2.absdiff を使う。「Python」で次を実行する。
import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = cv2.absdiff(im0, im1) h, w = g.shape[:2] g2 = cv2.resize(g, (int(w/8), int(h/8))) cv2.imshow("hoge4", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)
カラー画像どうしの差の絶対値なので,結果もカラー画像である。手前にある物体ほど左右の画像でのずれが大きく,差が大きく現れる。
このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる
Depth Map
Depth Map とは,距離を画素の濃淡で示した画像である。以下では視差を濃淡に変換して表示するので,
- 視差が大きい(近い)ものは白
- 視差が小さい(遠い)ものは黒
となる。
OpenCV の compute が返す視差は,実際の視差を 16 倍した 16 ビット整数である。実際の視差を得るには 16.0 で割る。対応点が求まらなかった画素には負の値が入る。
ブロックマッチング (Block Matching) 法による Depth Map の生成
numDisparities(視差の探索範囲)は 16 の倍数,blockSize(照合するブロックの一辺)は 5 以上の奇数を指定する。
「Python」で次を実行する。
import cv2
import numpy as np
im0 = cv2.imread("D:/im0.png")
im1 = cv2.imread("D:/im1.png")
mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY)
mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY)
stereo = cv2.StereoBM_create(numDisparities=256, blockSize=15)
disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0
map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
h, w = map.shape[:2]
g2 = cv2.resize(map, (int(w/4), int(h/4)))
cv2.imshow("hoge5", g2)
cv2.waitKey(0)
cv2.destroyAllWindows()
表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)
模様の少ない面や,片方の画像にしか写っていない部分(オクルージョン)では対応点が求まらず,黒い領域として残る。numDisparities を被写体の視差より大きく,blockSize を大きくすると,欠損は減るが細部がぼける。
このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる
セミグローバルブロックマッチング (Semi Global Block Matching) 法による Depth Map の生成
セミグローバルブロックマッチング法は,ブロックどうしの一致度に加えて,視差の滑らかさの拘束(P1, P2)を複数方向から集約する。ブロックマッチング法よりも欠損が少ない結果が得られる。blockSize は奇数を指定する。
「Python」で次を実行する。
import cv2
import numpy as np
im0 = cv2.imread("D:/im0.png")
im1 = cv2.imread("D:/im1.png")
mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY)
mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY)
b = 5
stereo = cv2.StereoSGBM_create(
minDisparity=0, numDisparities=256, blockSize=b,
P1=8 * b * b, P2=32 * b * b,
disp12MaxDiff=1, uniquenessRatio=10,
speckleWindowSize=100, speckleRange=32)
disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0
map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
h, w = map.shape[:2]
g2 = cv2.resize(map, (int(w/4), int(h/4)))
cv2.imshow("hoge9", g2)
cv2.waitKey(0)
cv2.destroyAllWindows()
表示された画面を確認する。(別のウインドウの陰になっていることがあるので探す)
ブロックマッチング法の結果と見比べて,欠損領域の違いを確認する。
このあと,右上の「x」をクリックしない。画面の中をクリックしてから,何かのキーを押して閉じる
side by side 形式の動画ファイル
side by side 形式とは,左目用と右目用の映像を1フレームの左半分と右半分に並べて記録した立体視用の形式である。左右に分割すれば,ステレオ画像の組として扱える。
- 次のWebページを開く
- 「Voyager S3D」の「side-by-side」をクリックし,zip ファイルをダウンロードする
- zip ファイルを展開し,中の Voyager_3D_sbs.wmv を「D:\」(D: の直下)に置く
- 1/4倍に縮小して再生する
「Python」で次を実行する。 OpenCV による動画表示を行う。
import cv2 v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv") while(v.isOpened()): r, f = v.read() if ( r == False ): break h, w = f.shape[:2] g2 = cv2.resize(f, (int(w/4), int(h/4))) cv2.imshow("", g2) # Press Q to exit if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
- 結果を確認する
途中で止めたいとき,右上の「x」をクリックしない。画面の中をクリックしてから,「q」のキーを押して閉じる
- セミグローバルブロックマッチング (Semi Global Block Matching) 法による Depth Map の生成
各フレームを左半分(im0)と右半分(im1)に分割して処理する。マッチングの設定はフレームごとに変わらないため,StereoSGBM のオブジェクトはループの外で1回だけ作る。
「Python」で次を実行する。
import cv2 import numpy as np b = 5 stereo = cv2.StereoSGBM_create( minDisparity=0, numDisparities=64, blockSize=b, P1=8 * b * b, P2=32 * b * b, disp12MaxDiff=1, uniquenessRatio=10, speckleWindowSize=100, speckleRange=32) v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv") while(v.isOpened()): r, f = v.read() if ( r == False ): break h, w = f.shape[:2] im0 = f[0:h, 0:int(w/2)] im1 = f[0:h, int(w/2):w] mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY) mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) disparity = stereo.compute(mono0, mono1).astype(np.float32) / 16.0 map = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8) h, w = map.shape[:2] g2 = cv2.resize(map, (int(w/4), int(h/4))) cv2.imshow("", g2) # Press Q to exit if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
- 結果を確認する
途中で止めたいとき,右上の「x」をクリックしない。画面の中をクリックしてから,「q」のキーを押して閉じる