ステレオマッチング
MeshLab とは, ステレオ画像から,奥行き情報を取り出す.
キーワード: Depth Map
前準備
Python 3.10 のインストール(Windows 上)
Pythonは,プログラミング言語の1つ.
【手順】
- Windows で,コマンドプロンプトを管理者権限で起動する(例:Windowsキーを押し,「cmd」と入力し,「管理者として実行」を選択)
- 次のコマンドを実行
次のコマンドは,Python ランチャーとPython 3.10をインストールする.
【関連する外部ページ】
- Python の公式ページ: https://www.python.org/
【サイト内の関連ページ】
【関連項目】 Python
前準備として,ステレオ画像を準備
- 次のWebページを使う(感謝)
- Playtableの右横の「
Perf」をクリック - 2つの画像ファイル im0.png と im1.png を分かりやすいディレクトリに保存する.
* 以下「D:\」 (D: の直下) に保存したものとして説明を続ける.
- ダウンロードした 2つの画像ファイルを確認
- Python プログラムの実行
- 2つの画像の横方向の連結
横方向に連結して,1つのオブジェクト gを作っている.
import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = cv2.hconcat([im0, im1]) cv2.imshow("hoge", g) cv2.waitKey(0) cv2.destroyAllWindows()
- 巨大な画面が表示されるので確認.(別のウインドウの陰になっているかもしれないので探す).
このあと,右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる
- 2つの画像の横方向の連結と画像の縮小
resize で縮小している.
「Python」で次を実行.
import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = cv2.hconcat([im0, im1]) h, w = g.shape[:2] g2 = cv2.resize(g, (int(w/8), int(h/8))) cv2.imshow("hoge3", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 画面が表示されるので確認.(別のウインドウの陰になっているかもしれないので探す).
このあと,右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる
- 2つのカラー画像の差(RGB成分の差)の絶対値と画像の縮小
「Python」で次を実行.
import cv2 im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") g = abs(im0 - im1) h, w = g.shape[:2] g2 = cv2.resize(g, (int(w/8), int(h/8))) cv2.imshow("hoge4", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 画面が表示されるので確認.(別のウインドウの陰になっているかもしれないので探す).
2つのカラー画像の差の絶対値なので,結果もカラー画像
こうして表示してみると,確かに,画像がずれていることが確認できる.
このあと,右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる
Depth Map
「
Depth Map」とは 距離を画素の濃淡で示したもの.以下の実習では - 近いものは白
- 遠いものは黒
で表示する.
ブロックマッチング (Block Matching) 法による DepthMap の生成
「Python」で次を実行.
import cv2 import numpy as np im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY) mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) stereo = cv2.StereoBM_create(numDisparities=256, blockSize=15) disparity = stereo.compute(mono0, mono1) map = ( disparity - np.min(disparity) ) / ( np.max(disparity) - np.min(disparity) ) h, w = map.shape[:2] g2 = cv2.resize(map, (int(w/4), int(h/4))) cv2.imshow("hoge5", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 画面が表示されるので確認.(別のウインドウの陰になっているかもしれないので探す).
結果をみると,あまり,うまくいっていない.
このあと,右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる
セミグローバルブロックマッチング (Semi Global Block Matching) 法による DepthMap の生成
「Python」で次を実行.
import cv2 import numpy as np im0 = cv2.imread("D:/im0.png") im1 = cv2.imread("D:/im1.png") mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY) mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) stereo = cv2.StereoSGBM_create(minDisparity = 10, numDisparities=256, blockSize=22) disparity = stereo.compute(mono0, mono1) map = ( disparity - np.min(disparity) ) / ( np.max(disparity) - np.min(disparity) ) h, w = map.shape[:2] g2 = cv2.resize(map, (int(w/4), int(h/4))) cv2.imshow("hoge9", g2) cv2.waitKey(0) cv2.destroyAllWindows()
- 画面が表示されるので確認.(別のウインドウの陰になっているかもしれないので探す).
結果をみると,あまり,うまくいっていない.
このあと,右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる
- 2つの画像ファイル im0.png と im1.png を分かりやすいディレクトリに保存する.
youtube で配布されている side by side 形式動画ファイル
- 次のWebページを開く
- Voyager_3d_sbs.wmv をダウンロード
- 1/4倍に縮小+再生
「Python」で次を実行.
OpenCV による動画表示を行う.
import cv2 v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv") while(v.isOpened()): r, f = v.read() if ( r == False ): break h, w = f.shape[:2] g2 = cv2.resize(f, (int(w/4), int(h/4))) cv2.imshow("", g2) # Press Q to exit if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
- 結果を確認する
途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
- セミグローバルブロックマッチング (Semi Global Block Matching) 法による DepthMap の生成
「Python」で次を実行.
import cv2 import numpy as np v = cv2.VideoCapture("D:/Voyager_3D_sbs.wmv") while(v.isOpened()): r, f = v.read() if ( r == False ): break h, w = f.shape[:2] im0 = f[0:h, 0:int(w/2), 0:3] im1 = f[0:h, int(w/2):w, 0:3] mono0 = cv2.cvtColor(im0, cv2.COLOR_BGR2GRAY) mono1 = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) stereo = cv2.StereoSGBM_create(minDisparity = 5, numDisparities=16, blockSize=10) disparity = stereo.compute(mono0, mono1) map = ( disparity - np.min(disparity) ) / ( np.max(disparity) - np.min(disparity) ) h, w = map.shape[:2] g2 = cv2.resize(map, (int(w/4), int(h/4))) cv2.imshow("", g2) # Press Q to exit if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
- 結果を確認する
途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる