ArtyZiff35/3D_Reconstruction_From_Stereo_Images のインストールとステレオ画像からの３次元モデルの生成（ステレオ画像，深度マップ，色付き３次元点群）（Python を使用）（Windows 上）

ArtyZiff35/3D_Reconstruction_From_Stereo_Images をインストールする．これは，ステレオ画像についての画像補正，ステレオマッチング，視差マップ (disparity map)，深度マップ (depth map)，カラーの３次元点群の生成を行う．

1. 前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( echo [エラー] Python 3.12 のインストールに失敗しました & pause )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映（システムPATHを再取得して連結）
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( echo [エラー] pip / wheel の更新に失敗しました & pause )

方法 2：インストーラーによるインストール

Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Git のインストール

管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

2. ArtyZiff35/3D_Reconstruction_From_Stereo_Images のインストール

以下の手順を管理者権限のコマンドプロンプトで実行する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

pip の更新と，ArtyZiff35/3D_Reconstruction_From_Stereo_Images のインストール

* 「 python -m pip install ...」は，Pythonのライブラリをインストールするためのコマンドである．

python -m pip install -U --ignore-installed pip
pip install -U matplotlib seaborn plyfile open3d
cd /d c:%HOMEPATH%
rmdir /s /q 3D_Reconstruction_From_Stereo_Images
git clone --recursive https://github.com/ArtyZiff35/3D_Reconstruction_From_Stereo_Images
cd 3D_Reconstruction_From_Stereo_Images

ソースコード src\RealDepth.py の書き換え（２か所）

cd /d c:%HOMEPATH%
cd 3D_Reconstruction_From_Stereo_Images
notepad src\RealDepth.py

ソースコード src\master.py の書き換え（１か所）

src\master.py を実行することにより動作確認する

実行の前に，ディレクトリの作成，所定のディレクトリに所定の画像を置くなどの作業を行う．

cd /d c:%HOMEPATH%
cd 3D_Reconstruction_From_Stereo_Images
mkdir remap
mkdir remap\remapped
mkdir remap\remapped\left
mkdir remap\remapped\right
copy sampleRectified\left\_bike_l.png remap\remapped\left
copy sampleRectified\right\_bike_r.png remap\remapped\right
mkdir diparity
mkdir disparity\heatmap
mkdir ply
src\master.py

実行の結果，エラーメッセージが出ないことを確認する
３次元モデルが表示される．
マウスで回転などができる．
次のコマンドで，使用したステレオ画像を表示する
```
remap\remapped\left\_bike_l.png 
remap\remapped\right\_bike_r.png
```
次のコマンドで，視差マップ (disparity map) を表示する
```
disparity\heatmap\bike.png
```

3. 別の画像で試す

src\left, src\right 下に png 形式の画像を準備する

cd /d c:%HOMEPATH%
cd 3D_Reconstruction_From_Stereo_Images
cd src
mkdir remap
mkdir remap\remapped
mkdir remap\remapped\left
mkdir remap\remapped\right
cd remap\remapped
cd left
curl -O https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeL.jpg
cd ..
cd right
curl -O https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aloeR.jpg

視差マップ (disparity map) の生成

cd /d c:%HOMEPATH%
cd 3D_Reconstruction_From_Stereo_Images
cd src
mkdir disparity
mkdir disparity\heatmap
mkdir ply

次の Python プログラムを実行する．

import FastDP as fdm
path_l = 'remap/remapped/left/aloeL.jpg'
path_r = 'remap/remapped/right/aloeR.jpg'
name = 'aloe'
disparity = fdm.generate_disparity_map(left_path=path_l, right_path=path_r, name=name, downsample_n=0)
exit()

生成された視差マップは，次のファイルで確認できる．
```
disparity\heatmap\aloe.png
```

深度マップ (depth map) の生成と３次元点群への変換

import FastDP as fdm
import RealDepth as rd

path_l = 'remap/remapped/left/aloeL.jpg'
path_r = 'remap/remapped/right/aloeR.jpg'
name = 'aloe'
disparity = fdm.generate_disparity_map(left_path=path_l, right_path=path_r, name=name, downsample_n=0)

model3D_matrix = rd.generate_depth_map(disparity, 'disparity/heatmap/aloe.png')
rd.convert_to_ply(disparity=disparity, model_3d=model3D_matrix, name=name, image_path='disparity/heatmap/aloe.png', cmp_range=70)
rd.visualize_model('ply/' + str(name) + '.ply')