AI 立体メジャー ―― 1 台のカメラ映像から 3 次元形状を推定し、言葉で指定した物体までの距離を推定

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成

このプログラムの理念と目的

本プログラムは、1 台のカメラの映像から、すべての画素の奥行きを AI で推定し、回転表示できる 3 次元点群に変換するツールである。あわせて、言葉で指定した物体までの距離と、画面上で選んだ 2 点間の距離を推定して表示する。入力には、カメラ、パソコン内の動画ファイル、内蔵のデモ動画を使える。ステレオカメラや LiDAR などの測距機器を使わずに、カメラ映像から物体の位置関係と距離の目安を得たい利用者を対象とする。

カメラ映像は奥行きの情報を持たない。本プログラムは、メートル単位の奥行きを推定する AI(単眼メトリック深度推定)で、画素ごとの奥行き Z(カメラの光軸方向の距離)を求める。次に、利用者が設定したカメラの水平画角を用いて、各画素を 3 次元座標に変換する。物体の距離は、物体を画素単位の領域(マスク)として抽出し、その内側の 3 次元点だけから求める。物体を囲む矩形の内側で集計すると背景の奥行きが混ざるが、この方法ではその混入を抑えられる。表示する距離はすべて、単眼カメラ映像からの推定値である。

特徴

機能概要

「開始」を押すと、映像の各フレームに対して次の処理を順に行う。

  1. 映像の取得:幅が 960 画素を超えるフレームは、縦横比を保って縮小する。動画ファイルとデモ動画は、処理が追いつかない場合はフレームを読み飛ばして実時間で再生し、末尾に達すると先頭から繰り返し再生する。
  2. 奥行きの推定:選択した深度推定モデルで、すべての画素の奥行き Z[m]を推定する。
  3. 物体の検出:検出対象の語に該当する物体を、マスクとして抽出する。1 フレームあたり最大 20 個で、画像面積の 0.08 % 未満の物体は除く。物体の検出は各フレームを独立に行う。
  4. 物体の距離の算出:物体のマスクを輪郭から 3 画素収縮させた領域(小さな物体はマスク全体)の内側にある 3 次元点の中央値を、物体の代表点とする。代表点とカメラ中心との直線距離を、物体の距離とする。
  5. 表示:左に、物体のマスク・輪郭・推定距離を重ねた映像を表示する。右に、3 次元点群または奥行きマップを表示する。

表示中に、左の映像で物体または任意の点を 2 か所クリックすると、その 2 点間の 3 次元距離(推定値)を表示する。選択した物体は、次のフレーム以降、同じ名前の物体のうち前のフレームでの位置に最も近いものに対応づけて追従する。

画面操作およびキー操作

画面上部の設定項目

入力

「カメラ」「動画ファイル(パソコン内)」「デモ」2 本から選ぶ。「カメラ」では、パソコンに接続された 1 台目のカメラを使う。「動画ファイル」では、「開始」を押した時点でファイル選択画面が開く。デモ動画を選ぶと、撮影シーンとカメラの水平画角が、その動画に合わせて自動で設定される。「カメラ」または「動画ファイル」を選ぶと、撮影シーンは「屋内」、水平画角は 65 度に設定される。

撮影シーン(屋内:上限 20 m / 屋外:上限 80 m)

深度推定モデルが Depth Anything V2 の場合、この設定で屋内用と屋外用のどちらのモデルを使うかと、推定できる奥行きの上限が決まる。上限より遠い部分は上限付近の値として推定されるため、屋内でも 20 m より遠くまで写る場面では「屋外」を選ぶ。深度推定モデルが Video Depth Anything の場合は、屋内外共通の 1 モデルを使い、この設定は 3 次元点群に表示する奥行きの上限としてだけ使われる。

撮影シーンを切り替えたとき、検出対象の欄が空欄または既定の語のままであれば、その撮影シーンの既定の語に置き換わる(屋内:人物、椅子、机、コップ、ボトル、ノートパソコン/屋外:人物、自動車、自転車、トラック、信号機)。

カメラの水平画角[度]

映像の左端から右端までに写る範囲の角度を、30〜120 度で設定する(初期値 65 度)。プログラムはこの値から焦点距離を求め、各画素の左右・上下方向の位置を計算する。奥行き Z の推定値はこの設定の影響を受けない。一方、物体の距離と 2 点間の距離はこの設定の影響を受け、映像の中央から離れた位置ほど誤差が大きくなる。カメラの仕様に水平画角が記載されていれば、その値を入力する。記載がなければ、カメラから距離 D の位置で映像の左端から右端までに写る範囲の幅 W を測り、2 × arctan(W ÷ 2D) で求める。設定の変更は次のフレームから反映される。

開始/停止

映像の処理を開始・停止する。「停止」を押してから処理が終わるまでの間、ボタンは押せない。カメラが切断された場合や、動画ファイルを読み込めない場合も、処理は停止する。

深度推定モデル

選択欄の下に、選択中のモデルの説明が表示される。

検出対象

検出したい物体の名前を、カンマまたは読点で区切って日本語または英語で入力し、「適用」を押す。日本語の語は、内蔵の辞書にあるもの(人物、自動車、椅子、コップ、ノートパソコンなど)だけが英語に変換されて検出に使われる。辞書にない日本語の語は検出に使われず、画面下部の状態表示に、その語を英語で入力するよう案内が出る。この場合は、その語を英語に置き換えて入力し直す。欄を空欄にして適用すると、内蔵語彙 4585 クラスから画面内の物体を検出する。

3 次元点群/奥行きマップ

右の表示内容を切り替える。

撮影シーン、深度推定モデル、検出対象の変更は、処理中でも反映される。その際は必要なモデルを読み込むため(そのモデルを初めて使う場合はダウンロードも行うため)、新しいフレームの処理が一時的に止まる。

左の映像(検出物体と推定距離)

各物体には、名前と推定距離を書いた札が付く。距離は、10 m 未満では小数第 2 位まで、10 m 以上では小数第 1 位まで表示される。

右の表示

3 次元点群

奥行きマップ

各画素の奥行きを色で表示する。色は 1/Z の値に応じて割り当てられ、赤が近く、青が遠い。色を割り当てる範囲は全画素の奥行きの 1〜99 パーセンタイルであり、その範囲に対応する距離が表示の下端に示される。

画面下部の表示

キー操作

Enter 以外の操作はすべてマウスで行う。プログラムを終了するには、ウィンドウを閉じる。

使用技術

Depth Anything V2(メトリック深度推定版)

1 枚の画像から、各画素の奥行きをメートル単位で推定する深度推定モデルである。屋内用は合成データセット Hypersim で、屋外用は合成データセット Virtual KITTI 2 で調整されている。本プログラムでは、推定できる奥行きの上限を屋内用で 20 m、屋外用で 80 m としている。各フレームを独立に推定する。GPU では Base、CPU では Small を使う。

Video Depth Anything(メトリック深度推定版)

Depth Anything を動画向けに拡張した深度推定モデルであり、過去のフレームの内部状態を参照して、フレーム間の推定値の揺れを抑える。本プログラムは 1 フレームずつ処理するストリーミング推論を用いる。この方式は公式に実験的機能とされ、全フレームを一括で処理する方式より精度が低いと報告されている。屋内外共通の 1 モデルで、GPU では Base、CPU では Small を使う。

YOLOE-26(オープン語彙インスタンスセグメンテーション)

Ultralytics の物体検出モデルであり、入力した語に該当する物体を、画素単位の領域(マスク)として抽出する。入力した語は、英語で学習されたテキストエンコーダ(MobileCLIP2)で処理されるため、日本語の語は内蔵の辞書で英語に変換してから渡す。検出対象が空欄の場合は、語の指定を必要としないプロンプトフリー版が、内蔵語彙 4585 クラスから物体を検出する。GPU では大きいモデル(l)を半精度で、CPU では小さいモデル(s)を使う。

ピンホールカメラモデルによる 3 次元座標への変換

水平画角 θ と画像幅 w(画素)から、焦点距離 f = w ÷ (2 tan(θ/2))(画素)を求める。この f と、画素の位置および奥行き Z から、各画素の 3 次元座標(単位 m)を計算する。光軸は画像の中心を通り、画素は正方形であると仮定している。

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\object_depth
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch torchvision --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user pyinstaller ultralytics transformers einops easydict
pyinstaller --onefile --clean --noconfirm  --collect-all ultralytics --collect-all torch --collect-all torchvision --collect-all transformers --collect-all einops --collect-all easydict object_depth.py

実行ファイル:[exe]

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM MediaPipe 標準機能のインストール
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user ultralytics transformers einops easydict

ソースコード