imglab を用いた画像のアノテーション（Dlib, Dlib の imglab, Python を使用）（Windows 上）

前準備

Python のインストール（Windows上）

注：既にPython（バージョン3.12を推奨）がインストール済みの場合は，この手順は不要である．

winget（Windowsパッケージマネージャー）を使用してインストールを行う

1. Windowsで，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. winget（Windowsパッケージマネージャー）が利用可能か確認する：

   winget --version
   

   
3. Pythonのインストール（下のコマンドにより Python 3.12 がインストールされる）．

   winget install --scope machine Python.Launcher
   winget install --scope machine Python.Python.3.12
   

【関連する外部サイト】

• Python公式サイト：https://www.python.org/

【サイト内の関連ページ】

• Python詳細ガイド：Pythonまとめ »

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）または Visual Studio 2022 のインストール（Windows 上）

【インストールの判断】 Build Tools for Visual Studio は，開発ツールセットである． Visual Studio は統合開発環境であり，いくつかの種類があり，Build Tools for Visual Studioの機能を含むか連携して使用するものである．インストールは以下の基準で判断してください：

• Build Tools for Visual Studio の機能のみが必要な場合

  Build Tools for Visual Studio のインストール を行う．

• Visual Studio の機能が必要である，あるいは，よく分からない場合

  Visual Studio をインストール する．

  Visual Studio 2022 をインストールする際に，「C++ によるデスクトップ開発」を選択することで， Build Tools for Visual Studio 2022 の機能も一緒にインストールされる．

不明な点がある場合は，Visual Studio 全体をインストール を行う方が良い．

Build Tools for Visual Studio 2022 のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   次のコマンドを実行

   次のコマンドは，Build Tools for Visual Studio 2022と VC2015 再配布可能パッケージをインストールするものである．

   winget install --scope machine Microsoft.VisualStudio.2022.BuildTools
   winget install --scope machine Microsoft.VCRedist.2015+.x64
   

2. Build Tools for Visual Studio 2022 での C++ によるデスクトップ開発，CLI，ATL，MFC のインストール（Windows 上）
   1. Visual Studio Installer の起動

      起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．

   2. Visual Studio Build Tools 2022 で「変更」を選ぶ．
      
   3. 「C++ によるデスクトップ開発」をクリック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」，「ATL」，「MFC」をチェックする．その後，「変更」をクリック．
      

Visual Studio のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   次のコマンドを実行

   1. コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
   2. インストールコマンドの実行

      winget install Microsoft.VisualStudio.2022.Community --scope machine --override "--add Microsoft.VisualStudio.Workload.NativeDesktop Microsoft.VisualStudio.ComponentGroup.NativeDesktop.Core Microsoft.VisualStudio.Component.VC.CLI.Support Microsoft.VisualStudio.Component.CoreEditor Microsoft.VisualStudio.Component.NuGet Microsoft.VisualStudio.Component.Roslyn.Compiler Microsoft.VisualStudio.Component.TextTemplating Microsoft.VisualStudio.Component.Windows.SDK.Latest Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC"
      winget install Microsoft.VisualStudio.2022.Community --scope machine Microsoft.VCRedist.2015+.x64
      

      インストールされるコンポーネントの説明：

      • NativeDesktop：C++によるデスクトップアプリケーション開発のためのワークロード一式
      • NativeDesktop.Core：C++デスクトップ開発に必要な基本コンポーネント群
      • VC.CLI.Support：マネージドコードとネイティブコードの統合開発を可能にするC++/CLIサポート
      • CoreEditor：コード編集，デバッグ，検索などの基本機能を提供するVisual Studioのコアエディタ
      • NuGet：.NETライブラリの依存関係を管理するパッケージ管理システム
      • Windows.SDK.Latest：Windows 向けアプリケーション開発用SDK（Software Development Kit）
      • VC.Tools.x86.x64：32ビット及び64ビット向けC++コンパイラとビルドツール
      • VC.ATL：Windowsコンポーネント開発用のActive Template Library
      • VC.ATLMFC：デスクトップアプリケーション開発用のMicrosoft Foundation Class Library

      システム要件と注意事項：

      • 管理者権限でのインストールが必須
      • 必要ディスク容量：10GB以上
      • 推奨メモリ：8GB以上のRAM
      • インストール過程でシステムの再起動が要求される可能性がある
      • 安定したインターネット接続環境が必要

      追加のコンポーネントが必要な場合は，Visual Studio Installerを使用して個別にインストールすることが可能である．

   3. インストール完了の確認

      winget list Microsoft.VisualStudio.2022.Community
      

      トラブルシューティング：

      インストール失敗時は，以下のログファイルを確認：

      %TEMP%\dd_setup_<timestamp>.log
      %TEMP%\dd_bootstrapper_<timestamp>.log

2. Visual Studio での C++ によるデスクトップ開発，CLI のインストール（Windows 上）
   1. Visual Studio Installer の起動

      起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．

   2. Visual Studio Community 2022 で「変更」を選ぶ．
   3. 「C++ によるデスクトップ開発」をチェック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」をチェックする．その後，「インストール」をクリック．

Git のインストール（Windows 上）

Gitは，バージョン管理システム．ソースコードの管理や複数人での共同に役立つ．

【サイト内の関連ページ】 Windows での Git のインストール: 別ページ »で説明

【関連する外部ページ】 Git の公式ページ: https://git-scm.com/

CMake のインストール

CMake の公式ダウンロードページ: https://cmake.org/download/

7-Zip のインストール（Windows 上）

7-Zipは，ファイル圧縮・展開（解凍）ツール

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. 次のコマンドを実行

   次のコマンドは，7-Zipをインストールするものである．

   winget install --scope machine 7zip.7zip
   powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\7-Zip\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
   

【関連する外部ページ】

• 7-Zip の公式ページ: https://7-zip.opensource.jp/

【関連する外部ページ】 Python の公式ページ: https://www.python.org/

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）または Visual Studio 2022 のインストール（Windows 上）

【インストールの判断】 Build Tools for Visual Studio は，開発ツールセットである． Visual Studio は統合開発環境であり，いくつかの種類があり，Build Tools for Visual Studioの機能を含むか連携して使用するものである．インストールは以下の基準で判断してください：

• Build Tools for Visual Studio の機能のみが必要な場合

  Build Tools for Visual Studio のインストール を行う．

• Visual Studio の機能が必要である，あるいは，よく分からない場合

  Visual Studio をインストール する．

  Visual Studio 2022 をインストールする際に，「C++ によるデスクトップ開発」を選択することで， Build Tools for Visual Studio 2022 の機能も一緒にインストールされる．

不明な点がある場合は，Visual Studio 全体をインストール を行う方が良い．

Build Tools for Visual Studio 2022 のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   次のコマンドを実行

   次のコマンドは，Build Tools for Visual Studio 2022と VC2015 再配布可能パッケージをインストールするものである．

   winget install --scope machine Microsoft.VisualStudio.2022.BuildTools
   winget install --scope machine Microsoft.VCRedist.2015+.x64
   

2. Build Tools for Visual Studio 2022 での C++ によるデスクトップ開発，CLI，ATL，MFC のインストール（Windows 上）
   1. Visual Studio Installer の起動

      起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．

   2. Visual Studio Build Tools 2022 で「変更」を選ぶ．
      
   3. 「C++ によるデスクトップ開発」をクリック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」，「ATL」，「MFC」をチェックする．その後，「変更」をクリック．
      

Visual Studio のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   次のコマンドを実行

   1. コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
   2. インストールコマンドの実行

      winget install Microsoft.VisualStudio.2022.Community --scope machine --override "--add Microsoft.VisualStudio.Workload.NativeDesktop Microsoft.VisualStudio.ComponentGroup.NativeDesktop.Core Microsoft.VisualStudio.Component.VC.CLI.Support Microsoft.VisualStudio.Component.CoreEditor Microsoft.VisualStudio.Component.NuGet Microsoft.VisualStudio.Component.Roslyn.Compiler Microsoft.VisualStudio.Component.TextTemplating Microsoft.VisualStudio.Component.Windows.SDK.Latest Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC"
      winget install Microsoft.VisualStudio.2022.Community --scope machine Microsoft.VCRedist.2015+.x64
      

      インストールされるコンポーネントの説明：

      • NativeDesktop：C++によるデスクトップアプリケーション開発のためのワークロード一式
      • NativeDesktop.Core：C++デスクトップ開発に必要な基本コンポーネント群
      • VC.CLI.Support：マネージドコードとネイティブコードの統合開発を可能にするC++/CLIサポート
      • CoreEditor：コード編集，デバッグ，検索などの基本機能を提供するVisual Studioのコアエディタ
      • NuGet：.NETライブラリの依存関係を管理するパッケージ管理システム
      • Windows.SDK.Latest：Windows 向けアプリケーション開発用SDK（Software Development Kit）
      • VC.Tools.x86.x64：32ビット及び64ビット向けC++コンパイラとビルドツール
      • VC.ATL：Windowsコンポーネント開発用のActive Template Library
      • VC.ATLMFC：デスクトップアプリケーション開発用のMicrosoft Foundation Class Library

      システム要件と注意事項：

      • 管理者権限でのインストールが必須
      • 必要ディスク容量：10GB以上
      • 推奨メモリ：8GB以上のRAM
      • インストール過程でシステムの再起動が要求される可能性がある
      • 安定したインターネット接続環境が必要

      追加のコンポーネントが必要な場合は，Visual Studio Installerを使用して個別にインストールすることが可能である．

   3. インストール完了の確認

      winget list Microsoft.VisualStudio.2022.Community
      

      トラブルシューティング：

      インストール失敗時は，以下のログファイルを確認：

      %TEMP%\dd_setup_<timestamp>.log
      %TEMP%\dd_bootstrapper_<timestamp>.log

2. Visual Studio での C++ によるデスクトップ開発，CLI のインストール（Windows 上）
   1. Visual Studio Installer の起動

      起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．

   2. Visual Studio Community 2022 で「変更」を選ぶ．
   3. 「C++ によるデスクトップ開発」をチェック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」をチェックする．その後，「インストール」をクリック．

Dlib のインストール

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   Windows で pip を実行するときは，コマンドプロンプトを管理者として開き，それを使って pip を実行することにする．

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   python -m pip install -U dlib
   

Dlib のソースコード等と，Dlib の学習済みモデルのダウンロード

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. Dlib のソースコード等のダウンロード

   次のコマンドを実行．

   cd C:\
   rmdir /s /q dlib
   git clone https://github.com/davisking/dlib
   

3. Dlib の学習済みモデルのダウンロード

   次のコマンドを実行．

   cd C:\dlib
   cd python_examples
   curl -O http://dlib.net/files/mmod_human_face_detector.dat.bz2
   curl -O http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2
   curl -O http://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2
   curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
   "c:\Program Files\7-Zip\7z.exe" x mmod_human_face_detector.dat.bz2
   "c:\Program Files\7-Zip\7z.exe" x dlib_face_recognition_resnet_model_v1.dat.bz2
   "c:\Program Files\7-Zip\7z.exe" x shape_predictor_5_face_landmarks.dat.bz2
   "c:\Program Files\7-Zip\7z.exe" x shape_predictor_68_face_landmarks.dat.bz2
   del mmod_human_face_detector.dat.bz2
   del dlib_face_recognition_resnet_model_v1.dat.bz2
   del shape_predictor_5_face_landmarks.dat.bz2
   del shape_predictor_68_face_landmarks.dat.bz2
   

Python 用 numpy, scikit-image のインストール

Windows の場合

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

   Windows で pip を実行するときは，コマンドプロンプトを管理者として開き，それを使って pip を実行することにする．

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   python -m pip install -U numpy scikit-image
   

Ubuntu の場合

Ubuntu を使用する場合は，次のように操作する．

sudo apt -y update
sudo apt -y install python3-numpy python3-skimage

Dlib の imglab のインストール

前準備として、Windows のときは マイクロソフト C++ ビルドツール (Build Tools) のインストールが終わっていること

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. 次のコマンドを実行

   cd C:\dlib
   cd tools\imglab
   rmdir /s /q build
   mkdir build
   cd build
   cmake -G "Visual Studio 17 2022" -A x64 -T host=x64 ^
       -DCMAKE_INSTALL_PREFIX="%HOMEPATH%\dlib" ..
   cmake --build . --config RELEASE
   cmake --build . --config RELEASE --target INSTALL -- /m:4
   

結果を確認．エラーメッセージが出ていないこと

imglab を使ってみる

1. 画像を数枚準備する
   
   
   
2. 準備した画像ファイルを，次のディレクトリに置く

   %HOMEPATH%\dlib\bin
   

   
3. 画像ファイルの準備が終わったら、 .xml 形式ファイルを作る．

   Windows のコマンドプロンプトを開き，次のコマンドを実行する．エラーメッセージが出ないことを確認．

   「.\imglab.exe -c mydata.xml .」は、.xml 形式ファイルを作るコマンド．ファイル名 mydata.xml は何でもよい

   C:
   cd C:\dlib\bin
   .\imglab.exe -c mydata.xml .
   

   
4. 生成された .xml 形式ファイルをエディタなどで開き確認してみる．

   notepad mydata.xml
   

   
5. imglab を起動してみる

   Windows のコマンドプロンプトで、次のコマンドを実行する．

   .\imglab.exe mydata.xml
   

   

   imglab は，画像ビューワになっている

   • 複数の画像を簡単に表示できる機能がある。
   • ラベル（label）を編集する機能がある (Next Labelのところに書き込む)
   • 領域を指定する機能がある （シフトキー（SHIFT キー）を押しながら、マウスをドラッグ）
   
6. imglab で、領域を指定してみる

   シフトキー（SHIFT キー）を押しながら、マウスをドラッグ<

   
7. 保存する

   「File」→「Save」」と操作する

   
8. 確かに .xml形式ファイルに，結果が保存される

   指定した領域についての情報が保存される

   

Dlib を用いた学習

1. 教材ファイル Release.zip をダウンロードし，%HOMEPATH%\dlib\bin に置く

   C:
   cd C:\dlib\bin
   curl -O https://www.kkaneko.jp/sample/dog/Release.zip
   "c:\Program Files\7-Zip\7z.exe" x Release.zip
   

   
2. Web ブラウザで training.xml を開いて、確認してみる

   14枚の画像について、 領域を指定済み

   Google Chrome ではうまく表示できない．下の図では Firefox での表示結果を示している．

   
3. imglab を起動して確認してみる

   Windows のコマンドプロンプトで、次のコマンドを実行する．

   C:
   cd C:\dlib\bin
   .\imglab.exe training.xml
   

   
   
4. imglab を閉じる
5. 学習を行う（教師データの生成）

   最後の「.」を忘れないこと

   copy %HOMEPATH%\dlib\examples\faces\*.jpg .
   python C:\dlib\python_examples\train_object_detector.py .
   

   
6. 途中で、Enterキーを押して続行
   
   
7. Python プログラムの実行

   謝辞：http://tadaoyamaoka.hatenablog.com/entry/2016/09/21/184955　のものを参考に（少し変更して）使っています

   Python プログラムの実行（Windows 上）

   • python: python
   • pip: python -m pip または pip
   • Jupyter Qt Console: jupyter qtconsole
   • Jupyter ノートブック (Jupyter Notebook): jupyter notebook
   • Jupyter Lab: jupyter lab あるいは python -m jupyter lab
   • Nteract: jupyter nteract あるいは python -m jupyter nteract
   • Spyder: spyder

   コマンドプロンプトで次を実行

   python
   

   次の Python プログラムを実行

   import os
   import sys
   import glob
   
   import dlib
   from skimage import io
   
   f = '5920652345_5be61ae940.jpg'
   
   detector = dlib.simple_object_detector("detector.svm")
   
   win_det = dlib.image_window()
   win_det.set_image(detector)
   
   win = dlib.image_window()
   
   print("Processing file: {}".format(f))
   img = io.imread(f)
   dets = detector(img)
   print("Number of objects detected: {}".format(len(dets)))
   for k, d in enumerate(dets):
       print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
           k, d.left(), d.top(), d.right(), d.bottom()))
   
   win.clear_overlay()
   win.set_image(img)
   win.add_overlay(dets)
   dlib.hit_enter_to_continue()
   

   

   上の犬の写真では、画像分類がうまくいっていない

8. 学習に使う画像を増やすには

   .\imglab training.xml