matterport/Mask_RCNN のインストールと動作確認（Mask RCNN によるインスタンス・セグメンテーション）（Python 3.7，TensorFlow 1.15.5, Keras 2.3.1 を使用）（Windows 上）

Mask RCNN を用いた画像の物体認識．

手順の要点: 前準備として，NVIDIA CUDA 10.0, NVIDIA cuDNN 7.6.5, Python 3.7, TensorFlow 1.15.5 等をインストール．

【目次】

前準備
インストール
Mask RCNN によるインスタンス・セグメンテーション

前準備

Git のインストール（Windows 上）

Gitは，分散型のバージョン管理システム．

【手順】

Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
次のコマンドを実行
次のコマンドは，Gitをインストールし，Gitにパスを通すものである．
次のコマンドでインストールされるGitは「git for Windows」と呼ばれるものであり， Git，MinGW などから構成されている．
winget install --scope machine Git.Git powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\Git\cmd\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

【関連項目】 Git バージョン管理システム, Git の利用

Python 3.7 64 ビット版のインストール，pip と setuptools の更新，Python 開発環境のインストール（Windows 上）

① Python 3.7 64 ビット版のインストール（Windows 上）

【Python のインストールでの注意点】

Python 64-bit 版を使用してください．
Python をシステム領域にインストールすることを推奨する．
Windowsでは，Python をユーザ領域（既定の設定）またはシステム領域にインストールできる．しかし，ユーザー名に日本語が含まれている場合，Python をユーザ領域にインストールすると問題が発生する可能性がある．システム領域にインストールすることで，ファイルパスに日本語が含まれることを避けることができ，問題を防ぐことができる．

【Python 3.7 のインストール手順の詳細（別ページ） 】 Windows での Python 3.7 のインストール: 別ページ »で説明

【Python の公式ページ】 https://www.python.org/

【インストール手順の概要】

Python の URL を開く
URL: https://www.python.org
Windows 版の Python 3.7 をダウンロード
ページの上の方にある「Downloads」をクリック，「Downloads」の下にメニューが出るので，その中の「Windows」をクリック．
そして，Python 3.7.x (x は数字）を探す．
そして，Windows の 64ビット版のインストーラをダウンロードしたいので，「Windows x86-64 executable installer」を選ぶ
インストール時の設定
1. いまダウンロードした .exe ファイルを右クリック，右クリックメニューで「管理者として実行」を選ぶ．
2. Python ランチャーをインストールするために，「Install launcher for all users (recommended)」をチェック．
  
  * すでに Python ランチャーをインストール済みのときは，「Install launcher for all users (recommended)」がチェックできないようになっている場合がある．そのときは，チェックせずに進む．
3. 「Add Python 3.7 to PATH」をチェック.
4. 「Customize installation」をクリック．
5. オプションの機能 (Optional Features)は，既定（デフォルト）のままでよい．「Next」をクリック
6. 「Install for all users」を選ぶ．
  Python のインストールディレクトリは，「C:\Program Files\Python37」のように自動設定されることを確認．
  「Install」をクリック
7. 「Disable path length limit」が表示される場合がある．クリックして，パス長の制限を解除する
8. インストールが終了したら，「Close」をクリック
インストールのあと，Windows のスタートメニューに「Python 3.7」が増えていることを確認．
システムの環境変数 Path の確認のため，新しくコマンドプロンプトを開き，次のコマンドを実行する．
py とpip にパスが通っていることの確認である．
where py where pip
where py では「C:\Windows\py.exe」が表示され， where pip では「C:\Program Files\Python37\scripts\pip.exe」が表示されることを確認．

② pip と setuptools の更新（Windows 上）

Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

Windows で pip を実行するときは，コマンドプロンプトを管理者として開き，それを使って pip を実行することにする．
コマンドプロンプトを管理者として実行: 別ページ »で説明
次のコマンドを実行する
Python の使用は「py -3.7」で行う．
py -3.7 -m pip install -U pip setuptools

③ Python 開発環境として，Python の隔離された環境に，Python コンソール（Jupyter Qt Console）, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract をインストール

Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

venv を用いて，Python の仮想環境を作成

次のコマンドを実行する

py -3.7 -m pip install -U pip setuptools
py -3.7 -m venv --system-site-packages C:\venv\py37

Python の仮想環境の使用開始と，Python 開発環境のインストール
次のコマンドを実行する
Python の使用は「C:\venv\py37\scripts\activate.bat」の後，「python」で行う．
C:\venv\py37\scripts\activate.bat python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter PySide6

Visual Studio Community 2017 のインストール

NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある．

NVIDIA CUDA 10.0 のインストールの前に， Visual Studio Commnity 2017 のインストールを行う．

Visual Studio Commnity 2017 のインストールは， https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び，「ダウンロード」をクリック．その後表示されるダウンロードの画面で，「Visual Studio Commnity 2017」を選ぶ．インストール時には「C++ によるデスクトップ開発」をチェックしてインストールする．

NVIDIA ドライバのインストール（Windows 上）

NVIDIA ドライバとは

NVIDIA ドライバは，NVIDIA製GPUをWindowsシステム上で適切に動作させるための基盤となるソフトウェアです．このドライバをインストールすることにより，GPUの性能を最大限に引き出し，グラフィックス処理はもちろん，CUDAを利用したAI関連アプリケーションなどの計算速度を向上させることが期待できます．

ドライバは通常、NVIDIA公式サイトからダウンロードするか、NVIDIA GeForce Experienceソフトウェアを通じてインストール・更新します。

公式サイト: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

【サイト内の関連ページ】

NVIDIA ドライバのインストール詳細手順（Windows 上）

(再掲) NVIDIA グラフィックス・ボードの確認
インストールするドライバを選択するために、まずご使用のPCに搭載されているNVIDIAグラフィックス・ボードの種類を確認します。（確認済みであれば、この手順は不要です。） Windows のコマンドプロンプトで次のコマンドを実行します。
wmic path win32_VideoController get name
NVIDIA ドライバのダウンロード
確認したグラフィックス・ボードのモデル名と、お使いのWindowsのバージョン（例: Windows 11, Windows 10 64-bit）に対応するドライバを、以下のNVIDIA公式サイトからダウンロードします．

https://www.nvidia.co.jp/Download/index.aspx?lang=jp

サイトの指示に従い、製品タイプ、製品シリーズ、製品ファミリー、OS、言語などを選択して検索し、適切なドライバ（通常は最新のGame Ready ドライバまたはStudio ドライバ）をダウンロードします。
ドライバのインストール
ダウンロードしたインストーラー（.exeファイル）を実行し、画面の指示に従ってインストールを進めます。「カスタムインストール」を選択すると、インストールするコンポーネント（ドライバ本体、GeForce Experience、PhysXなど）を選ぶことができます。通常は「高速（推奨）」で問題ありません。

インストール完了後、システムの再起動を求められる場合があります。

NVIDIA CUDA ツールキット 10.0 のインストール（Windows 上）

NVIDIA CUDA ツールキットのインストール時の注意点

NVIDIAのGPUを使用して並列計算を行うためのツールセット

主な機能: GPU を利用した並列処理，GPU のメモリ管理，C++をベースとした拡張言語とAPIとライブラリ

【NVIDIA CUDA ツールキットの動作に必要なもの】

CUDA対応のNVIDIA GPUが必要．
そのために，NVIDIA グラフィックス・ボードを確認する． Windows で，NVIDIA グラフィックス・ボードの種類を調べたいときは，次のコマンドを実行することにより調べることができる．
wmic path win32_VideoController get name
NVIDIA ドライバのダウンロードとインストール
NVIDIA ドライバは，以下の NVIDIA 公式サイトからダウンロードできる．ダウンロードの際には，使用しているグラフィックス・ボードの型番とオペレーティングシステムを選択する．
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
Windows では，インストール前に，Build Tools for Visual Studio もしくは Visual Studio をインストールしておくことが必要である．

【Windows でインストールするときの注意点】

Windows では， NVIDIA CUDA ツールキットのインストール中は，なるべく他のウインドウはすべて閉じておくこと．
NVIDIA CUDA ツールキットのインストールが終わったら，ユーザ環境変数 TEMP の設定を行う．
Windows のユーザ名が日本語のとき，nvcc がうまく動作しないエラーを回避するためである．
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために，コマンドプロンプトで，次のコマンドを実行する．
mkdir C:\TEMP powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"

【関連する外部ページ】

NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットの公式のドキュメント: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
NVIDIA CUDA ツールキットのインストールに関する，NVIDIA CUDA クイックスタートガイドの公式ページ: https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html

TensorFlow 1.15.5 が必要とする NVIDIA CUDA ツールキットと NVIDIA cuDNN のバージョンの確認

TensorFlow 1.15.5 を動かすために，NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 を使う．

（10.2, 10.1 は不可．実際に試みて検証済み）．

NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 の根拠: cudart64_100.dll, cudnn64_7.dll が必要

インストール手順

NVIDIA CUDA ツールキットのアーカイブのページを開く
https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットのバージョンを選ぶ
ここでは，NVIDIA CUDA ツールキットの10.0を選んでいる
「Windows」，「10」，「exe [local]」を選ぶ．
「Base Installer」の右横の「Download」をクリックして，.exe ファイルをダウンロード
exe ファイルのダウンロードが始まる
ダウンロードした .exe ファイルを実行する．
展開（解凍）先ディレクトリ（フォルダ）の指定．
既定（デフォルト）のままでよい．「OK」をクリック．
展開（解凍）が自動で行われるので，しばらく待つ．
ライセンス条項の確認．
インストールオプションは，「カスタム（詳細）」を選び，「次へ」をクリック．
コンポーネントを確認する．
「CUDA」にチェックする．その他は，必要なものがあればチェックする．「次へ」をクリック．

複数の版の NVIDIA CUDA ツールキットをインストールする場合には，古い版のNVIDIA CUDA ツールキットをインストールするときに「CUDA」だけを選ぶようにする．
インストール場所の選択は，既定（デフォルト）のままでよい．「次へ」をクリック．
Visual Studio Integration について表示された場合
表示されなくても問題はない．

表示された場合には，NVIDIA CUDA のインストールを中止して， Visual Studio Commnity 2017 のインストールを行う．
Visual Studio Commnity 2017 のインストールは， https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び，「ダウンロード」をクリック．その後表示されるダウンロードの画面で，「Visual Studio Commnity 2017」を選ぶ．インストール時には「C++ によるデスクトップ開発」をチェックしてインストールする．
このとき，Windows セキュリティの画面が開くことがある．開いた場合には，「インストール」をクリック．
インストールが始まるので，確認する．
このとき，グラフィックス・カードのドライバのインストールについての画面が表示される場合がある．「インストール」をクリックして，インストールを続行する．
Visual Studio がインストール済みのときは，Nsight Visual Studio がインストールされたことが確認できる．確認したら「次へ」をクリック．

Visual Studio をインストールしていないときは，Nsight for Visual Studio はインストールされない．
インストール終了の確認．「閉じる」をクリック．

* 「コンピュータを再起動してください」と表示される場合がある．そのときは，再起動する．
GeForce Experience が自動で開く場合がある
- 利用条件について表示されたときは、よく確認し、納得できる場合のみ同意・続行する
- リリースハイライトが表示される場合がある．
  リリースハイライトを確認したら，「x」をクリックして閉じる．
- このとき，最新版への更新が始まり，起動に時間がかかることがある．
  そして「お使いのGPU向けの新しいドライバーが入手可能です」と表示されることがある．そのときは，新しいドライバをインストールする．

NVIDIA cuDNN 7.6.5 のインストール

インストールするNVIDIA cuDNN のバージョンは 7.6.5 for CUDA 10.0

NVIDIA cuDNN

NVIDIA cuDNN は，NVIDIA CUDA ツールキット上で動作する、高性能なディープラーニング用ライブラリです．畳み込みニューラルネットワーク (CNN) やリカレントニューラルネットワーク (RNN) など，さまざまなディープラーニングモデルのトレーニングと推論を高速化します．

【cuDNN利用時の注意点: zlibwapi.dll エラー】

Windows環境でcuDNNを利用するアプリケーションを実行した際に、「Could not locate zlibwapi.dll. Please make sure it is in your library path!」というエラーが表示されることがあります。これは、cuDNNの一部の機能が圧縮ライブラリである zlib に依存しているためです。このエラーが発生した場合は、後述する手順で ZLIB DLL をインストールする必要があります。

【関連する外部ページ】

NVIDIA cuDNN の公式ページ（ダウンロードにはDeveloper Programへの登録が必要）: https://developer.nvidia.com/cudnn

NVIDIA cuDNN のインストール（Windows 上）の概要

NVIDIA Developer Program メンバーシップへの加入: cuDNNのダウンロードには無料のメンバーシップ登録が必要です。
NVIDIA Developer Program の公式ページ: https://developer.nvidia.com/developer-program
互換バージョンの選択とダウンロード: インストール済みのCUDAツールキットのバージョン (今回は11.x) に適合するcuDNNのバージョン (今回はv8.9.7) を選択し、Windows用のzipファイルをダウンロードします。
ファイルの展開と配置: ダウンロードしたzipファイルを展開（解凍）し、中のファイル（bin, include, lib フォルダ内）を、CUDAツールキットのインストールディレクトリにコピーします。
(オプション) 環境変数の設定: 必要に応じてシステム環境変数 CUDNN_PATH を設定します。
(必要に応じて) ZLIB DLL のインストール: zlibwapi.dll が見つからないエラーが発生する場合にインストールします。
動作確認: cuDNNライブラリ (cudnn64_*.dll) にパスが通っているか確認します。

NVIDIA cuDNN のダウンロードとインストールの手順

NVIDIA cuDNN のウェブページを開く
https://developer.nvidia.com/cuDNN
ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
NVIDIA Developer Program メンバーシップに入る
NVIDIA cuDNN のダウンロードのため．
「Join now」をクリック．その後，画面の指示に従う．利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．
ログインする
調査の画面が出たときは，調査に応じる
ライセンス条項の確認
「Archived cuDNN Releases」をクリック
ダウンロードしたいバージョンを選ぶ
ここでは「cuDNN v 7.6.5, for CUDA 10.0」を選んでいる．
このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．
Windows にインストールするので Windows 版を選ぶ
ダウンロードが始まる．
ダウンロードした .zip ファイルを展開（解凍）する．展開の結果 cuda という名前のディレクトリができる．その中のサブディレクトリを確認しておく．

Windows での展開（解凍）に便利な 7-Zip: 別ページ »で説明
NVIDIA CUDA ツールキットをインストールしたディレクトリは，「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0」のようになっている．確認する．
確認したら，さきほど展開してできたディレクトリcuda の下にあるすべてのファイルとディレクトリを，NVIDIA CUDA ツールキットをインストールしたディレクトリにコピーする

インストール後に行う環境変数の設定

「NVIDIA cuDNN をインストールしたディレクトリ」をもとに環境変数を設定する．

「NVIDIA cuDNN をインストールしたディレクトリ」が C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 の場合には，次のように設定する．

すでに，c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin には，パスが通っている．
Windows のシステム環境変数 CUDNN_PATH に，c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 を設定
Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
次のコマンドを実行
powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\", \"Machine\")"
Windows のシステム環境変数 Pathに，次が含まれていることを確認
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

パスの確認

次の操作により，cudnn64_7.dll にパスが通っていることを確認する

Windows のコマンドプロンプトを開き，次のコマンドを実行する．エラーメッセージが出ないことを確認．

where cudnn64_7.dll

インストール

Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）

pycocotools のインストール

python -m pip install -U cython
python -m pip install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory=PythonAPI"

matterport/Mask_RCNN のインストール

cd /d c:%HOMEPATH%
rmdir /s /q Mask_RCNN
git clone https://github.com/matterport/Mask_RCNN
cd Mask_RCNN
C:\venv\py37\scripts\activate.bat
python -m pip install -r requirements.txt
python -m pip uninstall -y tensorflow tensorflow-gpu tensorflow-intel keras tensorboard tensorflow-estimator
python -m pip install tensorflow-gpu==1.15.5 keras==2.3.1
python setup.py build
python setup.py install

Mask RCNN によるインスタンス・セグメンテーション

Python コンソールで，SSD.ipynb に記載のコマンドを実行しながら結果を確認したい．結果は，画像などでプロットされる場合がある．

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

Windows で，コマンドプロンプトを実行．
カレントディレクトリ
cd /d c:%HOMEPATH%\Mask_RCNN
jupyter qtconsole の起動
これ以降の操作は，jupyter qtconsole で行う．
C:\venv\py37\scripts\activate.bat jupyter qtconsole
ROOT_DIR の設定
エラーメッセージが出ないことを確認
import os ROOT_DIR = os.environ['HOMEPATH'] + '\\Mask_RCNN'

前準備

前準備として、mask_rcnn_coco.h5 のダウンロードなどを行う

import os
import sys
import random
import math
import numpy as np
import skimage.io
import matplotlib
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import imgaug

# Import Mask RCNN
sys.path.append(ROOT_DIR)  # To find local version of the library
from mrcnn import utils
import mrcnn.model as modellib
from mrcnn import visualize
# Import COCO config
sys.path.append(os.path.join(ROOT_DIR, "samples/coco/"))  # To find local version


# Directory to save logs and trained model
MODEL_DIR = os.path.join(ROOT_DIR, "logs")

# Local path to trained weights file
COCO_MODEL_PATH = os.path.join(ROOT_DIR, "mask_rcnn_coco.h5")
# Download COCO trained weights from Releases if needed
if not os.path.exists(COCO_MODEL_PATH):
    utils.download_trained_weights(COCO_MODEL_PATH)

# Directory of images to run detection on
IMAGE_DIR = os.path.join(ROOT_DIR, "images")

設定

import coco
class InferenceConfig(coco.CocoConfig):
    # Set batch size to 1 since we'll be running inference on
    # one image at a time. Batch size = GPU_COUNT * IMAGES_PER_GPU
    GPU_COUNT = 1
    IMAGES_PER_GPU = 1

config = InferenceConfig()
config.display()

学習済みデータのロード

# Create model object in inference mode.
model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR, config=config)

# Load weights trained on MS-COCO
model.load_weights(COCO_MODEL_PATH, by_name=True)

クラス名の設定

# COCO Class names
# Index of the class in the list is its ID. For example, to get ID of
# the teddy bear class, use: class_names.index('teddy bear')
class_names = ['BG', 'person', 'bicycle', 'car', 'motorcycle', 'airplane',
               'bus', 'train', 'truck', 'boat', 'traffic light',
               'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird',
               'cat', 'dog', 'horse', 'sheep', 'cow', 'elephant', 'bear',
               'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie',
               'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
               'kite', 'baseball bat', 'baseball glove', 'skateboard',
               'surfboard', 'tennis racket', 'bottle', 'wine glass', 'cup',
               'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple',
               'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
               'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed',
               'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote',
               'keyboard', 'cell phone', 'microwave', 'oven', 'toaster',
               'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors',
               'teddy bear', 'hair drier', 'toothbrush']

画像からのオブジェクト検出

# Load a random image from the images folder
file_names = next(os.walk(IMAGE_DIR))[2]
image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names)))

# Run detection
results = model.detect([image], verbose=1)

# Visualize results
%matplotlib inline
r = results[0]
visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'],
                            class_names, r['scores'])

実際の動作画面

画像はランダムで選択されるので、違う画像が表示されても問題なし