サイトの全体構成

物体検出，インスタンス・セグメンテーション，パノプティック・セグメンテーションの実行（Detectron2，PyTorch, Python を使用）（Windows 上）

Detectron2 を使用した物体検出，インスタンス・セグメンテーション，パノプティック・セグメンテーションの設定と実行を説明する．内容は，Windows上での前準備，関連ツールとライブラリのインストール，および物体検出とセグメンテーションを行うPythonプログラムのソースコードと実行手順の説明である．プログラムはCOCOデータセットに基づいている．外部リンクや参考文献も説明しており，関連する詳細な情報にアクセスできる．

物体検出

インスタンス・セグメンテーション

パノプティック・セグメンテーション

【目次】

前準備
Detectron2 のインストール（Windows 上）
Detectron2 の物体検出，インスタンス・セグメンテーションのPython プログラム

Detectron2

【文献】

Yuxin Wu and Alexander Kirillov and Francisco Massa and Wan-Yen Lo and Ross Girshick, Detectron2, https://github.com/facebookresearch/detectron2, 2019.

【関連する外部ページ】

GitHub のページ: https://github.com/facebookresearch/detectron2
ドキュメント: https://detectron2.readthedocs.io/en/latest/tutorials/getting_started.html
関連プロジェクトのページ: https://github.com/facebookresearch/detectron2/tree/master/projects

前準備

Git のインストール（Windows 上）

Gitは，バージョン管理システム．ソースコードの管理や複数人での共同に役立つ．

【サイト内の関連ページ】

Windows での Git のインストール: 別ページ »で説明している．

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

Python のインストール（Windows 上）

【サイト内の関連ページ】

Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
Windows での Anaconda3 のインストール: 別ページ »で説明している．
Python のまとめ: 別ページ »にまとめている．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN 8.6 のインストール（Windows 上）

【サイト内の関連ページ】

NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．

Windows での Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.6 のインストールと動作確認: 別ページ »で説明している．

【関連する外部ページ】

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
winimage の ZLIB DLL の公開ページ: http://www.winimage.com/zLibDll/

PyTorch のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明
PyTorch のページを確認
PyTorch のページ: https://pytorch.org/index.html
次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドを使う）．
次のコマンドは， PyTorch 2.0 （NVIDIA CUDA 11.8 用）をインストールする．但し，Anaconda3を使いたい場合には別手順になる．
事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする）．
PyTorch で，GPU が動作している場合には，「torch.cuda.is_available()」により，True が表示される．
```
python -m pip install -U --ignore-installed pip
python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118
python -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
```
Anaconda3を使いたい場合には， Anaconda プロンプト (Anaconda Prompt) を管理者として実行し，次のコマンドを実行する．（PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため，Anaconda3を使わないことも検討して欲しい）．
```
conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia
py -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
```
【サイト内の関連ページ】
- Windows での PyTorch のインストール: 別ページ »で説明している．
【関連する外部ページ】
- PyTorch のページ: https://pytorch.org/index.html

Detectron2 のインストール（Windows 上）

Python の opencv-python のインストール

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明
opencv-python のインストール
※ 「pip install ...」は，Python パッケージをインストールするための操作
```
python -m pip install -U opencv-python opencv-contrib-python
```

pycocotools のインストール（Windows 上）

pycocotools のインストールを行う．

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明
pycocotools, COCO 2018 Panoptic Segmentation Task API のインストール
COCOデータセットをPythonで扱うためには，pycocotools を使う． pycocotools を使うことで，COCOデータセットのアノテーションを扱いやすくなる．
次のコマンドを実行
```
python -m pip install -U --ignore-installed pip
python -m pip install -U cython wheel
python -m pip install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory=PythonAPI"
python -m pip install git+https://github.com/cocodataset/panopticapi.git
```

Detectron2 のインストール（Windows 上）

次の記事に記載の手順による．

https://dgmaxime.medium.com/how-to-easily-install-detectron2-on-windows-10-39186139101c

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

Detectron2 のダウンロード

python -m pip uninstall -y detectron2
cd %HOMEPATH%
rmdir /s /q detectron2
git clone --recursive https://github.com/facebookresearch/detectron2
cd detectron2

ソースコードの書き換え

notepad detectron2\layers\csrc\nms_rotated\nms_rotated_cuda.cu

次のように書き換える

インストール

cd %HOMEPATH%\detectron2
python -m pip install -e .

（以下省略）

引き続き，COCO 2018 Panoptic Segmentation Task API, The Cityscapes Dataset 用スクリプトのインストール

pip install git+https://github.com/cocodataset/panopticapi.git
pip install git+https://github.com/mcordts/cityscapesScripts.git

Detectron2 の物体検出，インスタンス・セグメンテーションのPython プログラム

画像の準備

coco (common object in context) データセットの中の画像ファイルをダウンロード

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

cd %HOMEPATH%\detectron2
curl -O http://images.cocodataset.org/val2017/000000439715.jpg

物体検出

Windows のコマンドプロンプトを開く

Python プログラムの実行

Python プログラムの実行: 別ページ »で説明

Python のまとめ: 別ページ »にまとめ

コマンドプロンプトで次を実行

cd %HOMEPATH%\detectron2
python

次の Python プログラムを実行する

RetinaNet, R101, FPN, 3x による物体検出． COCO データセットによる学習済みモデルを使用．

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt のプログラムをもとに作成

Detectron2 の学習済みモデルは https://github.com/facebookresearch/detectron2/blob/main/MODEL_ZOO.md

「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

import detectron2
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog, DatasetCatalog

def setup_config(configfile):
    cfg = get_cfg()
    # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
    cfg.merge_from_file(model_zoo.get_config_file(configfile))
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
    # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url(configfile)
    return cfg

def look_instance(outputs):
    # インスタンス・セグメンテーションの結果の確認
    # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
    print(outputs["instances"].pred_classes)
    print(outputs["instances"].pred_boxes)

def visualize_instance(im, cfg, outputs):
    # 画面表示
    # We can use `Visualizer` to draw the predictions on the image.
    v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
    out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
    cv2.imshow("", out.get_image()[:, :, ::-1])
    cv2.waitKey(15)

import cv2
im = cv2.imread('000000439715.jpg')
cfg = setup_config('COCO-Detection/retinanet_R_101_FPN_3x.yaml')
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
look_instance(outputs)
visualize_instance(im, cfg, outputs)

インスタンス・セグメンテーションのPython プログラム (COCO データセット)

Windows のコマンドプロンプトを開く

Python プログラムの実行

Python プログラムの実行: 別ページ »で説明

Python のまとめ: 別ページ »にまとめ

コマンドプロンプトで次を実行

cd %HOMEPATH%\detectron2
python

次の Python プログラムを実行する

Mask-RCNN, R101, FPN, 3x によるインスタンス・セグメンテーション． COCO データセットによる学習済みモデルを使用．

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt のプログラムをもとに作成

Detectron2 の学習済みモデルは https://github.com/facebookresearch/detectron2/blob/main/MODEL_ZOO.md

「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

import detectron2
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog, DatasetCatalog

def setup_config(configfile):
    cfg = get_cfg()
    # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
    cfg.merge_from_file(model_zoo.get_config_file(configfile))
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
    # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url(configfile)
    return cfg

def look_instance(outputs):
    # インスタンス・セグメンテーションの結果の確認
    # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
    print(outputs["instances"].pred_classes)
    print(outputs["instances"].pred_boxes)

def visualize_instance(im, cfg, outputs):
    # 画面表示
    # We can use `Visualizer` to draw the predictions on the image.
    v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
    out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
    cv2.imshow("", out.get_image()[:, :, ::-1])
    cv2.waitKey(15)

import cv2
im = cv2.imread('000000439715.jpg')
cfg = setup_config('COCO-InstanceSegmentation/mask_rcnn_R_101_FPN_3x.yaml')
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
look_instance(outputs)
visualize_instance(im, cfg, outputs)

パノプティック・セグメンテーションのPython プログラム

Windows のコマンドプロンプトを開く

Python プログラムの実行

Python プログラムの実行: 別ページ »で説明

Python のまとめ: 別ページ »にまとめ

コマンドプロンプトで次を実行

cd %HOMEPATH%\detectron2
python

次の Python プログラムを実行する

Panoptic FPN, R101, 3x によるパノプティック・セグメンテーション． COCO データセットによる学習済みモデルを使用．

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt のプログラムをもとに作成

Detectron2 の学習済みモデルは https://github.com/facebookresearch/detectron2/blob/main/MODEL_ZOO.md

「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

import detectron2
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog, DatasetCatalog

def setup_config(configfile):
    cfg = get_cfg()
    # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
    cfg.merge_from_file(model_zoo.get_config_file(configfile))
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
    # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url(configfile)
    return cfg

def look_instance(outputs):
    # インスタンス・セグメンテーションの結果の確認
    # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
    print(outputs["instances"].pred_classes)
    print(outputs["instances"].pred_boxes)

def visualize_instance(im, cfg, outputs):
    # 画面表示
    # We can use `Visualizer` to draw the predictions on the image.
    v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
    out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
    cv2.imshow("", out.get_image()[:, :, ::-1])
    cv2.waitKey(15)

import cv2
im = cv2.imread('000000439715.jpg')
cfg = setup_config('COCO-PanopticSegmentation/panoptic_fpn_R_101_3x.yaml')
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
look_instance(outputs)
visualize_instance(im, cfg, outputs)

次の Python プログラムを実行する

Panoptic FPN R101 によるパノプティック・セグメンテーション．

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt のプログラムをもとに作成

Detectron2 の学習済みモデルは https://github.com/facebookresearch/detectron2/blob/main/MODEL_ZOO.md

「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

import detectron2
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog, DatasetCatalog

def setup_config(configfile):
    cfg = get_cfg()
    # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
    cfg.merge_from_file(model_zoo.get_config_file(configfile))
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
    # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url(configfile)
    return cfg

def look_instance(outputs):
    # インスタンス・セグメンテーションの結果の確認
    # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
    print(outputs["instances"].pred_classes)
    print(outputs["instances"].pred_boxes)

def visualize_instance(im, cfg, outputs):
    # 画面表示
    # We can use `Visualizer` to draw the predictions on the image.
    v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
    out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
    cv2.imshow("", out.get_image()[:, :, ::-1])
    cv2.waitKey(15)

import cv2
im = cv2.imread('000000439715.jpg')
cfg = setup_config('Misc/panoptic_fpn_R_101_dconv_cascade_gn_3x.yaml')
predictor = DefaultPredictor(cfg)
outputs = predictor(im)
look_instance(outputs)
visualize_instance(im, cfg, outputs)

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページ »で説明再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ） [image]