MiVOS のインストールと動作（Windows 上）

【目次】

1. 前準備
2. MiVOS のインストール（Windows 上）
3. MiVOS の動作確認（Windows 上）

MiVOS

MiVOSは、対話型のビデオオブジェクトセグメンテーション(interactive video object segmentation)の新しい手法として提案されている。このシステムはユーザーのインタラクションを取り入れつつ、特定のフレームでのセグメンテーション結果を他のフレームに効果的に伝搬させることができる。インタラクションと伝搬を分離するため、MiVOSはInteraction-to-Mask、Propagation、そしてDifference-Aware Fusionの3つの主要モジュールを採用している。2021年発表。

【文献】

Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, NeurIPS, also arXiv:2106.05210v2, 2021.

https://arxiv.org/pdf/2106.05210v2.pdf

Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, CVPR, also, arXiv:2103.07941v3, 2021.

https://arxiv.org/pdf/2103.07941v3.pdf

【関連する外部ページ】

• GitHub の公式のページ(STCNバージョン) https://github.com/hkchengrex/MiVOS/tree/MiVOS-STCN
• GitHub の公式ページ: https://github.com/hkchengrex/MiVOS
• Paper with Code のページ: https://paperswithcode.com/paper/modular-interactive-video-object-segmentation

前準備

Git のインストール（Windows 上）

Gitは，バージョン管理システム．ソースコードの管理や複数人での共同に役立つ．

【サイト内の関連ページ】

Windows での Git のインストール: 別ページ »で説明している．

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

Python のインストール（Windows 上）

【サイト内の関連ページ】

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
• Windows での Anaconda3 のインストール: 別ページ »で説明している．
• Python のまとめ: 別ページ »にまとめている．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN 8.6 のインストール（Windows 上）

【サイト内の関連ページ】

NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．

• Windows での Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.6 のインストールと動作確認: 別ページ »で説明している．

【関連する外部ページ】

• Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
• NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
• NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
• NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
• winimage の ZLIB DLL の公開ページ: http://www.winimage.com/zLibDll/

PyTorch のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. PyTorch のページを確認

   PyTorch のページ: https://pytorch.org/index.html

3. 次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドを使う）．

   次のコマンドは， PyTorch 2.0 （NVIDIA CUDA 11.8 用） をインストールする． 但し，Anaconda3を使いたい場合には別手順になる．

   事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする）．

   PyTorch で，GPU が動作している場合には，「torch.cuda.is_available()」により，True が表示される．

   python -m pip install -U --ignore-installed pip
   python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118
   python -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
   

   

   Anaconda3を使いたい場合には， Anaconda プロンプト (Anaconda Prompt) を管理者として実行し， 次のコマンドを実行する． （PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため，Anaconda3を使わないことも検討して欲しい）．

   conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia
   py -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
   

   【サイト内の関連ページ】

   • Windows での PyTorch のインストール: 別ページ »で説明している．

   【関連する外部ページ】

   • PyTorch のページ: https://pytorch.org/index.html

MiVOS のインストール（Windows 上）

daivis-interactive のインストール

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. ダウンロード（モデルのダウンロードも行う）

   python -m pip install -U setuptools
   cd %HOMEPATH%
   rmdir /s /q davis-interactive
   git clone https://github.com/albertomontesg/davis-interactive
   

3. setup.py の編集

   cd %HOMEPATH%
   cd davis-interactive
   notepad setup.py
   

   「extra_compile_args=['-Wno-cpp', '-Wno-unused-function', '-std=c99'],」の行を， 「extra_compile_args=[],」に変えて保存する． 次のようになる．

   

4. python setup.py build
   python setup.py develop
   python setup.py install
   

MiVOS のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. ダウンロード（モデルのダウンロードも行う）

   python -m pip install -U PyQt5
   python -m pip install -U opencv-python cython progressbar networkx gitpython gdown
   cd %HOMEPATH%
   rmdir /s /q MiVOS
   git clone https://github.com/hkchengrex/MiVOS
   cd MiVOS
   python download_model.py
   

3. 終了の確認

   エラーメッセージが出ていないこと

   

MiVOS の動作確認（Windows 上）

1. Windows で，コマンドプロンプトを実行
2. 次のコマンドを実行

   「--video 1-1.avi」のところには処理したいビデオファイル名， 「--resolution 256」には解像度を指定する．

   メモリが足りずに実行できない場合でも， 「--resolution」の値を調整することにより実行できるようになる場合がある．

   cd %HOMEPATH%
   cd MiVOS
   python interactive_gui.py --video 1-1.avi --resolution 256
   

   
3. 画面が開くので確認
   
4. 右側の説明を確認

   説明に従い，Scribble, Click， Free Hand により画面の中のオブジェクトを指定． その後「Propagate」をクリック

   
5. スライダーの操作と画面により結果を確認できる．