サイトの全体構成

MMEditing のインストールと動作確認（超解像，画像のノイズ除去，イメージ・インペインティング，イメージ・マッティング）（PyTorch，Python を使用）（Windows 上）

MMEditing は， OpenMMLab の構成物で，イメージ・インペインティング(image inpainting)，画像のノイズ除去 (画像のノイズ除去 (image restoration)), イメージ・マッティング (image matting), 超解像 (super resolution), 画像生成の機能を持つ．

文献
MMEditing Contributors, OpenMMLab Editing Estimation Toolbox and Benchmark, https://github.com/open-mmlab/mmediting, 2020.
MMEditing の GitHub のページ: https://github.com/open-mmlab/mmediting
MMEditing の公式ドキュメント: https://mmdetection.readthedocs.io
MMEditing の image matting の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/matting_tutorial.ipynb
MMEditing の画像のノイズ除去 (image restoration) の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/restorer_basic_tutorial.ipynb
MMEditing の公式の学習済みモデル: https://mmediting.readthedocs.io/en/latest/

【目次】

前準備
MMEditing のインストール（Windows 上）
MMEditing の動作確認（Windows 上）

前準備

Git のインストール（Windows 上）

Windows での Git のインストール: 別ページ »で説明

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

7-Zip のインストール（Windows 上）

Windows での 7-Zip のインストール: 別ページ »で説明

【関連する外部ページ】

7-Zip の公式ページ: https://sevenzip.osdn.jp/

Python のインストール（Windows 上）

Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明

【サイト内の関連ページ】

Python のまとめ: 別ページ »にまとめ

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN のインストール（Windows 上）

Windows での Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.6 のインストールと動作確認: 別ページ »で説明

【関連する外部ページ】

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
winimage の ZLIB DLL の公開ページ: http://www.winimage.com/zLibDll/

PyTorch のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明
PyTorch のページを確認
PyTorch のページ: https://pytorch.org/index.html
次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドを使う）．
次のコマンドは， PyTorch 2.0 （NVIDIA CUDA 11.8 用）をインストールする．事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする）．
```
python -m pip install -U pip
python -m pip install -U torch torchvision torchaudio numpy numba --index-url https://download.pytorch.org/whl/cu118
python -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
```
（途中省略）

MMEditing のインストール（Windows 上）

インストールの方法は複数ある．ここでは， NVIDIA CUDA ツールキットを使うことも考え，インストールしやすい方法として，ソースコードからビルドしてインストールする方法を案内している．

MMCV のインストール（Windows 上）

MMCV のインストールを行う．

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明
PyTorch がインストールできていることを確認するために，PyTorch のバージョンを表示
```
python -c "import torch; TORCH_VERSION = '.'.join(torch.__version__.split('.')[:2]); print(TORCH_VERSION)"
```
PyTorch が NVIDIA CUDA ツールキットを認識できていることを確認するために， PyTorch が認識しているNVIDIA CUDA ツールキットのバージョンを表示
このとき，実際には 11.8 をインストールしているのに，「cu117」のように古いバージョンが表示されることがある．このような場合は，気にせずに続行する．
```
python -c "import torch; CUDA_VERSION = torch.__version__.split('+')[-1]; print(CUDA_VERSION)"
```
MMCV 1.6.2 のインストール
MMTracking が MMCV 1.6.2 に依存している (2022/12)． MMTracking を利用するので MMCV 1.6.2 をインストール
https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による
```
python -m pip install -U pip
python -m pip install -U opencv-python
python -m pip install mmcv-full==1.6.2
```

MMCV をインストールできたことの確認

python -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version()); print(get_compiler_version())"

MIM，MMEditing のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

MIM, MMClassification, MMSegmentation, MMDetection, MMTracking, MMEditing のインストール．

python -m pip install -U git+https://github.com/open-mmlab/mim.git
python -m pip install -U git+https://github.com/open-mmlab/mmediting.git
python -c "import mmedit; print(mmedit.__version__)"

MMEditing のファイルをダウンロードし，使える状態にする

cd %HOMEPATH%
rmdir /s /q mmediting
git clone https://github.com/open-mmlab/mmediting.git
cd mmediting
python setup.py develop

MMEditing のデモファイルのダウンロード

cd %HOMEPATH%
cd mmediting
curl -O https://download.openmmlab.com/mmediting/demo_files.zip 
"c:\Program Files\7-Zip\7z.exe" x demo_files.zip

MMEditing の動作確認（Windows 上）

超解像 (super resolution) の実行

次のコマンドを実行

SRCNN による画像の超解像 (super resolution) の実行

学習済みモデルを使用．

MMEditing の SRCNN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/srcnn/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/restoration_demo.py ./configs/restorers/srcnn/srcnn_x4k915_g1_1000k_div2k.py https://download.openmmlab.com/mmediting/restorers/srcnn/srcnn_x4k915_1x16_1000k_div2k_20200608-4186f232.pth ./demo_files/lq_images/bird.png ./outputs/bird_SRCNN.png

python -c "import mmcv; mmcv.imshow('./demo_files/lq_images/bird.png')"
python -c "import mmcv; mmcv.imshow('./outputs/bird_SRCNN.png')"

ESRGAN による画像の超解像 (super resolution) の実行

学習済みモデルを使用．

MMEditing の ESRGAN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/esrgan/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/restoration_demo.py ./configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py https://download.openmmlab.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth ./demo_files/lq_images/bird.png ./outputs/bird_ESRGAN.png

python -c "import mmcv; mmcv.imshow('./demo_files/lq_images/bird.png')"
python -c "import mmcv; mmcv.imshow('./outputs/bird_ESRGAN.png')"

EDVR による連続画像の超解像 (super resolution) の実行

学習済みモデルを使用．

MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/restoration_video_demo.py ./configs/restorers/edvr/edvrm_wotsa_x4_g8_600k_reds.py https://download.openmmlab.com/mmediting/restorers/edvr/edvrm_wotsa_x4_8x4_600k_reds_20200522-0570e567.pth demo_files/lq_sequences/city/ ./outputs/city_EDVR --window_size=5

python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000000.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000000.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000001.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000001.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000002.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000002.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000003.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000003.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000004.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000004.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000005.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_EDVR/00000005.png')"

BasicVSR (Recurrent framework) の実行

学習済みモデルを使用．

MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/restoration_video_demo.py ./configs/restorers/basicvsr/basicvsr_reds4.py https://download.openmmlab.com/mmediting/restorers/basicvsr/basicvsr_reds4_20120409-0e599677.pth demo_files/lq_sequences/city/ ./outputs/city_BasicVSR

python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000000.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000000.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000001.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000001.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000002.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000002.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000003.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000003.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000004.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000004.png')"
python -c "import mmcv; mmcv.imshow('./demo_files/lq_sequences/city/00000005.png')"
python -c "import mmcv; mmcv.imshow('./outputs/city_BasicVSR/00000005.png')"

image inpainting の実行

DeepFillv2 による image impainting の実行

学習済みモデルを使用．

MMEditing の DeepFillv2 の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/deepfillv2/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/inpainting_demo.py configs/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba.py https://download.openmmlab.com/mmediting/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba_20200619-c96e5f12.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png

python -c "import mmcv; mmcv.imshow('./tests/data/image/celeba_test.png')"
python -c "import mmcv; mmcv.imshow('./tests/data/pred/inpainting_celeba.png')"

Global&Local による image impainting の実行

学習済みモデルを使用．

MMEditing の Global&Local の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/global_local/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/inpainting_demo.py configs/inpainting/global_local/gl_256x256_8x12_celeba.py https://download.openmmlab.com/mmediting/inpainting/global_local/gl_256x256_8x12_celeba_20200619-5af0493f.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png

python -c "import mmcv; mmcv.imshow('./tests/data/image/celeba_test.png')"
python -c "import mmcv; mmcv.imshow('./tests/data/pred/inpainting_celeba.png')"

image matting の実行

GCA による image matting の実行

学習済みモデルを使用．

MMEditing の GCA の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/gca/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/matting_demo.py configs/mattors/gca/gca_r34_4x10_200k_comp1k.py https://download.openmmlab.com/mmediting/mattors/gca/gca_r34_4x10_200k_comp1k_SAD-34.77_20200604_213848-4369bea0.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png

python -c "import mmcv; mmcv.imshow('./tests/data/merged/GT05.jpg')"
python -c "import mmcv; mmcv.imshow('./tests/data/trimap/GT05.png')"
python -c "import mmcv; mmcv.imshow('./tests/data/pred/GT05.png')"

IndexNet による image matting の実行

学習済みモデルを使用．

MMEditing の IndexNet の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/indexnet/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/matting_demo.py configs/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k.py https://download.openmmlab.com/mmediting/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k_SAD-45.6_20200618_173817-26dd258d.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png

python -c "import mmcv; mmcv.imshow('./tests/data/merged/GT05.jpg')"
python -c "import mmcv; mmcv.imshow('./tests/data/trimap/GT05.png')"
python -c "import mmcv; mmcv.imshow('./tests/data/pred/GT05.png')"

DIM による image matting の実行

学習済みモデルを使用．

MMEditing の DIM の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/dim/README.md

コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/matting_demo.py configs/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k.py https://download.openmmlab.com/mmediting/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k_SAD-50.6_20200609_111851-647f24b6.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png

python -c "import mmcv; mmcv.imshow('./tests/data/merged/GT05.jpg')"
python -c "import mmcv; mmcv.imshow('./tests/data/trimap/GT05.png')"
python -c "import mmcv; mmcv.imshow('./tests/data/pred/GT05.png')"

demos URL: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

python demo/generation_demo.py configs/example_config.py work_dirs/example_exp/example_model_20200202.pth demo/demo.jpg demo/demo_out.jpg

python demo/generation_demo.py configs/example_config.py work_dirs/example_exp/example_model_20200202.pth demo/demo.jpg demo/demo_out.jpg --unpaired_path demo/demo_unpaired.jpg

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページ »で説明再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ） [image]