教師データ無しでの画像復元 (DmitryUlyanov/deep-image-prior,Python,CUDA 9.2,pytorch, torchvision を使用)
GitHub で公開されている DmitryUlyanov / deep-image-prior は,画像復元(画像のノイズ除去 (image restoration))の研究成果.超解像(super-resolution), ノイズ除去(denoisng), インペインティング(inpainting)など,画像復元全般についての機能を持つ Python のソースコードが公開され,簡単に追試ができる.学習にも役立つ.
ソフトウェアの利用条件は,利用者自身で確認すること.
このページは, Windows での pytorch 0.41 のインストール手順を示すことと, 画像のノイズ除去 (image restoration) におけるAIの応用例の紹介のため,掲載している.
前準備
Visual Studio Community 2017 のインストール
NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある.
NVIDIA CUDA 10.0 のインストールの前に, Visual Studio Commnity 2017 のインストールを行う.
Visual Studio Commnity 2017 のインストールは, https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び,「ダウンロード」をクリック. その後表示されるダウンロードの画面で, 「Visual Studio Commnity 2017」を選ぶ. インストール時には「C++ によるデスクトップ開発」をチェックしてインストールする.
Python 3.7,Git,CMake のインストール(Windows 上)
Pythonは,プログラミング言語の1つ. Gitは,分散型のバージョン管理システム. CMakeは,クロスプラットフォームのビルドシステム生成ツール.
【手順】
- Windows で,コマンドプロンプトを管理者として実行
コマンドプロンプトを管理者として実行: 別ページ »で説明
次のコマンドを実行
次のコマンドは,Python ランチャーとPython 3.7とGitとCMakeをインストールし,Gitにパスを通すものである.
次のコマンドでインストールされるGitは 「git for Windows」と呼ばれるものであり, Git,MinGW などから構成されている.
winget install --scope machine Python.Launcher winget install --scope machine Python.Python.3.7 winget install --scope machine Git.Git powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\Git\cmd\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")" winget install --scope machine Kitware.CMake powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\CMake\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
【関連する外部ページ】
- Python の公式ページ: https://www.python.org/
- Git の公式ページ: https://git-scm.com/
- CMake の公式ダウンロードページ: https://cmake.org/download/
【サイト内の関連ページ】
【関連項目】 Python, Git バージョン管理システム, Git の利用, CMake ビルドシステム生成ツール, CMake の使用方法
Visual Studio Community 2017 のインストール
NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある.
NVIDIA CUDA 10.0 のインストールの前に, Visual Studio Commnity 2017 のインストールを行う.
Visual Studio Commnity 2017 のインストールは, https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び,「ダウンロード」をクリック. その後表示されるダウンロードの画面で, 「Visual Studio Commnity 2017」を選ぶ. インストール時には「C++ によるデスクトップ開発」をチェックしてインストールする.
NVIDIA ドライバのインストール(Windows 上)
NVIDIA ドライバ
NVIDIA ドライバは,NVIDIA製GPUを動作させるための重要なソフトウェアである.このドライバをインストールすることにより,GPUの性能を引き出すことができ,グラフィックス関連のアプリ,AI関連のアプリの高速化が期待できる.
ドライバはNVIDIA公式サイトである https://www.nvidia.co.jp/Download/index.aspx?lang=jp からダウンロードできる.このサイトからダウンロードするときには,グラフィックスカードとオペレーティングシステムを選択する. なお,NVIDIA GeForce Experiance を用いてインストールすることも可能である.
【サイト内の関連ページ】
- NVIDIA グラフィックス・ボードの確認
Windows で,NVIDIA グラフィックス・ボードの種類を調べたいときは, 次のコマンドを実行することにより調べることができる.
wmic path win32_VideoController get name
- NVIDIA ドライバのダウンロード
NVIDIA ドライバは,以下の NVIDIA 公式サイトからダウンロードできる.
- ダウンロードの際には,使用しているグラフィックス・ボードの型番とオペレーティングシステムを選択する.
NVIDIA CUDA ツールキット 10.0 のインストール(Windows 上)
NVIDIA CUDA ツールキットのインストール時の注意点
NVIDIAのGPUを使用して並列計算を行うためのツールセット
主な機能: GPU を利用した並列処理,GPU のメモリ管理,C++をベースとした拡張言語とAPIとライブラリ
【NVIDIA CUDA ツールキットの動作に必要なもの】
- CUDA対応のNVIDIA GPUが必要.
そのために,NVIDIA グラフィックス・ボードを確認する. Windows で,NVIDIA グラフィックス・ボードの種類を調べたいときは, 次のコマンドを実行することにより調べることができる.
wmic path win32_VideoController get name
- NVIDIA ドライバのダウンロードとインストール
NVIDIA ドライバは,以下の NVIDIA 公式サイトからダウンロードできる. ダウンロードの際には,使用しているグラフィックス・ボードの型番とオペレーティングシステムを選択する.
- Windows では,インストール前に,Build Tools for Visual Studio もしくは Visual Studio をインストールしておくことが必要である.
【Windows でインストールするときの注意点】
- Windows では, NVIDIA CUDA ツールキットのインストール中は,なるべく他のウインドウはすべて閉じておくこと.
- NVIDIA CUDA ツールキットのインストールが終わったら,ユーザ環境変数 TEMP の設定を行う.
Windows のユーザ名が日本語のとき,nvcc がうまく動作しないエラーを回避するためである.
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために, コマンドプロンプトで,次のコマンドを実行する.
mkdir C:\TEMP powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"
【関連する外部ページ】
- NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
- NVIDIA CUDA ツールキット の公式のドキュメント: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
- NVIDIA CUDA ツールキットのインストールに関する,NVIDIA CUDA クイックスタートガイドの公式ページ: https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html
【関連項目】 NVIDIA CUDA ツールキット, NVIDIA CUDA ツールキット 12.5 のインストール(Windows 上), NVIDIA CUDA ツールキット 11.8 のインストール(Windows 上)
TensorFlow 1.15.5 が必要とする NVIDIA CUDA ツールキットと NVIDIA cuDNN のバージョンの確認
TensorFlow 1.15.5 を動かすために,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 を使う.
(10.2, 10.1 は不可.実際に試みて検証済み).
NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 の根拠: cudart64_100.dll, cudnn64_7.dll が必要
インストール手順
- NVIDIA CUDA ツールキットのアーカイブのページを開く
- NVIDIA CUDA ツールキットのバージョンを選ぶ
ここでは,NVIDIA CUDA ツールキットの10.0を選んでいる
- 「Windows」,「10」,「exe [local]」を選ぶ.
- 「Base Installer」の右横の「Download」をクリックして,.exe ファイルをダウンロード
- exe ファイルのダウンロードが始まる
- ダウンロードした .exe ファイルを実行する.
- 展開(解凍)先ディレクトリ(フォルダ)の指定.
既定(デフォルト)のままでよい.「OK」をクリック.
- 展開(解凍)が自動で行われるので,しばらく待つ.
- ライセンス条項の確認.
- インストールオプションは,「カスタム(詳細)」を選び,「次へ」をクリック.
- コンポーネントを確認する.
「CUDA」にチェックする.その他は,必要なものがあればチェックする.「次へ」をクリック.
複数の版の NVIDIA CUDA ツールキットをインストールする場合には,古い版のNVIDIA CUDA ツールキットをインストールするときに「CUDA」だけを選ぶようにする.
- インストール場所の選択は,既定(デフォルト)のままでよい.「次へ」をクリック.
- Visual Studio Integration について表示された場合
表示されなくても問題はない.
表示された場合には,NVIDIA CUDA のインストールを中止して, Visual Studio Commnity 2017 のインストールを行う.
Visual Studio Commnity 2017 のインストールは, https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び,「ダウンロード」をクリック. その後表示されるダウンロードの画面で, 「Visual Studio Commnity 2017」を選ぶ. インストール時には「C++ によるデスクトップ開発」をチェックしてインストールする.
- このとき,Windows セキュリティの画面が開くことがある.開いた場合には,「インストール」をクリック.
- インストールが始まるので,確認する.
- このとき,グラフィックス・カードのドライバのインストールについての画面が表示される場合がある.「インストール」をクリックして,インストールを続行する.
- Visual Studio がインストール済みのときは,Nsight Visual Studio がインストールされたことが確認できる.確認したら「次へ」をクリック.
Visual Studio をインストールしていないときは,Nsight for Visual Studio はインストールされない.
- インストール終了の確認.「閉じる」をクリック.
* 「コンピュータを再起動してください」と表示される場合がある.そのときは,再起動する.
- GeForce Experience が自動で開く場合がある
- 利用条件について表示されたときは、よく確認し、納得できる場合のみ同意・続行する
- リリースハイライトが表示される場合がある.
リリースハイライトを確認したら,「x」をクリックして閉じる.
- このとき,最新版への更新が始まり,起動に時間がかかることがある.
そして「お使いのGPU向けの新しいドライバーが入手可能です」と表示されることがある.そのときは,新しいドライバをインストールする.
NVIDIA cuDNN 7.6.5 のインストール
インストールするNVIDIA cuDNN のバージョンは 7.6.5 for CUDA 10.0
NVIDIA cuDNN
NVIDIA cuDNN は, NVIDIA CUDA ツールキット上で動作するディープラーニング・ライブラリである. 畳み込みニューラルネットワークや リカレントニューラルネットワークなど,さまざまなディープラーニングで利用されている.
Windows で,NVIDIA cuDNN の利用時に 「Could not locate zlibwapi.dll. Please make sure it is in your library path!」と表示されるときは, ZLIB DLL をインストールすること.
【関連する外部ページ】
- NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
NVIDIA cuDNN のインストール(Windows 上)の概要
- NVIDIA Developer Program メンバーシップへの加入が必要.
NVIDIA Developer Program の公式ページ: https://developer.nvidia.com/developer-program
- 公式サイトより,使用中の NVIDIA CUDA のバージョンに適合するzipファイルをダウンロード.ダウンロードしたファイルを展開(解凍).展開先のbinフォルダにパスを通す.システム環境変数CUDNN_PATHを設定.パスが正しく設定されたか確認(where cudnn64_8.dllコマンドでエラーが出ないことを確認)
NVIDIA cuDNN のダウンロードとインストールの手順
- NVIDIA cuDNN のウェブページを開く
- ダウンロードしたいので,cuDNNのところにある「Download cuDNN」をクリック.
- NVIDIA Developer Program メンバーシップに入る
NVIDIA cuDNN のダウンロードのため.
「Join now」をクリック.その後,画面の指示に従う. 利用者本人が,電子メールアドレス,表示名,パスワード,生年月日を登録.利用条件等に合意.
- ログインする
- 調査の画面が出たときは,調査に応じる
- ライセンス条項の確認
- 「Archived cuDNN Releases」をクリック
- ダウンロードしたいバージョンを選ぶ
ここでは「cuDNN v 7.6.5, for CUDA 10.0」を選んでいる.
このとき,画面の「for CUDA ...」のところを確認し,使用するNVIDIA CUDA のバージョンに合うものを選ぶこと.
- Windows にインストールするので Windows 版を選ぶ
- ダウンロードが始まる.
- ダウンロードした .zip ファイルを展開(解凍)する.展開の結果 cuda という名前のディレクトリができる.その中のサブディレクトリを確認しておく.
- NVIDIA CUDA ツールキットをインストールしたディレクトリは,「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0」
のようになっている.確認する.
- 確認したら,
さきほど展開してできたディレクトリcuda の下にあるすべてのファイルとディレクトリを,NVIDIA CUDA ツールキットをインストールしたディレクトリにコピーする
インストール後に行う環境変数の設定
「NVIDIA cuDNN をインストールしたディレクトリ」をもとに環境変数を設定する.
「NVIDIA cuDNN をインストールしたディレクトリ」が C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 の場合には,次のように設定する.
- すでに,c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin には,パスが通っている.
- Windows の システム環境変数 CUDNN_PATH に,c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 を設定
コマンドプロンプトを管理者として実行: 別ページ »で説明
次のコマンドを実行
powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\", \"Machine\")"
- Windows の システム環境変数 Pathに,次が含まれていることを確認
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin
パスの確認
次の操作により,cudnn64_7.dll にパスが通っていることを確認する
Windows のコマンドプロンプトを開き,次のコマンドを実行する.エラーメッセージが出ないことを確認.
where cudnn64_7.dll
PyTorch のインストール(Windows 上)
- Windows で,コマンドプロンプトを管理者として実行
コマンドプロンプトを管理者として実行: 別ページ »で説明
- PyTorch のページを確認
- 次のようなコマンドを実行(実行するコマンドは,PyTorch のページの表示されるコマンドを使う).
次のコマンドを実行することにより, PyTorch 2.3 (NVIDIA CUDA 11.8 用)がインストールされる. 但し,Anaconda3を使いたい場合には別手順になる.
事前に NVIDIA CUDA のバージョンを確認しておくこと(ここでは,NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする).
PyTorch で,GPU が動作している場合には,「torch.cuda.is_available()」により,True が表示される.
python -m pip install -U --ignore-installed pip python -m pip uninstall -y torch torchvision torchaudio torchtext xformers python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
Anaconda3を使いたい場合には, Anaconda プロンプト (Anaconda Prompt) を管理者として実行し, 次のコマンドを実行する. (PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため,Anaconda3を使わないことも検討して欲しい).
conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia py -c "import torch; print(torch.__version__, torch.cuda.is_available())"
【サイト内の関連ページ】
【関連する外部ページ】
DmitryUlyanov / deep-image-prior をダウンロードし,動かしてみる
ダウンロード
ここでは,Windows で %HOMEPATH% にダウンロードする手順を示す.
- 前提ソフトウエア
C:\venv\py37\Scripts\activate.bat python -m pip install -U numpy scipy matplotlib scikit-image==0.17.2 jupyter
- ダウンロード
cd /d c:%HOMEPATH% rmdir /s /q deep-image-prior git clone https://github.com/DmitryUlyanov/deep-image-prior
動作確認
いままでの手順で,いくつかの Python プログラムは,簡単に試せるようになる.
「jupyter notebook <ノートブックファイル名>」で動かす
- ノイズ除去(denoisng)
cd /d c:%HOMEPATH% cd deep-image-prior C:\venv\py37\Scripts\activate.bat jupyter notebook denoising.ipynb
- 超解像(super-resolution)
cd /d c:%HOMEPATH% cd deep-image-prior C:\venv\py37\Scripts\activate.bat jupyter notebook super-resolution.ipynb
- 画像復元 (画像のノイズ除去 (image restoration))
cd /d c:%HOMEPATH% cd deep-image-prior C:\venv\py37\Scripts\activate.bat jupyter notebook restoration.ipynb