NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.0, NVIDIA cuDNN v8.2.1 のインストールについて

Windows での，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.0，NVIDIA cuDNN v8.2.1 のインストール，nvcc の使用例をスクリーンショット等で説明する．

TensorFlow 2.4 の運用を想定している． NVIDIA CUDA ツールキットは，NVIDIA社が提供している GPU 用のプラットフォームである． NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき，NVIDIA CUDA ツールキットを利用することができる．

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

【目次】

NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.5.2, NVIDIA cuDNN v8.3.3 のインストールについて
Build Tools for Visual Studio 2019 （ビルドツール for Visual Studio 2019）のインストール
NVIDIA ドライバ，NVIDIA CUDA ツールキットのインストール
インストール後の確認
NVIDIA cuDNN v8.2.1 のインストール
nvcc を動かしてみる（Build Tools for Visual Studio を利用）
NVIDIA CUDA 11.0 の動作確認のため，TensorFlow 2.4.4 を実行してみる

【サイト内の関連ページ】

Windows での主要なソフトウエアのインストールと設定: 別ページで説明している．

先人に感謝．

【外部へのリンク】

NVIDIA ドライバのダウンロードページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットのアーカイブのページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットのページ: https://developer.nvidia.com/cuda-toolkit
Windows でのNVIDIA CUDA ツールキットのインストールガイド: https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/

NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.0, NVIDIA cuDNN v8.2.1 のインストールについて

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある． NVIDIA CUDA ツールキットは，NVIDIA社が提供している GPU 用のプラットフォームである． NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき，NVIDIA CUDA ツールキットを利用することができる．

NVIDIA ドライバ，NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストールの要点と注意点

TensorFlow, PyTorch を使うためには，インストールする NVIDIA CUDA ツールキットのバージョン，NVIDIA cuDNN のバージョンに注意する必要がある．
そのことについて，より詳しい説明は：別ページで説明している．
NVIDIA CUDA ツールキットのダウンロード(Windows, Linux):
NVIDIA CUDA ツールキットのアーカイブのページ: https://developer.nvidia.com/cuda-toolkit-archive
ZLIB DLL のダウンロード: https://www.winimage.com/zLibDll で zlib123dllx64.zip
NVIDIA cuDNN のダウンロード， NVIDIA CUDA ツールキットに合致する NVIDIA cuDNN のバージョンの確認 (Windows, Linux):
NVIDIA cuDNN のページ: https://developer.nvidia.com/cudnn
必ず，使用する NVIDIA CUDA ツールキットにあう NVIDIA cuDNN を使うこと．
NVIDIA cuDNN のインストール後に，必要に応じて，環境変数 CUDNN_PATH を設定する．

Windows での追加の注意点

前準備として，Build Tools for Visual StudioもしくはVisual Studio を，前もってインストールしておく．
NVIDIA CUDA ツールキットの nvcc の動作に必要．
NVIDIA CUDA 11.6 で使うWindows での Build Tools for Visual Studio 2019 のインストール: 別ページで説明している．
NVIDIA CUDA 11.5 などで使うWindows での Build Tools for Visual Studio 2019 のインストール: 別ページで説明している．
Windows で，NVIDIA グラフィックス・カードの種類を調べたいときは， hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
NVIDIA CUDA ツールキットのインストーラには，NVIDIA ドライバが同封されているので，利用することができる．
但し，最新版ではない NVIDIA CUDA ツールキットを使うときには， NVIDIA CUDA ツールキットのインストーラに同封のNVIDIA ドライバは古いので，問題があるので， 前準備として，NVIDIA ドライバのインストールを行うこと．
次のページから，最新版の NVIDIA ドライバをダウンロードできる．
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
インストール中は，他のウインドウはすべて閉じておくことが望ましい．
他のウインドウを開いている場合，NVIDIA CUDA ツールキットのインストールが失敗する場合がある．
Windows では，NVIDIA cuDNN のインストール後に，手動で，パスを通す必要がある．
- NVIDIA cuDNN の8.3 より前のバージョン:
  zip ファイルを展開したら，展開先の下の bin にパスを通す．
- NVIDIA cuDNN v8.3 系列:
  .exe ファイルの実行により「C:\Program Files\NVIDIA\CUDNN\v8.3 」にインストールされるので，C:\Program Files\NVIDIA\CUDNN\v8.3\bin にパスを通す．
- NVIDIA cuDNN の8.4 系列:
  zip ファイルを展開したら，展開先の下の bin にパスを通す．

TensorFlow, PyTorch が必要とするNVIDIA CUDA ツールキットとNVIDIA cuDNN のバージョンの確認

TensorFlow のバージョンは何でもよい場合（TensorFlow の特定のバージョンを必要としない場合，あるいは，TensorFlow を必要としない場合）
2022年10月時点では TensorFlow の最新版は 2.10 である．そして，TensorFlow 2.10 は問題なく動作するので，必要なら 2.10 を使うことにする．
TensorFlow 2.10 を動作させるために， NVIDIA CUDA ツールキット11.8, NVIDIA cuDNN 8.6 (2022/10時点) を使う．
その根拠：
- TensorFlow 2.10 の動作に cudart64_110.dll, cusolver64_11.dll, cudnn64_8.dll が必要である．
- そのために，最新の NVIDIA cuDNNを使う．
- そして，最新の NVIDIA cuDNNが対応している NVIDIA CUDA ツールキットは， NVIDIA cuDNN のページ https://developer.nvidia.com/cudnn で確認できる．
  必ずしも，最新の NVIDIA CUDA ツールキットを使えるとは限らないので確認が必要．
過去の TensorFlow のバージョンを使う場合
2022年10月時点では TensorFlow の最新版は 2.10 である．過去の TensorFlow のバージョンを使う場合は， NVIDIA CUDA ツールキット, NVIDIA cuDNN のバージョンに注意が必要な場合がある．
詳しくは，別ページで説明しているので，別ページを確認すること．

Build Tools for Visual Studio 2019 （ビルドツール for Visual Studio 2019）のインストール

Build Tools for Visual Studio は，Windows で動くMicrosoft の C++ コンパイラーである．

ダウンロードページ

https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/

【インストール手順の詳細（別ページ） 】

Build Tools for Visual Studio 2019 （ビルドツール for Visual Studio 2019）のインストール: 別ページで説明している．

NVIDIA ドライバ，NVIDIA CUDA ツールキットのインストール

ダウンロードとインストールの手順

NVIDIA CUDA クイックスタートガイドの公式ページ: https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html

NVIDIA CUDA ツールキットのアーカイブのページを開く
https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットのバージョンを選ぶ
ここでは，「11.0.3」を選んでいる
「Windows」，「10」，「exe [local]」を選ぶ．
Windows 11 のときは，「11」を選んでください．
「Base Installer」の右横の「Download」をクリックして，.exe ファイルをダウンロード
exe ファイルのダウンロードが始まる
ダウンロードした .exe ファイルを実行する．
展開（解凍）先ディレクトリ（フォルダ）の指定．
既定（デフォルト）のままでよい．「OK」をクリック．
展開（解凍）が自動で行われるので，しばらく待つ．
ライセンス条項の確認．
インストールオプションは，「カスタム（詳細）」を選び，「次へ」をクリック．
コンポーネントを確認する．
「CUDA」にチェックする．その他は，必要なものがあればチェックする．「次へ」をクリック．
このとき，NVIDIA ドライバを選択することもできる（NVIDIA ドライバが未インストールであれば，インストールする）．

※ 但し，複数の版の NVIDIA CUDA ツールキットをインストールする場合には，古い版のNVIDIA CUDA ツールキットをインストールするときに「CUDA」だけを選ぶようにする．
インストール場所の選択は，既定（デフォルト）のままでよい．「次へ」をクリック．
Visual Studio Integration について表示された場合
表示されなくても問題はない．
表示された場合には，次のように判断する．
- Visual Studio をインストールする予定があるとき
  ここで，NVIDIA CUDA ツールキットのインストールを中止．先に， Visual Studio 2019 のインストールを行う．
- Visual Studio をインストールする予定がないとき
  NVIDIA CUDA ツールキットのインストールを中止する必要はない．
  あとで構わないので，Build Tools for Visual Studio 2019 （ビルドツール for Visual Studio 2019）のインストールを行っておく（Build Tools for Visual Studio 2019 （ビルドツール for Visual Studio 2019）のインストールが終わっていても，Visual Studio Community のインストールを行っていない場合には，この表示は出る）．
このとき，Windows セキュリティの画面が開くことがある．開いた場合には，「インストール」をクリック．
インストールが始まるので，確認する．
このとき，グラフィックス・カードのドライバのインストールについての画面が表示される場合がある．「インストール」をクリックして，インストールを続行する．
Visual Studio がインストール済みのときは，Nsight Visual Studio がインストールされたことが確認できる．確認したら「次へ」をクリック．

Visual Studio をインストールしていないときは，Nsight Visual Studio はインストールされない．表示は次のようになる．確認したら「次へ」をクリック．
インストール終了の確認．「閉じる」をクリック．

※ 「コンピュータを再起動してください」と表示される場合がある．そのときは，再起動する．
GeForce Experience が自動で開く場合がある
- 利用条件について表示されたときは、よく確認し、納得できる場合のみ同意・続行する
- リリースハイライトが表示される場合がある．
  リリースハイライトを確認したら，「x」をクリックして閉じる．
- このとき，最新版への更新が始まり，起動に時間がかかることがある．
  そして「お使いのGPU向けの新しいドライバーが入手可能です」と表示されることがある．そのときは，新しいドライバをインストールする．

インストール後の確認

環境変数の確認

Windows のシステム環境変数が自動で設定される

システム環境変数 PATH
バージョン 11.0 の場合
次のように自動設定される．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\libnvpp
```
※ 複数の版の CUDA ツールキットをインストールする場合には，複数のパスが設定されるこのとき・古い版の方が先に来ている場合には、後になるように調整する
システム環境変数 CUDA_PATH
バージョン 11.0 の場合
次のように自動設定される．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0
```
※ 複数の版の CUDA ツールキットをインストールしている場合には，最後にインストールしたものが設定される
その他
バージョン 11.0 の場合
システム環境変数 CUDA_PATH_V11_0
次のように自動設定される．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0
```

nvcc の確認

nvcc にパスが通っていることを確認する

Windows のコマンドプロンプトを開き、次のコマンドを実行する．エラーメッセージが出ないことを確認．

where nvcc

NVIDIA cuDNN v8.2.1 のインストール

【要点】

NVIDIA cuDNN のダウンロードページ: https://developer.nvidia.com/cudnn から cuDNN を入手
ダウンロードには，登録が必要．利用条件は利用者で確認すること．
ダウンロードしたら，Windows ならば，C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 のようなディレクトリ（「11.0」のところはバージョン番号）に展開（解凍）．そして，パスを通しておくこと

ダウンロードとインストールの手順

NVidia の cuDNN のウェブページを開く
https://developer.nvidia.com/cuDNN
ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
メンバーシップに入る
ログインする
調査の画面が出たときは，調査に応じる
ライセンス条項の確認
「Archived cuDNN Releases」をクリック
ダウンロードしたいバージョンを選ぶ
ここでは「cuDNN v 8.2.1, for CUDA 11.X」を選んでいる．
このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．
Windows にインストールするので Windows 版を選ぶ
ダウンロードが始まる．
ダウンロードした .zip ファイルを展開（解凍）する．展開の結果 cuda という名前のディレクトリができる．その中のサブディレクトリを確認しておく．

※ Windows での展開（解凍）のためのソフトには，「7-Zip」などがある．
NVIDIA CUDA ツールキットをインストールしたディレクトリは，「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0」のようになっている．確認する．
確認したら，さきほど展開してできたディレクトリcuda の下にあるすべてのファイルとディレクトリを，NVIDIA CUDA ツールキットをインストールしたディレクトリにコピーする

インストール後に行う環境変数の設定

「NVIDIA cuDNN をインストールしたディレクトリ」をもとに環境変数を設定する．

「NVIDIA cuDNN をインストールしたディレクトリ」が C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 の場合には，次のように設定する．

すでに，c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin には，パスが通っている．
Windows のシステム環境変数 CUDNN_PATH に，c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 を設定
コマンドプロンプトを 管理者として開き，次のコマンドを実行する．
```
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\", \"Machine\")"
```
Windows では，次の操作により，cudnn64_8.dll にパスが通っていることを確認する．
Windows のコマンドプロンプトを開き、次のコマンドを実行する．エラーメッセージが出ないことを確認．
```
where cudnn64_8.dll
```

nvcc を動かしてみる（Build Tools for Visual Studio を利用）

nvcc を動かしてみる

C/C++ をコマンドで使いたいので，Visual Studio の x64 Native Tools コマンドプロンプトを開く．
起動は，Windows のメニューで「Visual Studio 2019」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」を選ぶ．「x64」は，64ビット版の意味である．

※ 32ビットのNative Tools コマンドプロンプトでは nvcc が動かない．

以下の操作は，x64 Native Tools コマンドプロンプトで行う
確認のため，「where cl」を実行．
エラーメッセージが出ていないことを確認．
```
where cl
```
nvccの動作確認のため，
https://devblogs.nvidia.com/easy-introduction-cuda-c-and-c/に記載のソースコードを使用．まず，エディタを開く．ここではメモ帳 (notepad) を使っている．
x64 Native Tools コマンドプロンプトで，次のコマンドを実行する．ファイル名は hello.cu としている．
```
cd %HOMEPATH%
notepad hello.cu
```
その後，ファイルを編集し，ファイルを保存．
エディタで hello.cuのようなファイル名で保存．
ビルドと実行．
「nvcc hello.cu」で a.exe というファイルができる．「Max error: 0.000000」と表示されればＯＫ．

うまく動かないときは，まず，マイクロソフト C++ ビルドツールの動作を，別ページの手順により確認し，異常があれば，マイクロソフト C++ ビルドツールのインストールなどで対処．それでも動かないときは，NVIDIA CUDA ツールキット 11.0 のインストールしたときの作業に間違いがなかったかを再確認．
```
del a.exe
nvcc hello.cu
```
```
.\a.exe
```

NVIDIA CUDA 11.0 の動作確認のため，TensorFlow 2.4.4 を実行してみる

Python 3.8 をインストールの後，次のコマンドを実行することにより， TensorFlow 2.4.4 のインストール，インストール済みの TensorFlow のバージョンの確認，TensorFlow から GPU が認識できているかの確認を行う．エラーメッセージが出なければ OK．

コマンドプロンプトを 管理者として開き，次のコマンドを実行する．

python -m pip install tensorflow==2.4.4
python -c "import tensorflow as tf; print(tf.__version__)"
python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）