NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0，NVIDIA cuDNN 8.4.1 のインストール（Windows 上）

Windows での，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0，NVIDIA cuDNN 8.4.1 のインストール，nvcc の使用例をスクリーンショット等で説明する．

このページでは，TensorFlow 2.9 の運用を想定している．TensorFlow の他のバージョンでも同様の手順になる（TensorFlow のインストールは別ページで説明している）． CUDA は，NVIDIA社が提供している GPU 用のプラットフォームである． NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき，NVIDIA CUDA ツールキットを利用することができる．

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

【目次】

NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0，NVIDIA cuDNN 8.4.1 のインストールについて
Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）のインストール
NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0 のインストール手順
インストール後の確認
NVIDIA cuDNN v8.4.1 のインストール
nvcc を動かしてみる（マイクロソフト C++ ビルドツールを使用）

【サイト内の関連ページ】

さまざまな Windows アプリケーションのインストールと設定（Windows 上）: 別ページで説明している．

先人に感謝．

参考Webページ:

NVIDIA ドライバのダウンロードページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットのダウンロードページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットのページ: https://developer.nvidia.com/cuda-toolkit
NVIDIA CUDA ツールキットのインストール手順: https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/

NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0，NVIDIA cuDNN 8.4.1 のインストールについて

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある． NVIDIA CUDA ツールキットは，NVIDIA社が提供している GPU 用のプラットフォームである．

（NVIDIA GPU を使うとき） NVIDIA ドライバ，NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストールの要点と注意点

NVIDIA CUDA ツールキット, NVIDIA cuDNN の新バージョンのインストールでは，旧バージョンのアンインストールの操作は必要ない．
TensorFlow, PyTorch を使うためには，インストールする NVIDIA CUDA ツールキットのバージョン，NVIDIA cuDNN のバージョンに注意する必要がある．
そのことについて，より詳しい説明は：別ページで説明している．
NVIDIA CUDA ツールキットのダウンロード(Windows, Linux):
NVIDIA CUDA ツールキットのアーカイブのページ: https://developer.nvidia.com/cuda-toolkit-archive
ZLIB DLL のダウンロード: https://www.winimage.com/zLibDll で zlib123dllx64.zip
NVIDIA cuDNN のダウンロード， NVIDIA CUDA ツールキットに合致する NVIDIA cuDNN のバージョンの確認 (Windows, Linux):
NVIDIA cuDNN のページ: https://developer.nvidia.com/cudnn
必ず，使用する NVIDIA CUDA ツールキットにあう NVIDIA cuDNN を使うこと．
NVIDIA cuDNN のインストール後に，必要に応じて，環境変数 CUDNN_PATH を設定する．

Windows での追加の注意点

前準備として，Build Tools for Visual StudioもしくはVisual Studio を，前もってインストールしておく．
NVIDIA CUDA ツールキットの nvcc の動作に必要．
NVIDIA CUDA 11.7, 11.6 で使うWindows での Build Tools for Visual Studio 2022 のインストール: 別ページで説明している．
NVIDIA CUDA 11.5 などで使うWindows での Build Tools for Visual Studio 2019 のインストール: 別ページで説明している．
Windows で，NVIDIA グラフィックス・カードの種類を調べたいときは， hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
NVIDIA CUDA ツールキットのインストーラには，NVIDIA ドライバが同封されているので，利用することができる．
但し，最新版ではない NVIDIA CUDA ツールキットを使うときには， NVIDIA CUDA ツールキットのインストーラに同封のNVIDIA ドライバは古いので，問題があるので， 前準備として，NVIDIA ドライバのインストールを行うこと．
次のページから，最新版のNVIDIA ドライバのダウンロードできる (Windows, Linux):
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
インストール中は，他のウインドウはすべて閉じておくことが望ましい．
他のウインドウを開いている場合，NVIDIA CUDA ツールキットのインストールが失敗する場合がある．
Windows では，NVIDIA cuDNN のインストール後に，手動で，パスを通す必要がある．
- NVIDIA cuDNN の8.3 より前のバージョン:
  zip ファイルを展開したら，展開先の下の bin にパスを通す．
- NVIDIA cuDNN 8.3 系列:
  .exe ファイルの実行により「C:\Program Files\NVIDIA\CUDNN\v8.3 」にインストールされるので，C:\Program Files\NVIDIA\CUDNN\v8.3\bin にパスを通す．
- NVIDIA cuDNN の8.4 系列:
  zip ファイルを展開したら，展開先の下の bin にパスを通す．

TensorFlow, PyTorch が必要とするNVIDIA CUDA ツールキットとNVIDIA cuDNN のバージョンの確認

「NVIDIA CUDA ツールキット, NVIDIA cuDNN のバージョンは何でも良い」か？そして，「TensorFlow, PyTorch のバージョンも何でも良い （あるいは，TensorFlow, PyTorch を使う予定はない）」か？

これら両方ともにあてはまる場合
NVIDIA CUDA ツールキット11.7.0, NVIDIA cuDNN 8.4.1 (2022/06時点) を使う．
その根拠：
- cudart64_110.dll, cusolver64_11.dll, cudnn64_8.dll が必要
- NVIDIA cuDNN のページ https://developer.nvidia.com/cudnn で，最新の NVIDIA cuDNN が対応しているNVIDIA CUDA ツールキットのバージョンである
  必ずしも，最新の NVIDIA CUDA ツールキットを使えるとは限らないので確認が必要．
これらのうち，片方でも当てはまらない場合
古い版を使うことになる．組み合わせに注意が必要である．そのことについての詳しい説明は：別ページで説明している．

Build Tools for Visual Studio 2022（ビルドツール for Visual Studio 2022）のインストール

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）もしくはVisual Studio 2022 を，前もってインストールしておく．

Visual Studio を使う予定がある場合
Windows での Visual Studio 2022 のインストール: 別ページで説明している．
Visual Studio を使う予定がない場合
Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022） のインストール: このページの下で説明している．

Build Tools for Visual Studio （ビルドツール for Visual Studio）は，Windows で動くMicrosoft の C++ コンパイラーである．

32 ビット，64 ビットで動く．
NVIDIA CUDA ツールキットの利用のときにも役立つ
C++ のプログラムをコンパイルしたいときの手順概要：
1. スタートメニューで「Visual Studio 2022」の下の「x64 Native Tools Command Prompt」
2. cl コマンド(C++コンパイラー)でコンパイル
  （例）cl hello.c
3. .exe ファイルの確認
  「cl hello.c」でコンパイルしたときは「hello.exe」ファイルができるので確認
fopen 関数を使う場合には、C++ ソースコードの先頭に次を追加
#pragma warning(disable: 4996)
「x64 Native Tools Command Prompt」は、コマンドプロンプトとしての機能がある．

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）のインストール

Build Tools for Visual Studio は，Windows で動くMicrosoft の C++ コンパイラーである．

ダウンロードページ

https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/

詳細説明

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）のインストール: 別ページで説明している．

インストール手順の概要

ダウンロード URL を開く
https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
このページの「Build Tools のダウンロード」をクリック
ダウンロードが始まる
ダウンロードした .exe ファイルを実行する
表示を確認し，「続行」をクリック
「C++ によるデスクトップ開発」をクリック．「インストール」をクリック．

コンパイラの動作確認

まず，エディタを開く（ここでは「メモ帳」を使っている）． x64 Native Tools コマンドプロンプトで，次のコマンドを実行．ファイル名は hello.c としている．
```
c:
cd %HOMEPATH%
notepad hello.c
```
いまメモ帳で開いたファイルを，次のように編集する（コピー＆ペーストしてください）．そして保存する．
```
#include <stdio.h>
int main() {
    printf("Hello,World!\n");
    printf("sizeof(size_t)=%ld\n", sizeof(size_t));
    return 0;
}
```
次のコマンドを実行
結果として，「Hello,World!」「sizeof(size_t)=8」と表示されればOK．
```
cd %HOMEPATH%
cl hello.c
.\hello.exe
```
実行結果例

NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.0 のインストール手順

NVIDIA ドライバについて

古いNVIDIA ドライバ，NVIDIA CUDA がインストール済みのとき，不要なものがあればアンインストール
Windows のスタートメニューで「設定」，「アプリ」と操作して，「NVIDIA ・・・」を削除
NVIDIA グラフィックス・カードの種類を調べる
hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
あとで，NVIDIA CUDA ツールキットをインストールするときに，NVIDIA ドライバを同時にインストールすることができる．
あとで、NVIDIA CUDA ツールキットをインストールするので、そのときに、NVIDIA ドライバもインストールすることにする．次へ進む．

但し， NVIDIA CUDA ツールキットの古いバージョンを使う場合には，次のページから，最新のNVIDIA ドライバをダウンロードして，インストールする．
NVIDIA ドライバのダウンロードページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

NVIDIA CUDA ツールキット 11.7.0

NVIDIA CUDA クイックスタートの公式ページ: https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html

NVIDIA CUDA ツールキットのウェブページを開く
https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットのバージョンを選ぶ
ここでは，NVIDIA CUDA ツールキットの11.7 系列の最新版を選んでいる．
「Windows」，「10」，「exe [local]」を選ぶ．
Windows 10 のときは，「10」を選んでください．
「Base Installer」の右横の「Download」をクリックして，.exe ファイルをダウンロード
exe ファイルのダウンロードが始まる
ダウンロードした .exe ファイルを実行する．
展開（解凍）先ディレクトリ（フォルダ）の指定．
既定（デフォルト）のままでよい．「OK」をクリック．
展開（解凍）が自動で行われるので，しばらく待つ．
ライセンス条項の確認．
インストールオプションは，「カスタム（詳細）」を選び，「次へ」をクリック．
コンポーネントを確認する．
「CUDA」にチェックする．その他は，必要なものがあればチェックする．「次へ」をクリック．
- このとき，NVIDIA ドライバを選択することもできる（NVIDIA ドライバが未インストールであれば，インストールする）．
- 複数の版の NVIDIA CUDA ツールキットをインストールする場合には，古い版のNVIDIA CUDA ツールキットをインストールするときに「CUDA」だけを選ぶようにする．
インストール場所の選択は，既定（デフォルト）のままでよい．「次へ」をクリック．
Visual Studio Integration について表示された場合
表示されなくても問題はない．
表示された場合には，次のように判断する．
- Visual Studio をインストールする予定があるとき
  ここで，NVIDIA CUDA ツールキットのインストールを中止．先に， Visual Studio 2022 のインストールを行う．
- Visual Studio をインストールする予定がないとき
  NVIDIA CUDA ツールキットのインストールを中止する必要はない．
  あとで構わないので，Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）のインストールを行っておく（Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）のインストールが終わっていても，Visual Studio Community のインストールを行っていない場合には，この表示は出る）．
このとき，Windows セキュリティの画面が開くことがある．開いた場合には，「インストール」をクリック．
インストールが始まるので，確認する．
このとき，グラフィックス・カードのドライバのインストールが始まる場合がある．「インストール」をクリックして，インストールを続行する．
Nsight for Visual Studio についての確認
Visual Studio がインストール済みのときは，Nsight for Visual Studio がインストールされたことが確認できる．確認したら「次へ」をクリック．

Visual Studio をインストールしていないときは，Nsight for Visual Studio はインストールされない．
インストール終了の確認．「閉じる」をクリック．

※ 「コンピュータを再起動してください」と表示される場合がある．そのときは，再起動する．

インストール後の確認

環境変数の確認

Windows のシステム環境変数が自動で設定されていることを確認

システム環境変数 PATH
バージョン 11.7.0 の場合
次のように自動設定されるので確認．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libnvpp
```
※ 複数の版の CUDA ツールキットをインストールする場合には，複数のパスが設定されるこのとき・古い版の方が先に来ている場合には、後になるように調整する
システム環境変数 CUDA_PATH
バージョン 11.7.0 の場合
次のように自動設定されるので確認．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7
```
※ 複数の版の CUDA ツールキットをインストールしている場合には，最後にインストールしたものが設定される
その他
バージョン 11.7.0 の場合
システム環境変数 CUDA_PATH_V11_7
次のように自動設定されるので確認．
```
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7
```

nvcc の確認

nvcc にパスが通っていることを確認する

Windowsのコマンドプロンプトを開き、次のコマンドを実行．

where nvcc

NVIDIA cuDNN v8.4.1 のインストール

要点

NVIDIA cuDNN のダウンロードページ: https://developer.nvidia.com/cudnn から cuDNN を入手
ダウンロードには，登録が必要．利用条件は利用者で確認すること．
ダウンロードしたら，Windows ならば，C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7 のようなディレクトリ（「11.7」のところはバージョン番号）に展開（解凍）．そして，パスを通しておくこと

ダウンロードとインストールの手順

ZLIB DLL のダウンロードとインストール
管理者として実行したコマンドプロンプトで，次のコマンドを実行．
v11.7」のところは，実際にインストールされているバージョンを確認し，読み替えてください．
```
cd "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin"
curl -O http://www.winimage.com/zLibDll/zlib123dllx64.zip
call powershell -command "Expand-Archive zlib123dllx64.zip"
copy zlib123dllx64\dll_x64\zlibwapi.dll .
```
Windows で「Could not locate zlibwapi.dll. Please make sure it is in your library path!」と表示されるときの対処：
ここの説明を参考に ZLIB DLL をインストールする．
NVidia の cuDNN のウェブページを開く
https://developer.nvidia.com/cuDNN
ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
NVIDIA Developer Program メンバーシップに入る
cuDNN のダウンロードのため．
「Join now」をクリック．その後，画面の指示に従う．利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．
ログインする
調査の画面が出たときは，調査に応じる
ライセンス条項の確認
ダウンロードしたいバージョンを選ぶ
ここでは「NVIDIA cuDNN v8.4.1 for CUDA 11.x」を選んでいる．
このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．
Windows 版が欲しいので Windows 版を選ぶ
ダウンロードが始まる．
ダウンロードした .zip ファイルを展開（解凍）する．その中のサブディレクトリを確認しておく．

※ Windows での展開（解凍）のためのソフトには，「7-Zip」などがある．
「CUDA ツールキットをインストールしたディレクトリ」は，「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7」のようになっている．確認する．
確認したら，さきほど展開してできたすべてのファイルとディレクトリを，「CUDA ツールキットをインストールしたディレクトリ」にコピーする
パスを通す．あわせて，システム環境変数 CUDNN_PATH の設定を行う．
- すでにパスは通っている．
  次の操作により，cudnn64_8.dll にパスが通っていることを確認する．
  Windowsのコマンドプロンプトを開き、次のコマンドを実行．エラーメッセージが出ないことを確認．
```
where cudnn64_8.dll
```
- システム環境変数 CUDNN_PATH の設定のため， 管理者として実行したコマンドプロンプトで，次のコマンドを実行．
```
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\", \"Machine\")"
```

nvcc を動かしてみる（マイクロソフト C++ ビルドツールを使用）

nvcc を動かしてみる

C/C++ をコマンドで使いたいので，Visual Studio の x64 Native Tools コマンドプロンプトを開く．
起動は，Windows のメニューで「Visual Studio 2022」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」を選ぶ．「x64」は，64ビット版の意味である．

※ 32ビットのNative Tools コマンドプロンプトでは nvcc が動かない．

以下の操作は，x64 Native Tools コマンドプロンプトで行う
確認のため，「where cl」を実行．
エラーメッセージが出ていないことを確認．
```
where cl
```
nvccの動作確認のため，
https://devblogs.nvidia.com/easy-introduction-cuda-c-and-c/に記載のソースコードを使用．まず，エディタを開く（ここでは「メモ帳」を使っている）．
x64 Native Tools コマンドプロンプトで，次のコマンドを実行．ファイル名は hello.cu としている．
```
cd %HOMEPATH%
notepad hello.cu
```
その後，ファイルを編集し，ファイルを保存．
ファイル hello.cu ができる．
ビルドと実行．
「nvcc hello.cu」で a.exp というファイルができる．「Max error: 0.000000」と表示されればＯＫ．

うまく動かないときは，まず，マイクロソフト C++ ビルドツールの動作を，別ページの手順により確認し，異常があれば，マイクロソフト C++ ビルドツールのインストールなどで対処．それでも動かないときは，NVIDIA CUDA ツールキット 11.7.0 のインストールしたときの作業に間違いがなかったかを再確認．
```
nvcc hello.cu
```
```
.\a.exe
```

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）