pycuda のインストール（Windows 上）

Windows での，pycuda のインストール手順を説明する．pycuda は，CUDA での演算を行う機能を持った Python パッケージである．このページでは、CUDAを使って、400個の掛け算を行ってみる．

※ GPUとは、グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能、乗算や加算の並列処理の機能などがある． CUDA とは、NVIDIA社が提供している GPU 用のプラットフォームである． NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき、CUDA を使うことになる。

【目次】

前準備
pycuda のインストール手順

前準備

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）もしくは Visual Studio 2022 のインストール（Windows 上）

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）もしくはVisual Studio 2022 を，前もってインストールしておく．NVIDIA CUDA の nvcc を機能させるため．

Visual Studio を使う予定がある場合
Windows での Visual Studio Community 2022 のインストール: 別ページで説明している．
Visual Studio を使う予定がない場合
Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022） のインストール: 別ページで説明している．

7-Zip のインストール（Windows 上）

7-Zip のページ: https://sevenzip.osdn.jp/

Windows での 7-Zip のインストール: 別ページで説明している．

NVIDIA ドライバ，NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストール

① はじめに

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある． NVIDIA CUDA ツールキットは，NVIDIA社が提供している GPU 用のプラットフォームである．

【インストール手順の詳細（別ページ） 】

Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.1，NVIDIA cuDNN v8.5 のインストールと動作確認: 別ページで説明している．

② TensorFlow, PyTorch が必要とするNVIDIA CUDA ツールキットとNVIDIA cuDNN のバージョンの確認

NVIDIA CUDA ツールキット, NVIDIA cuDNN のバージョンは何でも良いという場合
NVIDIA CUDA ツールキット11.7.1, NVIDIA cuDNN 8.5 (2022/09時点) を使う．
その根拠：
- cudart64_110.dll, cusolver64_11.dll, cudnn64_8.dll が必要
- NVIDIA cuDNN のページ https://developer.nvidia.com/cudnn で，最新の NVIDIA cuDNN が対応しているNVIDIA CUDA ツールキットのバージョンである
  必ずしも，最新の NVIDIA CUDA ツールキットを使えるとは限らないので確認が必要．
過去の TensorFlow のバージョンを使う場合
2022年9月時点では TensorFlow の最新版は 2.10 であるが，過去の TensorFlow のバージョンを使うこともありえる．
TensorFlow 2.4.4 以下や，過去の PyTorch のバージョンを使う場合，過去の TensorFlow のバージョンが必要になるということもある．
そのことについての詳しい説明は：別ページで説明している．

③ NVIDIA ドライバのインストール（Windows 上）

古いNVIDIA ドライバ，NVIDIA CUDA ツールキットがインストール済みのとき，不要なものがあればアンインストール
Windows のスタートメニューで「設定」，「アプリ」と操作して，「NVIDIA ・・・」を削除
NVIDIA グラフィックス・カードの種類を調べる
hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
あとで，NVIDIA CUDA ツールキットをインストールするときに，NVIDIA ドライバを同時にインストールすることができる．

但し， NVIDIA CUDA ツールキットの古いバージョンを使うという場合は，NVIDIA CUDA ツールキットのインストールのときに NVIDIA ドライバをインストールするのでなく，次のページから最新のNVIDIA ドライバをダウンロードして，インストールする．
【NVIDIA ドライバのダウンロードページ】
https://www.nvidia.co.jp/Download/index.aspx?lang=jp

④ NVIDIA CUDA ツールキット 11.7.1 のインストール（Windows 上）

【要点】

Windows では，前準備として，Build Tools for Visual StudioもしくはVisual Studio を，前もってインストールしておく．
NVIDIA CUDA ツールキットの nvcc の動作に必要．
- Visual Studio を使う予定がある場合
  Windows での Visual Studio Community 2022 のインストール: 別ページで説明している．
- Visual Studio を使う予定がない場合
  Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022） のインストール: 別ページで説明している．
Windows で，NVIDIA グラフィックス・カードの種類を調べたいときは， hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
Windows では， NVIDIA CUDA ツールキットのインストール中は，他のウインドウはすべて閉じておくことが望ましい．
他のウインドウを開いている場合，NVIDIA CUDA ツールキットのインストールが失敗する場合がある．
Windows では，NVIDIA CUDA ツールキットのインストーラに，NVIDIA ドライバが同封されているので，利用することができる．
但し，最新版ではない NVIDIA CUDA ツールキットを使うときには， NVIDIA CUDA ツールキットのインストーラに同封のNVIDIA ドライバは古いので，問題があるので， 前準備として，NVIDIA ドライバのインストールを行うこと．
次のページから，最新版のNVIDIA ドライバをダウンロードできる．
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA のインストールが終わったら，ユーザ環境変数 TEMP の設定を行う．
Windows のユーザ名が日本語のとき，nvcc がうまく動作しないエラーを回避するため．
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために，コマンドプロンプトで，次のコマンドを実行する．
```
mkdir C:\TEMP
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"
```
NVIDIA CUDA クイックスタートガイドの公式ページ
https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html
NVIDIA CUDA ツールキットのダウンロードのページ
NVIDIA CUDA ツールキットのアーカイブのページ: https://developer.nvidia.com/cuda-toolkit-archive
TensorFlow 2.4.4 以下を使う場合は，インストールする NVIDIA CUDA ツールキットのバージョン，NVIDIA cuDNN のバージョンに注意する必要がある．
そのことについて，より詳しい説明は：別ページで説明している．

【インストール手順の詳細（別ページ） 】

Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.7.1，NVIDIA cuDNN v8.5 のインストールと動作確認: 別ページで説明している．

【インストール手順の概要 】

NVIDIA CUDA ツールキット 11.7.1 のダウンロードとインストール

次のページからダウンロードし，インストールする．
NVIDIA CUDA ツールキットのページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA ドライバのインストールが必要な場合は，このときに，同時にインストールする
NVIDIA CUDA のインストールが終わったら，ユーザ環境変数 TEMP の設定を行う．
Windows のユーザ名が日本語のとき，nvcc がうまく動作しないエラーを回避するため．
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために，コマンドプロンプトで，次のコマンドを実行する．
```
mkdir C:\TEMP
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"
```

⑤ NVIDIA cuDNN v8.5 のインストール（Windows 上）

【要点】

NVIDIA cuDNN のダウンロードページ
https://developer.nvidia.com/cudnn
NVIDIA cuDNN のバージョン
必ず，使用する NVIDIA CUDA ツールキットのバージョンにあう NVIDIA cuDNN のバージョンを使うこと．
ダウンロードには，登録が必要．利用条件は利用者で確認すること．
Windows では，NVIDIA cuDNN に，パスを通す必要がある．
- NVIDIA cuDNN の8.3 系列以外のバージョン:
  NVIDIA cuDNN の zip ファイルをダウンロードしたら，Windows ならば，C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7 （「11.7」のところはバージョン番号）のようなパスの通っているディレクトリに展開（解凍）．
  あるいは，zip ファイルを展開したら，展開先の下の bin にパスを通す．
- NVIDIA cuDNN 8.3 系列:
  .exe ファイルの実行により「C:\Program Files\NVIDIA\CUDNN\v8.3 」にインストールされるので，C:\Program Files\NVIDIA\CUDNN\v8.3\bin にパスを通す．
NVIDIA cuDNN のインストール後に，必要に応じて，環境変数 CUDNN_PATH を設定する．
ZLIB DLL のダウンロードページ
https://www.winimage.com/zLibDll で zlib123dllx64.zip

【インストール手順 】

ZLIB DLL のダウンロードとインストール
Windows では，コマンドプロンプトを 管理者として実行し，次のコマンドを実行する．

Windows のコマンドプロンプトを管理者として実行するには， 検索窓で「cmd」と入れたあと，右クリックメニューで「管理者として実行」を選ぶのが簡単．

「v11.7」のところは，実際にインストールされているバージョンを確認し，読み替えてください．
```
cd "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin"
curl -O http://www.winimage.com/zLibDll/zlib123dllx64.zip
call powershell -command "Expand-Archive zlib123dllx64.zip"
copy zlib123dllx64\dll_x64\zlibwapi.dll .
```
Windows で「Could not locate zlibwapi.dll. Please make sure it is in your library path!」と表示されるときの対処：
ここの説明を参考に ZLIB DLL をインストールする．
NVidia の cuDNN のウェブページを開く
https://developer.nvidia.com/cuDNN
ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
NVIDIA Developer Program メンバーシップに入る
cuDNN のダウンロードのため．
「Join now」をクリック．その後，画面の指示に従う．利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．
ログインする
調査の画面が出たときは，調査に応じる
ライセンス条項の確認
ダウンロードしたいバージョンを選ぶ
ここでは「NVIDIA cuDNN v8.5.0 for CUDA 11.x」を選んでいる．
このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．
Windows にインストールするので Windows 版を選ぶ
ダウンロードが始まる．
ダウンロードした .zip ファイルを展開（解凍）する．その中のサブディレクトリを確認しておく．

※ Windows での展開（解凍）のためのソフトには，「7-Zip」などがある．
「CUDA ツールキットをインストールしたディレクトリ」は，「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7」のようになっている．確認する．
確認したら，さきほど展開してできたすべてのファイルとディレクトリを，「CUDA ツールキットをインストールしたディレクトリ」にコピーする
パスが通っていることを確認．
次の操作により，cudnn64_8.dll にパスが通っていることを確認する．
Windowsのコマンドプロンプトを開き，次のコマンドを実行する．エラーメッセージが出ないことを確認．
```
where cudnn64_8.dll
```
システム環境変数 CUDNN_PATH の設定を行う．
システム環境変数 CUDNN_PATH の設定のため， 管理者として実行したコマンドプロンプトで，次のコマンドを実行する．
```
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\", \"Machine\")"
```

Python のインストール，pip と setuptools の更新，Python 開発環境のインストール

インストールする Python のバージョンの確認

TensorFlow，PyTorch のバージョンは何でも良い場合（あるいは，TensorFlow，PyTorch を使う予定がない場合）

TensorFlow，PyTorch のバージョンは何でも良い場合（あるいは，TensorFlow，PyTorch を使う予定がない場合）は， Python 3.10 を使う．

Python 3.10 の根拠：

この記事作成 (2022/09) 時点の Python の最新版．
Python 3.10 は， TensorFlow 2.10 (2.10 は，2022/9 時点のTensorFlow の最新版) に対応．
TensorFlow が対応している Python のバージョン:
https://pypi.org/project/tensorflow/#files で確認できる．
Python 3.10 は， PyTorch Stable (1.12.1) (Stable (1.12.1) は，2022/9 時点のPyTorch 最新の Stable 版) に対応．
PyTorch の Stable および LTS のバージョンと，それらが対応している Python のバージョン:
https://pytorch.org/ の表示や， https://download.pytorch.org/whl/lts/1.8/torch_lts.html， https://download.pytorch.org/whl/cu116/torch_stable.html で確認できる．

使用したい TensorFlow, PyTorch が決まっている場合（あるいは，古いバージョンの Python を使いたい場合）

使用したい TensorFlow, PyTorch が決まっている場合（あるいは，古いバージョンの Python を使いたい場合）では，次により， Python, TensorFlow, PyTorch のバージョンの組み合わせを確認する．

使用する TensorFlow，Python のバージョンの組み合わせの確認
- まず，次のページにより，TensorFlow のバージョンを確認する．
  TensorFlow のタグのページ: https://github.com/tensorflow/tensorflow/tags で確認．
- TensorFlow 2.7.1 や，それより前のバージョンは，Python 3.10 が対応していないので，古いバージョンの Python を使用する．
  詳しくは: 別ページにまとめている．
  
  その根拠:
  https://pypi.org/project/tensorflow/#filesで確認することができる．
使用する PyTorch，Python のバージョンの組み合わせの確認
2022/9 時点では次の通りである．
- PyTorch LTS (1.8.2) の場合: Python は 3.9, 3.8, 3.7, 3.6 のいずれかを使う．
- PyTorch Stable (1.12.1) の場合: Python は 3.10, 3.9, 3.8, 3.7 のいずれかを使う．
その根拠：
https://pytorch.org/ の表示や， https://download.pytorch.org/whl/lts/1.8/torch_lts.html， https://download.pytorch.org/whl/cu116/torch_stable.html で確認できる．

① Python のインストール

【Python のインストールでの注意点】

Windows Installer (64-bit) を使用する．
Windows で，ユーザ名が日本語のとき
Windows で，ユーザ名が日本語のとき，あとでトラブルが発生するかもしれない．トラブルの回避のため， Python をシステム管理者の領域にインストール（パソコンの全ユーザの共有領域）する．
TensorFlow を動かしたいとき
TensorFlow を使う予定がある場合は，https://pypi.org/project/tensorflow-gpu/#filesで，必要な Python のバージョンを確認しておく． 2022/9 時点では，TensorFlow バージョン 2.10 が動くのは，Python 3.10 または Python 3.9 または Python 3.8 または Python 3.7 (https://pypi.org/project/tensorflow/2.10/#files)
Windows では， Python の 3.6.A，3.7.B, 3.8.C, 3.9.D, 3.10.E のように，複数のバージョンの Python を同時にインストールできる．詳しくは，別ページで説明している．

【インストール手順の詳細（別ページ） 】

Windows での Python のインストール: 別ページで説明している．

【Python の公式ページ】

http://www.python.org/

【Python の利用】

Python は，次のコマンドで起動できる．

Windows: python または py -3.10 のようにバージョン指定）
Ubuntu: python3
Ubuntu では，「sudo pip3」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu パッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを apt でインストール．

② pip と setuptools の更新

Windows での pip と setuptools の更新

Windows で，コマンドプロンプトを管理者として実行

Windows で pip を実行するときは，コマンドプロンプトを管理者として実行し，それを使って pip を実行することにする．
コマンドプロンプトを管理者として実行: 別ページで説明している．

次のコマンドを実行する．

python -m pip install -U pip setuptools

【pip の利用】

Windows では，pip は，次のコマンドで起動できる:

pip または python -m pip または py -3.10 -m pip のようにバージョン指定．

Windows では，管理者として実行．

③ Python 開発環境として，Python コンソール（Jupyter Qt Console）, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール

Windows での Python 開発環境のインストール

Windows で，コマンドプロンプトを管理者として実行

Windows で pip を実行するときは，コマンドプロンプトを管理者として実行し，それを使って pip を実行することにする．
コマンドプロンプトを管理者として実行: 別ページで説明している．

次のコマンドを実行する．

python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder

pycuda を使ってみる

試しに、https://documen.tician.de/pycuda/ で公開されているサンプルプログラムを動かしてみる．

Python プログラムの実行

Python プログラムの実行

Windows では python （Python ランチャーは py）
Ubuntu では python3

Python 開発環境（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど）も便利である．

Python のまとめ: 別ページにまとめている．

-------

import pycuda.autoinit
import pycuda.driver as drv
import numpy

from pycuda.compiler import SourceModule
mod = SourceModule("""
__global__ void multiply_them(float *dest, float *a, float *b)
{
  const int i = threadIdx.x;
  dest[i] = a[i] * b[i];
}
""")

multiply_them = mod.get_function("multiply_them")

a = numpy.random.randn(400).astype(numpy.float32)
b = numpy.random.randn(400).astype(numpy.float32)

dest = numpy.zeros_like(a)
multiply_them(
        drv.Out(dest), drv.In(a), drv.In(b),
        block=(400,1,1), grid=(1,1))

print (dest-a*b)

上のプログラムで、コンパイルできないというエラーメッセージが出る場合．

Visual Studio にパスを通すために、システム環境変数 PATH に次のようなディレクトリを追加する．

※ 使いたい Visual Studio の版に合わせて調整すること．そのために「cl.exe」のファイルを検索すること．

Visual Studio 2019 Community のときの設定例

C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.20.27508\bin\Hostx64\x64

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）