このページでは,プログラミング処理系と開発環境(プログラムの自作、オープンソフトウエアの活用)、 データベース処理、 メディア処理、 その他のアプリケーション(インターネット、ファイル操作など)、 NVIDIA ドライバや NVIDIA CUDA や NVIDIA cuDNN, ディープライニング応用のための各種ソフトウエアのインストール及び設定手順をまとめている。
目次
注意事項
【サイト内の関連ページ】
まとめページ(サイト内)
Windows ソフトウエアのインストールと設定
Ubuntu のセットアップ:別ページで説明している.
YouTube の再生リスト「インストールと設定(フリーソフトウエアの活用のために)」
https://www.youtube.com/playlist?list=PLwoDcGBEg9WGSPnYNwhz04zvQF5FCnT7a
YouTube のチャンネル「金子邦彦」
https://youtube.com/user/kunihikokaneko
謝辞:ここで紹介しているソフトウエアの作者に感謝します.
「ファイル名拡張子」をチェック,「隠しファイル」をチェックしておいた方が 作業が進めやすい(各自で判断すること).
Windows のコマンドプロンプトを開くには,検索窓で「cmd」と入れるのが簡単.
Windows のコマンドプロンプトを管理者として実行するには, 検索窓で「cmd」と入れたあと, 右クリックメニューで「管理者として実行」を選ぶのが簡単.
キーボードに 「\」があるとき, コマンドプロンプトで「\」を入れると,円記号「¥」が表示される.これは正常動作.
このページでは, ファイルを作るために,%HOMEPATH% に設定されているディレクトリを使うことにしたい.
次の例では,コマンドプロンプトで,カレントディレクトリを %HOMEPATH% に移動した後,notepad を使ってファイルを編集している.
Visual Studio をインストールする予定がない場合:下の手順により,Build Tools for Visual Studio (ビルドツール for Visual Studio)のインストールを行う.
Visual Studio をインストールする場合:Visual Studio Community 2022 のインストール手順は: 別ページで説明している.
Build Tools for Visual Studio (ビルドツール for Visual Studio)は,Windows で動くMicrosoft の C++ コンパイラーである.
(例)cl hello.c
「cl hello.c」でコンパイルしたときは「hello.exe」ファイルができるので確認
#pragma warning(disable: 4996)
Build Tools for Visual Studio は,Windows で動くMicrosoft の C++ コンパイラーである.
ダウンロードページ
https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
詳細説明
Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)のインストール: 別ページで説明している.
インストール手順の概要
https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
コンパイラの動作確認
c: cd %HOMEPATH% notepad hello.c
#include <stdio.h> int main() { printf("Hello,World!\n"); printf("sizeof(size_t)=%ld\n", sizeof(size_t)); return 0; }
結果として,「Hello,World!」「sizeof(size_t)=8」と表示されればOK.
cd %HOMEPATH% cl hello.c .\hello.exe
実行結果例
Git のページ https://git-scm.com/ からダウンロードしてインストール:
Git のインストールの詳細: 別ページで説明している.
このとき,ライセンス条項の確認を行う.設定は既定(デフォルト)のままでも問題はない.
cmake のダウンロードのページ https://cmake.org/download/ からダウンロードしてインストール
下の図では 64ビットWindows 用を選んでいる
GnuWin32 のWget のページからダウンロードしてインストール
詳しくは,別ページで説明している.
https://cmake.org/download/ からダウンロードしてインストール
このとき,ライセンス条項の確認を行う.設定は既定(デフォルト)のままでよい.
7-Zip は,Windows で動くソフトウエア.ファイルの圧縮や展開の機能を持つ.
7-Zip のページ: https://sevenzip.osdn.jp/ からダウンロードしてインストールする.
7-Zip のインストールの詳細: 別ページで説明している
管理者として実行した コマンドプロンプトで,次のコマンドを実行.
call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\7-Zip"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
GPU は,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある. NVIDIA CUDA ツールキット は,NVIDIA社が提供している GPU 用のプラットフォームである.
【サイト内の関連ページ】
● YouTube 動画, 「NVIDIA ドライバ, CUDA 11.6, cuDNN 8.4 のインストール (Windows 上) 」:
YouTube 動画のURL: https://youtu.be/Np1u6cFSz9E
ドクセルの URL: https://www.docswell.com/s/6674398749/KJ62N5-2022-04-19-133927
そのことについて,より詳しい説明は: 別ページで説明している.
NVIDIA CUDA ツールキットのアーカイブのページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のページ: https://developer.nvidia.com/cudnn
必ず,使用する NVIDIA CUDA ツールキットにあう NVIDIA cuDNN を使うこと.
Windows での追加の注意点
NVIDIA CUDA ツールキットの nvcc の動作に必要.
NVIDIA CUDA 11.6 で使うWindows での Build Tools for Visual Studio 2022 のインストール: 別ページで説明している.
NVIDIA CUDA 11.5 などで使うWindows での Build Tools for Visual Studio 2019 のインストール: 別ページで説明している.
但し,最新版ではない NVIDIA CUDA ツールキットを使うときには, NVIDIA CUDA ツールキットのインストーラに同封のNVIDIA ドライバは古いので,問題があるので, 前準備として,NVIDIA ドライバのインストールを行うこと.
次のページから,最新版のNVIDIA ドライバのダウンロードできる (Windows, Linux):
他のウインドウを開いている場合,NVIDIA CUDA ツールキットのインストールが失敗する場合がある.
次の 2つの場合のどちらにあてはまるかによる.「2」に当てはまる場合には,続きの説明により,NVIDIA CUDA ツールキット, NVIDIA cuDNN のバージョンを確認する.
NVIDIA CUDA ツールキット11.6.2, NVIDIA cuDNN 8.4.0 の根拠:NVIDIA cuDNN のページ https://developer.nvidia.com/cudnn で,最新の NVIDIA cuDNN が対応しているNVIDIA CUDA ツールキット のバージョンを確認 (必ずしも,最新の NVIDIA CUDA ツールキット を使うわけではない場合がある).
TensorFlow を pip コマンドでインストールするとき, TensorFlow のバージョンによって, 必要となる NVIDIA CUDA ツールキット,NVIDIA cuDNN のバージョンが違う.必ずしも,「最新の NVIDIA CUDA ツールキット,NVIDIA cuDNN で動く」ということではないので,注意が必要である.
そのことについて,より詳しい説明は: 別ページで説明している.
2022年3月時点では TensorFlow の最新版は 2.8.0 であるが,過去の TensorFlow のバージョンを使うこともありえる. そこで,使用したい TensorFlow のバージョンにより, 必要な NVIDIA CUDA ツールキット,NVIDIA cuDNN のバージョンを決めることになる. 2022年3月時点の情報を,次のようにまとめておく.
なお,NVIDIA CUDA ツールキットはバージョンごとにディレクトリ名が変わるので,複数バージョンの同時インストールは可能である. NVIDIA cuDNN は,インストール時にディレクトリを自由に決めることができるので,複数バージョンの同時インストールは可能である.
NVIDIA CUDA ツールキット11.6.2, 11.5.2, 11.4.4, 11.3.1, 11.2.2, 11.1.1を使う.(11.0 系列は不可(実際に試みて検証済み)).
使用するNVIDIA CUDA ツールキット に対応するNVIDIA cuDNN 8 の最新版を使う.
根拠: cudart64_110.dll, cusolver64_11.dll, cudnn64_8.dll が必要
NVIDIA CUDA ツールキット11.0.3 を使う.(11.1 系列は不可(実際に試みて検証済み)).
使用するNVIDIA CUDA ツールキット に対応するNVIDIA cuDNN 8 の最新版を使う.
根拠: cudart64_110.dll, cusolver64_10.dll, cudnn64_8.dll が必要
NVIDIA CUDA ツールキット10.1 update2を使う.(10.2 は不可(実際に試みて検証済み)).
NVIDIA cuDNN 7.6.5 を使う.(8系列は使わない).
NVIDIA CUDA ツールキット 10.1, NVIDIA cuDNN 7 の根拠: cudart64_101.dll, cudnn64_7.dll が必要
NVIDIA CUDA ツールキット10.0 を使う.(10.2, 10.1 は不可(実際に試みて検証済み)).
NVIDIA cuDNN 7.6.5 を使う.(8系列はない).
NVIDIA CUDA ツールキット 10.0, NVIDIA cuDNN 7 の根拠: cudart64_100.dll, cudnn64_7.dll が必要
2022年3月時点では次の通りである.
その根拠は, https://pytorch.org/ に表示される https://download.pytorch.org/whl/lts/1.8/torch_lts.html, https://download.pytorch.org/whl/cu113/torch_stable.html で確認できる.
マイクロソフト C++ ビルドツールもしくはVisual Studio を,前もってインストールしておく.
インストール手順などは上で説明している.
Visual Studio を使う予定がある場合は,Visual Studio をインストールする. Visual Studio を使う予定がない場合は、マイクロソフト C++ ビルドツールのインストールを行う.いずれも,CUDA の nvcc を機能させるため.
Windows のスタートメニューで「設定」,「アプリ」と操作して,「NVIDIA ・・・」を削除
hwinfo (URL: https://www.hwinfo.com) を使って調べることができる.
いまは、グラフィックス・カードの種類を確認し,次へ進む.
但し, NVIDIA CUDA ツールキットの古いバージョンを使う場合には,次のページから,最新のNVIDIA ドライバをダウンロードして,インストールする.
NVIDIA ドライバのダウンロードページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
次のページからダウンロードし,インストールする.
NVIDIA CUDA ツールキットのページ: https://developer.nvidia.com/cuda-toolkit-archive
cuDNN のダウンロードのため,利用者本人が,電子メールアドレス,表示名,パスワード,生年月日を登録.利用条件等に合意.
「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6」に展開(解凍)した場合
次の操作により,cudnn64_8.dll にパスが通っていることを確認する.
Windowsのコマンドプロンプトを開き、次のコマンドを実行.エラーメッセージが出ないことを確認.
where cudnn64_8.dll
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\", \"Machine\")"
起動は,Windows のメニューで「Visual Studio 20..」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」を選ぶ.「x64」は,64ビット版の意味である.
※ 32ビットのNative Tools コマンドプロンプトでは nvcc が動かない.
以下の操作は,x64 Native Tools コマンドプロンプトで行う
エラーメッセージが出ていないことを確認.
where cl
まず,エディタを開く(ここでは「メモ帳」を使っている).
x64 Native Tools コマンドプロンプト で,次のコマンドを実行. ファイル名は hello.cu としている.
cd %HOMEPATH% notepad hello.cu
ファイル hello.cu ができる.
「nvcc hello.cu」で a.exe というファイルができる. 「Max error: 0.000000」と表示されればOK.
うまく動かないときは,まず,マイクロソフト C++ ビルドツールの動作を,別ページの手順により確認し,異常があれば,マイクロソフト C++ ビルドツールのインストールなどで対処.それでも動かないときは,NVIDIA CUDA ツールキットのインストールしたときの作業に間違いがなかったかを再確認.
nvcc hello.cu
.\a.exe
なお,Python 3.10 は, TensorFlow 2.8.0 (2022/03時点の最新版) , PyTorch Stable (1.11.0) (2022/03時点の最新の Stable 版) に対応している.
Python 3.10 の根拠:
次のページにより確認.
TensorFlow のタグのページ: https://github.com/tensorflow/tensorflow/tags で確認.
2022年3月時点では次の通りである.
2022年3月時点では次の通りである.
その根拠: https://pytorch.org/ に表示される https://download.pytorch.org/whl/lts/1.8/torch_lts.html, https://download.pytorch.org/whl/cu113/torch_stable.html で確認
すでに,Python がインストール済みのとき.
ここで示すインストール手順とは異なる設定ですでに Python をインストールしていた場合は,それをそのまま使うよりも, アンインストールしておいたほうがトラブルが少ない可能性がある.
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
この操作は,必ずPython をすべてアンインストールした後に行うこと.
rmdir /s /q %APPDATA%\Python rmdir /s /q "C:\Program Files\Python3*"
インストールの要点
Windows で,ユーザ名が日本語のとき,あとでトラブルが発生するかもしれない. トラブルの回避策として, Python をシステム管理者の領域にインストール(パソコンの全ユーザの共有領域)する手順をここで説明する.
TensorFlow を使う予定がある場合は,https://pypi.org/project/tensorflow-gpu/#filesで,必要な Python のバージョンを確認しておく. 2022/2 時点では,TensorFlow バージョン 2.8 が動くのは,Python 3.10 または Python 3.9 または Python 3.8 または Python 3.7 (https://pypi.org/project/tensorflow/2.8/#files)
Python 3.9 のインストール(Windows 上)のページ: https://www.kkaneko.jp/tools/win/python.html
YouTube 動画: https://www.youtube.com/watch?v=2MlVmx-yLM8
インストール手順
Windows での Python 3.9 のインストール(あとのトラブルが起きにくいような手順を定めている)
ページの上の方にある「Downloads」の下の「Windows」をクリック
ここでは,Python 3.9.x (x は数字)を探して,選ぶ.
以下,Python 3.9.9 を選んだとして説明を続ける.他のバージョンでも以下の手順はほぼ同じである.
TensorFlow を使う予定がある場合は,https://pypi.org/project/tensorflow-gpu/#filesで,必要な Python のバージョンを確認しておく. 2022/2 時点では,TensorFlow バージョン 2.8 が動くのは,Python 3.10 または Python 3.9 または Python 3.8 または Python 3.7 (https://pypi.org/project/tensorflow/2.8/#files)
Windows の 64ビット版のインストーラをダウンロードしたいので、「Windows Installer (64-bit)」を選ぶ
※ すでに Python ランチャーをインストール済みのときは, 「Install launcher for all users (recommended)」がチェックできないようになっている場合がある.そのときは,チェックせずに進む.
「Install for all users」を選ぶ理由.
ユーザ名が日本語のときのトラブルを防ぐため.
表示されない場合は問題ない.そのまま続行.
py とpip にパスが通っていることの確認である.
where py where pip
where py では「C:\Windows\py.exe」 が表示され, where pip では「C:\Program Files\Python39\Scripts\pip.exe」 が表示されることを確認. (「39」のところは使用する Python のバージョンに読み替えること).
表示されないときは, システムの環境変数Pathに,C:\Program Files\Python39 と C:\Program Files\Python39\Scripts が追加済みであることを確認(「39」のところは使用する Python のバージョンに読み替えること).無ければ追加し,再度コマンドプロンプトを開いて,再度「where py」,「where pip」を実行して確認.
それでもうまく行かない場合は,いろいろ原因が考えられる.対処としては,Python のアンインストールを行う.過去,アンインストールがうまく行かなかった可能性を疑う(Python の Scripts の中のファイルで,アンインストール操作により削除されるべきファイルが残っている可能性があるなど)
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
python -m pip install -U pip setuptools
Python 開発環境,Python コンソール(Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストールを行う.
Python, pip, Python 開発環境,Python コンソールのコマンドでの起動のまとめ.
python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder は,次のコマンドで起動できる.
Windows で複数の Python をインストールしているときは,環境変数 Path で先頭の Python が使用される.
Ubuntu では,「sudo pip3 install」でパッケージをインストールする前に,「apt-cache search <キーワード>」で Ubuntu のパッケージを検索し,Ubuntu パッケージが見つかった場合にはそちらを 「apt install <Ubuntu のパッケージ名>」でインストール.
Windows の Python ランチャーでバージョン指定
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
Python の隔離された環境を使用したいときは,次のような手順で, venv を用いて,Python の隔離された環境を作る.
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
Python の使用は「C:\venv\py39\Scripts\activate.bat」の後,「python」で行う.
新しくコマンドプロンプトを開き,次のコマンドを実行. Jupyter Qt Console が開けば OK.
jupyter qtconsole
import numpy as np %matplotlib inline import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') # Suppress Matplotlib warnings x = np.linspace(0, 6, 100) plt.style.use('default') plt.plot(x, np.sin(x))
新しくコマンドプロンプトを開き,次のコマンドを実行. ntetact が開けば OK.
jupyter nteract
そのために「Start a new notebook」の下の「Python」をクリック,次のプログラムを入れ実行.
import numpy as np %matplotlib inline import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') # Suppress Matplotlib warnings x = np.linspace(0, 6, 100) plt.style.use('default') plt.plot(x, np.sin(x))
jupyter notebook --generate-config
c.NotebookApp.contents_manager_class = "jupytext.TextFileContentsManager"
"jupytext": {"formats": "ipynb,py"}
python -m pip install -U numpy scikit-learn scikit-learn-intelex
python import numpy as np print(np.sin(0)) exit()
import time import numpy import numpy.linalg import sklearn.decomposition import sklearn.cluster X = numpy.random.rand(2000, 2000) Y = numpy.random.rand(2000, 2000) # 行列の積 a = time.time(); Z = numpy.dot(X, Y); print(time.time() - a) # 主成分分析 pca = sklearn.decomposition.PCA(n_components = 2) a = time.time(); pca.fit(X); X_pca = pca.transform(X); print(time.time() - a) # SVD a = time.time(); U, S, V = numpy.linalg.svd(X); print(time.time() - a) # k-means a = time.time(); kmeans_model = sklearn.cluster.KMeans(n_clusters=10, random_state=10).fit(X) labels = kmeans_model.labels_ print(time.time() - a)
実行結果の例
設定の要点
システム環境変数 TF_FORCE_GPU_ALLOW_GROWTH の設定: true
python --version
トラブルの可能性を減らすために,関係のパッケージのアンインストールを行っておく.
python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U tensorflow tf-models-official==2.8.0 tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer numpy pillow pydot matplotlib seaborn scikit-learn scikit-learn-intelex keras keras-tuner keras-visualizer opencv-python opencv-contrib-python python -m pip install git+https://github.com/tensorflow/docs python -m pip install git+https://github.com/tensorflow/examples.git
バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.
python -c "import tensorflow as tf; print( tf.__version__ )"
次のようなメッセージが出た場合には,メッセージに従い, NVIDIA ドライバ,NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストールを行う. 但し,GPU がない場合には,このメッセージを無視する.
pip show tensorflow
TensorFlow が GPU を認識できているかの確認は,端末で,次を実行して行う.
python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
実行結果の中に,次のように「device_type: "GPU"」があれば,GPUが認識できている.エラーメッセージが出ていないことを確認しておくこと.
ここで,GPU があるのに,TensorFlow から認識されていないかもしれない. TensorFlow GPU 版が指定するバージョンの NVIDIA CUDA ツールキット,NVIDIA cuDNN がインストールされていないことが原因かも知れない.
TensorFlow 2.5 の GPU 版での,cuDNN のバージョンは 8.2,TensorFlow 2.4 の GPU 版での,cuDNN のバージョンは 8.0.5,TensorFlow 2.3, 2.2, 2.1 の GPU 版での,cuDNN のバージョンは 7.6.そして,TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での,cuDNN のバージョンは7.4 が良いようである.
Windows でのNVIDIA CUDA ツールキット 11.5,NVIDIA cuDNN 8.3 のインストール: 別ページで説明している.
管理者として実行した コマンドプロンプトで,次のコマンドを実行.
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"TF_FORCE_GPU_ALLOW_GROWTH\", \"true\", \"Machine\")"
python -m pip install -U h5py pillow
10.png のようなファイル名で保存しておく
cd <画像を置いたディレクトリ> python
次のプログラムをコピー&ペースト
Kerasのサイトで公開されているものを少し書き換えて使用。
「'10.png'」のところは,実際に使用する画像ファイル名に書き換えること.
import h5py from tensorflow.keras.preprocessing import image from tensorflow.keras.applications.vgg16 import VGG16 from tensorflow.keras.applications.vgg16 import preprocess_input import numpy as np m = VGG16(weights='imagenet', include_top=False) img_path = '10.png' img = image.load_img(img_path, target_size=(299, 299)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) features = m.predict(x) print(features)
python の終了は「exit()」
次のプログラムをコピー&ペースト
Kerasのサイトで公開されているものを少し書き換えて使用。
「'10.png'」のところは,実際に使用する画像ファイル名に書き換えること.
import h5py from tensorflow.keras.preprocessing import image from tensorflow.keras.applications.inception_v3 import preprocess_input, decode_predictions, InceptionV3 import numpy as np m = InceptionV3(weights='imagenet') img_path = '10.png' img = image.load_img(img_path, target_size=(299, 299)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) preds = m.predict(x) print('Predicted:') for p in decode_predictions(preds, top=5)[0]: print("Score {}, Label {}".format(p[2], p[1]))
python の終了は「exit()」
Web ブラウザで最新情報を確認ののち,所定のコマンドによりインストールを行う.
PyTorch の URL: https://pytorch.org/
Windows, pip, Python,NVIDIA CUDA ツールキット 11.5 での実行例
NVIDIA CUDA ツールキットのバージョンは一致するものを選ぶ. 選択肢として出てこないという場合には, 「install previous versions of PyTorch」をクリックし,そのページの記載に従う.
python -m pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio===0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
次のコマンドを実行.
※ バージョン番号が表示されれば OK.
python -c "import torch; print( torch.__version__ )"
https://pytorch.org/get-started/locally/ に記載のサンプルプログラムを実行してみる
Python プログラムを動かす.
from __future__ import print_function import torch x = torch.rand(5, 3) print(x) exit()
次の Python プログラムを実行して確認.
import torch torch.cuda.is_available() exit()
メッセージが出ないことを確認
python -c "from caffe2.python import core"
CUDA デバイスの数が表示されることを確認
python -c "from caffe2.python import workspace; print(workspace.NumCudaDevices())"
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
「11.5」のところは,実際にインストールしている NVIDIA CUDA ツールキットのバージョンにあわせること.
cd %LOCALAPPDATA% rmdir /s /q dlib git clone https://github.com/davisking/dlib cd dlib rmdir /s /q build mkdir build cd build del CMakeCache.txt cmake -G "Visual Studio 17 2022" -A x64 -T host=x64 ^ -DCUDA_SDK_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.5" ^ -DCUDA_TOOLKIT_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.5" ^ -D CUDA_NVCC_FLAGS="-allow-unsupported-compiler" ^ -DCUDA_NVCC_FLAGS_DEBUG="-allow-unsupported-compiler" ^ -DCMAKE_INSTALL_PREFIX=c:/dlib ^ -DUSE_AVX_INSTRUCTIONS=1 ^ .. cmake --build . --config RELEASE --target INSTALL cd %LOCALAPPDATA% cd dlib python setup.py build python setup.py install python -c "import dlib; print( dlib.__version__ )" call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\dlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")" cd c:\dlib\python_examples curl -O http://dlib.net/files/mmod_human_face_detector.dat.bz2 curl -O http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2 curl -O http://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2 curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 "c:\Program Files\7-Zip\7z.exe" e mmod_human_face_detector.dat.bz2 "c:\Program Files\7-Zip\7z.exe" e dlib_face_recognition_resnet_model_v1.dat.bz2 "c:\Program Files\7-Zip\7z.exe" e shape_predictor_5_face_landmarks.dat.bz2 "c:\Program Files\7-Zip\7z.exe" e shape_predictor_68_face_landmarks.dat.bz2 del mmod_human_face_detector.dat.bz2 del dlib_face_recognition_resnet_model_v1.dat.bz2 del shape_predictor_5_face_landmarks.dat.bz2 del shape_predictor_68_face_landmarks.dat.bz2
Dlib の動作確認のため,次を実行.エラーメッセージが出ずに,顔検出の結果が表示されれば OK とする.
cd c:\dlib\python_examples python cnn_face_detector.py mmod_human_face_detector.dat ..\examples\faces\2007_007763.jpg
face_recognition の動作には,dlib が必要
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
rmdir /s /q c:\face_recognition cd c:\ git clone https://github.com/ageitgey/face_recognition cd face_recognition python setup.py build python setup.py install
Web ブラウザで最新情報を確認ののち,所定のコマンドによりインストールを行う.
■ インストールではパスを通す.
getBaseModels.bat を実行する.
cd C:\openpose-1.7.0-binaries-win64-gpu-python3.7-flir-3d_recommended\openpose cd models getBaseModels.bat
OpenPose の動作確認のため,次を実行.エラーメッセージが出ずに,顔検出の結果が表示されれば OK とする.
cd C:\openpose-1.7.0-binaries-win64-gpu-python3.7-flir-3d_recommended\openpose bin\OpenPoseDemo.exe --video examples\media\video.avi
次を実行する.
cd c:\ rmdir /s /q alpr_jp git clone https://github.com/dyama/alpr_jp
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
python -m pip install git+https://github.com/ipazc/mtcnn.git python -c "import mtcnn; print(mtcnn.__version__)"
matterplot/masked_rcnn の URL: https://github.com/matterport/Mask_RCNN
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
python -m pip install scikit-image cython python -m pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI cd c:\pytools rmdir /s /q Mask_RCNN git clone --recursive https://github.com/matterport/Mask_RCNN cd Mask_RCNN python -m pip install -r requirements.txt python setup.py build python setup.py install cd samples/coco
https://github.com/matterport/Mask_RCNN/blob/master/samples/demo.ipynb に記載のプログラムを実行してみる.
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
rmdir /s /q c:\muzero-general cd c:\ git clone https://github.com/werner-duvaud/muzero-general.git cd muzero-general python -m pip install -r requirements.txt
確認のため実行してみる.
python muzero.py tensorboard --logdir ./results
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
rmdir /s /q c:\gym cd c:\ git clone https://github.com/openai/gym.git cd gym python -m pip install -e .
その他,Python パッケージは,必要なものをインストール.次に手順を例示している. 利用者で判断すること.
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
python -m pip install -U pip setuptools python -m pip install -U numpy scipy h5py scikit-learn scikit-learn-intelex scikit-image seaborn pandas pillow pytest cython bokeh statsmodels plotly sympy csvkit docopt pyproj flake8 protobuf bs4 html5lib rope wrapt cffi wheel six sphinx bottleneck pygments numexpr xlrd xlsxwriter lxml graphviz pydot flask django redis pylint bz2file PyOpenGL msgpack mecab ggplot matplotlib-venn pygame bottle rtree shapely fiona gdal geopandas geopy geographiclib requests pandasql pyyaml bokeh pymc3 mkl mkl-include holoviews pandas-bokeh ggplot prettyplotlib pybrain3 firebase-admin googletrans google-cloud-vision gpyocr azure-cognitiveservices-vision-computervision gensim gloo scikit-video scikits.datasmooth scikits.example scikits.fitting scikits.optimization scikits.vectorplot zodb gdata pycaret pywin32
コマンドプロンプトを管理者として実行し,次のコマンドを実行.
pip の実行では,コマンドプロンプトを管理者として実行することにする。
python -m pip install git+https://github.com/jrosebr1/imutils.git python -c "import imutils; print(imutils.__version__)" python -m pip install git+https://github.com/DinoTools/python-overpy.git python -c "import overpy; print(overpy.__version__)" python -m pip install git+https://github.com/ianare/exif-py.git python -c "import exifread; print(exifread.__version__)" python -m pip install git+https://github.com/mapado/haversine.git python -m pip install git+https://github.com/Turbo87/utm.git # mkdir c:\pytools cd c:\pytools rmdir /s /q head-pose-estimation git clone https://github.com/lincolnhard/head-pose-estimation cd head-pose-estimation curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 "c:\Program Files\7-Zip\7z.exe" e shape_predictor_68_face_landmarks.dat.bz2 # mkdir c:\pytools cd c:\pytools rmdir /s /q PupilTracker cd c:\pytools git clone https://github.com/TobiasRoeddiger/PupilTracker
python -m pip install -q git+https://github.com/python-visualization/folium.git
python -m pip install pyproj rtree shapely
https://www.lfd.uci.edu/~gohlke/pythonlibs/#fiona, https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal から入手. このとき,使用している Python のバージョンに一致するものを選ぶ. amd64 のファイルを選ぶ.
そして「python -m pip」でインストール
# gdal が必要 mkdir c:\pytools cd c:\pytools rmdir /s /q geopandas git clone https://github.com/geopandas/geopandas cd geopandas python setup.py build python setup.py install
管理者として実行した コマンドプロンプトで,次のコマンドを実行.
python -m pip cache purge cd %LOCALAPPDATA% cd pip rmdir /s /q Cache
必要な場合にはインストールを行う.このソフトウエアについても,必ず利用条件を確認すること.
Visual Studio Code はエディタ.軽快動作.操作法は簡単. プログラム作成に向いた拡張機能が充実.Linux などでも動く.
インストール手順
ダウンロードしインストールする.
動画リンク: https://www.youtube.com/watch?v=2SVnOoJg4JY
動画リンク https://www.youtube.com/watch?v=B2QB8gvk11g
Visual Studio Code の拡張機能は,必要なものをインストールする.次に拡張機能を例示している.利用者で判断すること.
ファイル「HelloWorld.java」の作成
public class HelloWorld { public static void main(String args[]) { System.out.println("Hello Java World !"); } }
コンパイルと実行
javac HelloWorld.java java HelloWorld
Windows でのインストール手順: 別ページで説明している.
Windows でのインストール手順: 別ページで説明している.
URL: https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-cliv2-windows.html
IP アドレス等のスキャナ. 利用条件等は,利用者で確認すること.
Advanced IP Scanner の URL: https://www.advanced-ip-scanner.com/jp/
Windows でのインストール手順: 別ページで説明している.
公式ページ: https://anytxt.net
Greenshot の URL: https://getgreenshot.org/
ニューラルネットの描画(例えば「tf.keras.utils.plot_model(model, show_shapes=True」で描画)のときにも役に立つツール. 利用条件等は,利用者で確認すること。
ER図,UML図,回路図,ネットワーク図などの簡単作成。 利用条件等は,利用者で確認すること。
インストール手順
ダウンロードしインストールする. ダウンロードでは,Windows 版を選ぶ.
動画リンク: https://www.youtube.com/watch?v=B9cg8CaD8xA
オンラインの翻訳サービス.利用条件は利用者で確認すること.そして,オンラインのサービスでは「ファイルを他者に預けることになる」ことを常に意識すること.
URL: https://www.deepl.com/ja/app/
インストール手順: Microsoft Office 2019
Windows Sysinernals の URL: https://docs.microsoft.com/ja-jp/previous-versions/bb545021(v=msdn.10)?redirectedfrom=MSDN
sdelete の URL: https://docs.microsoft.com/ja-jp/sysinternals/downloads/sdelete
次のコマンドで,デフラグと,空き領域のゼロフィルを行う.
defrag c: sdelete -z c:
ドライブの最適化は,定期的に最適化する必要がない場合にはOFF
ダウンロードの URL: http://www.postgresql.jp/download
PostgreSQL 13.1, pgAdmin 4, pgJDBC, psqlODBC, PostGIS などのインストールを簡単に行うことができる.
インストールにより,既定(デフォルト)では次のようにように設定される.
インストール時に postgres のパスワードを設定すること.
システム環境変数 Pathに,C:\Program Files\PostgreSQL\13\bin を追加することにより,パスを通す.
管理者として実行した コマンドプロンプトで,次のコマンドを実行.
call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";C:\Program Files\PostgreSQL\13\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
psql などを扱いやすくするために,Windows のシステムの環境変数を次のように設定する.
Windows での設定例.Windows マシンをPostgreSQL 専用に使うとき,そして,メインメモリが 32 GB のときは,それに合わせて設定する.
shared_buffers = 4GB work_mem = 1GB shared_memory_type=windows max_files_per_process = 1000 effective_cache_size = 16GB
パーソナルに使う場合は,オンライントランザクション処理を行わないので,WAL の機能を実質オフににして運用する可能性がある.
wal_level = minimal archive_mode = off max_wal_senders = 0
データベースファイルを SSD, NVMe に置くときは,次のように設定
random_page_cost = 1.1
psql を用いてインタラクティブに実行する場合.
psql create table T (id integer, name text); insert into T values(1, 'hello'); select * from T; \q
psql を用いて外部ファイルを実行する場合
psql \i hoge.sql \q
psql を起動し,次のコマンドを実行することにより,インストールする. インストールがうまく行かない場合には,Python のバージョンが合致しないことが考えられる. Python のバージョンについては,インストールのドキュメントや Dependency (https://github.com/lucasg/Dependencies) で確認することができる.
CREATE EXTENSION plpython3u; SELECT * FROM pg_language;
DBeaver Community Edition はデータベースツール. dbeaver で起動.
動作には,Java 11 以上が必要.「java -version」でバージョンを確認できる.
Windows のコマンドプロンプトを管理者として実行し, 次のコマンドを実行
C: mkdir c:\tools cd c:\tools curl -O --no-check-certificate https://jaist.dl.sourceforge.net/project/sqliteman/sqliteman/1.2.2/Sqliteman-1.2.2-win32.zip x Sqliteman-1.2.2-win32.zip move Sqliteman-1.2.2\*.* . rmdir /s /q Sqliteman-1.2.2 del /q Sqliteman-1.2.2-win32.zip
sqlitestudio, sqlitestudiocli で起動.
Windows のコマンドプロンプトを管理者として実行し, 次のコマンドを実行
C: mkdir c:\tools cd c:\tools curl -O https://github.com/pawelsalawa/sqlitestudio/releases/download/3.2.1/SQLiteStudio-3.2.1.zip e SQLiteStudio-3.2.1.zip
OSGeo4W は,GDAL/OGR,GRASS,OPenEV,uDig,QGIS などの多数のパッケージの組み合わせ
ダウンロードしインストールする.起動時に「日本語」を選ぶ.
動画リンク: https://www.youtube.com/watch?v=Qz1ag1yiSn4
動画リンク: https://www.youtube.com/watch?v=Bbe69OJiFqM
説明ページ https://www.kkaneko.jp/tools/win/makehuman.html
動画リンク: https://www.youtube.com/watch?v=yxeMj4u8HdE
PlotDigitizer は,画面上でマウスクリックして座標値を得る機能を持ったソフトウエア).
OpenJDK のインストールと Java プログラムの実行: 別ページにまとめている
【サイト内の Java 関連の資料】
ファイル「HelloWorld.java」の作成し,動作確認を行う.
public class HelloWorld { public static void main(String args[]) { System.out.println("Hello Java World !"); } }
コンパイルと実行
javac HelloWorld.java java HelloWorld
Web ブラウザで最新情報を確認ののち,インストールを行う.
URL: http://www.bluej.org
ファイル「HelloWorld.java」の作成
public class HelloWorld { public static void main(String args[]) { System.out.println("Hello Java World !"); } }
コンパイルと実行
javac HelloWorld.java java HelloWorld
インストール先として,ユーザ名 public のプロファイルにインストールしたとする
Android Studio の設定は次のように行う.
Gradleユーザー・ホーム: C:\Users\public\.gradle に設定
C:\Users\public\Documents\AndroidStudio\DeviceExplorer に設定
idea.config.path=C:/Users/public/.AndroidStudio3.6/config idea.system.path=C:/Users/public/.AndroidStudio3.6/system