トップページインストール,使い方Windows の種々のソフトウェア(インストール,使い方)Windows でディープラーニング環境を整える

Windows でディープラーニング環境を整える

用途:Windows パソコンで,ディープラーニングの学習,実験,実習ができる環境を整える.

このページでは,次のソフトウェアのインストール,設定手順の概要や詳細情報へのリンクも示す.

目次

  1. ニューラルネットワークの基礎
  2. Windows での操作(注意点まとめ)
  3. Build Tools for Visual Studio (ビルドツール for Visual Studio)のインストール
  4. Git, cmake, 7-Zip のインストール
  5. NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.0, NVIDIA cuDNN v8.4.1 のインストール
  6. Python,Python 開発環境,ディープラーニング環境(TensorFlow, PyTorch その他)のインストール
  7. ディープラーニング応用

注意事項

サイト内のまとめページ

  1. 人工知能応用,データ応用,3次元のまとめ
  2. Windows の使い方
  3. Ubuntu の使い方
  4. Python のまとめ
  5. C/C++ のまとめ
  6. R システムのまとめ
  7. Octave のまとめ

サイト内の主な Windows 関連ページ

Ubuntu のインストール,設定,セットアップ別ページにまとめている.

1. ニューラルネットワークの基礎

用語: ニューラルネットワーク,モデル,学習,過学習ドロップアウトCNN,転移学習,データ拡張

用語集:別ページにまとめている.

説明資料: 別ページ にまとめている.

2. Windows での操作(注意点まとめ)

3. Build Tools for Visual Studio (ビルドツール for Visual Studio)のインストール

Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)のインストール(Windows 上)

Build Tools for Visual Studio (ビルドツール for Visual Studio)は,Windows で動くMicrosoft の C++ コンパイラーである.

Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)のダウンロードページ

https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/

インストール手順の詳細(別ページ)

Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)のインストール: 別ページで説明している.

インストール手順の概要

  1. ダウンロード URL を開く

    https://visualstudio.microsoft.com/ja/downloads/

  2. このページの下の方の「Visual Studio 2022用のツール」を展開

    [image]
  3. Build Tools for Visual Studio 2022」の右の「ダウンロード」をクリック.

    [image]
  4. ダウンロードが始まる

    [image]
  5. ダウンロードした .exe ファイルを実行する
  6. 表示を確認し,「続行」をクリック

    [image]
  7. C++ によるデスクトップ開発」をクリック.「インストール」をクリック.

    [image]
  8. ダウンロードとインストールが始まる
  9. インストール終了の確認
【確認のため,コマンドで C プログラムをコンパイルしてみる】

Microsoft Visual Studio の C/C++ をコマンドで使いたいときは, Visual Studio の x64 Native Tools コマンドプロンプトを使う.

  1. Visual Studio の x64 Native Tools コマンドプロンプトを開く.

    Windows のスタートメニューで「Visual Studio 2022」の下の「x64 Native Tools Command Prompt for VS 2022」で起動する.(あるいは類似のものを探す)

    以下の操作は,x64 Native Tools コマンドプロンプトで行う

  2. cl にパスが通っていることを確認する

    エラーメッセージが出ていないことを確認.

    where cl
    

    [image]

    ※ 「cl が無い」 という場合は,次の手順で,Visual Studio Build Tools 2022C++ についての設定を行う.

    1. C++ についての設定をしたいので、Visual Studio Installer (Visual Studio インストーラー)を起動

      Windowsのスタートメニューからの起動が簡単

    2. Visual Studio Build Tools 2022 の画面で「変更」をクリック
    3. C++ によるデスクトップ開発」をチェック.そして,画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート(最新)」をチェックする.その後,「インストール」をクリック.
    4. インストールが始まる.しばらく待つ.
  3. コンパイラの動作確認

    まず,エディタを開く. ここではメモ帳 (notepad) を使っている.

    x64 Native Tools コマンドプロンプト で,次のコマンドを実行. ファイル名は hello.c としている.

    c:
    cd %HOMEPATH%
    notepad hello.c
    

    [image]
  4. いまメモ帳で開いたファイルを, 次のように編集する(コピー&ペーストしてください).そして保存する.
    #include<stdio.h>
    int main() {
        printf("Hello,World!\n");
        printf("sizeof(size_t)=%ld\n", sizeof(size_t));
        return 0;
    }
    

    [image]
  5. x64 Native Tools コマンドプロンプト で,次のコマンドを実行

    結果として,「Hello,World!」「sizeof(size_t)=8」と表示されればOK.

    cl hello.c
    .\hello.exe
    

    実行結果例

    [image]

4. Git, cmake, 7-Zip のインストール

4.1 Git のインストール

Git のページ https://git-scm.com/ からダウンロードしてインストール:

Git のインストールの詳細: 別ページで説明している.

  1.  Git のページを開く

    https://git-scm.com/

  2.  ダウンロードしたいので「Downloads」をクリック

    [image]
  3. Windows 版が欲しいので 「Windows」をクリック.

    [image]
  4. ダウンロードした .exe ファイルを実行

    このとき,ライセンス条項の確認を行う.設定は既定(デフォルト)のままでも問題はない.

4.2 cmake のインストール

cmake のダウンロードのページ https://cmake.org/download/ からダウンロードしてインストール

cmake のインストールの詳細: 別ページで説明している.

  1. cmake のダウンロードのページを開く

    https://cmake.org/download/

  2. 最新のWindows版バイナリを選ぶ(拡張子は .msi)

    下の図では 64ビットWindows 用を選んでいる

    [image]

4.3 7-Zip のインストール

7-Zip は,Windows で動くソフトウェア.ファイルの圧縮や展開の機能を持つ.

7-Zip のページ: https://sevenzip.osdn.jp/ からダウンロードしてインストールする.

7-Zip のインストールの詳細: 別ページで説明している.

  1.  7-Zip のページを開く
    https://sevenzip.osdn.jp/
  2.  ダウンロードしたいので,「7-Zip ... for Windows」の下の,「64 ビット x64」の「ダウンロード」をクリック

    [image]
  3. ダウンロードした .exe ファイルを実行
  4. Windowsシステム環境変数 Pathc:\Program Files\7-Zip追加することにより,パスを通す

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    Windows のコマンドプロンプト管理者として実行するには, 検索窓で「cmd」と入れたあと, 右クリックメニューで「管理者として実行」を選ぶのが簡単.

    [image]
    call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\7-Zip\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
    

5. NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.0, NVIDIA cuDNN v8.4.1 のインストール

GPU は,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある. NVIDIA CUDA ツールキット は,NVIDIA社が提供している GPU 用のプラットフォームである.

インストール手順の詳細(別ページ)

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.1,NVIDIA cuDNN v8.5 のインストール: 別ページで説明している.

5.1 TensorFlow, PyTorch が必要とするNVIDIA CUDA ツールキットとNVIDIA cuDNN のバージョンの確認

5.2 Build Tools for Visual Studio (ビルドツール for Visual Studio)もしくは Visual Studio のインストール

Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)もしくはVisual Studio 2022 を,前もってインストールしておく.NVIDIA CUDA の nvcc を機能させるため.

5.3 NVIDIA ドライバのインストール(Windows 上)

  1. 古いNVIDIA ドライバ,NVIDIA CUDA ツールキットがインストール済みのとき,不要なものがあればアンインストール

    Windows のスタートメニューで「設定」,「アプリ」と操作して,「NVIDIA ・・・」を削除

  2. NVIDIA グラフィックス・カードの種類を調べる

    hwinfo (URL: https://www.hwinfo.com) を使って調べることができる.

  3. あとで,NVIDIA CUDA ツールキットをインストールするときに,NVIDIA ドライバを同時にインストールすることができる.

    但し, NVIDIA CUDA ツールキットの古いバージョンを使うという場合は,NVIDIA CUDA ツールキットのインストールのときに NVIDIA ドライバをインストールするのでなく,次のページから最新のNVIDIA ドライバをダウンロードして,インストールする.

    NVIDIA ドライバのダウンロードページ】

    https://www.nvidia.co.jp/Download/index.aspx?lang=jp

5.4 NVIDIA CUDA ツールキット 11.7.1 のインストール(Windows 上)

要点

インストール手順の詳細(別ページ)

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.1NVIDIA cuDNN v8.5 のインストールと動作確認: 別ページで説明している.

インストール手順の概要

NVIDIA CUDA ツールキット 11.7.1 のダウンロードとインストール

NVIDIA cuDNN v8.5 のインストール(Windows 上)

要点

インストール手順

  1. ZLIB DLL のダウンロードとインストール

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    Windows のコマンドプロンプト管理者として実行するには, 検索窓で「cmd」と入れたあと, 右クリックメニューで「管理者として実行」を選ぶのが簡単.

    [image]

    v11.7」のところは,実際にインストールされているバージョンを確認し,読み替えてください.

    cd "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin"
    curl -O http://www.winimage.com/zLibDll/zlib123dllx64.zip
    call powershell -command "Expand-Archive zlib123dllx64.zip"
    copy zlib123dllx64\dll_x64\zlibwapi.dll .
    

    [image]

    Windows で 「Could not locate zlibwapi.dll. Please make sure it is in your library path!」と表示されるときの対処:

    ここの説明を参考に ZLIB DLL をインストールする.

  2. NVidia の cuDNN のウェブページを開く

    https://developer.nvidia.com/cuDNN

  3. ダウンロードしたいので,cuDNNのところにある「Download cuDNN」をクリック.

    [image]
  4. NVIDIA Developer Program メンバーシップに入る

    cuDNN のダウンロードのため.

    Join now」をクリック.その後,画面の指示に従う. 利用者本人が,電子メールアドレス,表示名,パスワード,生年月日を登録.利用条件等に合意.

  5. ログインする
  6. ライセンス条項の確認と展開(解凍)
  7. .exe ファイルの実行により「C:\Program Files\NVIDIA\CUDNN\v8.3 」にインストールされるので,C:\Program Files\NVIDIA\CUDNN\v8.3\bin に パスを通す

    そのために,管理者として実行した コマンドプロンプトで,次のコマンドを実行.

    call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\NVIDIA\CUDNN\v8.3\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
    
    [image]
  8. システム環境変数 CUDNN_PATH に,C:\Program Files\NVIDIA\CUDNN\v8.3 を設定

    管理者として実行した コマンドプロンプトで,次のコマンドを実行.

    call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA\CUDNN\v8.3\", \"Machine\")"
    

    [image]
  9. Windows では,次の操作により,cudnn64_8.dllパスが通っていることを確認する.

    Windowsのコマンドプロンプトを開き、次のコマンドを実行.エラーメッセージが出ないことを確認.

    where cudnn64_8.dll
    

    [image]

5.5 nvcc の動作確認

  1. C/C++ をコマンドで使いたいので,Visual Studio の x64 Native Tools コマンドプロンプトを開く.

    起動は,Windows のメニューで「Visual Studio 20..」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」を選ぶ.「x64」は,64ビット版の意味である.

    ※ 32ビットのNative Tools コマンドプロンプトでは nvcc が動かない

    以下の操作は,x64 Native Tools コマンドプロンプトで行う

  2. 確認のため,「where cl」を実行.

    エラーメッセージが出ていないことを確認.

    where cl
    

    [image]
  3. nvccの動作確認のため, https://devblogs.nvidia.com/easy-introduction-cuda-c-and-c/に記載のソースコードを使用.

    まず,エディタを開く. ここではメモ帳 (notepad) を使っている.

    x64 Native Tools コマンドプロンプト で,次のコマンドを実行. ファイル名は hello.cu としている.

    cd %HOMEPATH%
    notepad hello.cu
    

    [image]

  4. その後,ファイルを編集し,ファイルを保存.

    ファイル hello.cu ができる.

    [image]
  5. ビルドと実行.

    「nvcc hello.cu」で a.exe というファイルができる. 「Max error: 0.000000」と表示されればOK.

    うまく動かないときは,まず,マイクロソフト C++ ビルドツールの動作を,別ページの手順により確認し,異常があれば,マイクロソフト C++ ビルドツールのインストールなどで対処.それでも動かないときは,NVIDIA CUDA ツールキットのインストールしたときの作業に間違いがなかったかを再確認.

    nvcc hello.cu
    

    [image]
    .\a.exe
    

    [image]

6. Python,Python 開発環境,ディープラーニング環境(TensorFlow, PyTorch その他)のインストール

インストールする Python のバージョンの確認

TensorFlow,PyTorch のバージョンは何でも良い場合(あるいは,TensorFlow,PyTorch を使う予定がない場合)

TensorFlow,PyTorch のバージョンは何でも良い場合(あるいは,TensorFlow,PyTorch を使う予定がない場合)は, Python 3.10 を使う.

Python 3.10 の根拠:

使用したい TensorFlow, PyTorch が決まっている場合(あるいは,古いバージョンの Python を使いたい場合)

使用したい TensorFlow, PyTorch が決まっている場合(あるいは,古いバージョンの Python を使いたい場合)では, 次により, Python, TensorFlow, PyTorch のバージョンの組み合わせを確認する.

6.1 Python 3.10 のインストール,pip と setuptools の更新,Python 開発環境,Python コンソール(Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストール

(1) 古いバージョンの Python のアンインストール

すでに,Python がインストール済みのとき.

ここで示すインストール手順とは異なる設定ですでに Python をインストールしていた場合は,それをそのまま使うよりも, アンインストールしておいたほうがトラブルが少ない可能性がある.

  1. Python をインストール済みであるかを確認.
  2. インストール済みのときは,Pythonをすべてアンインストールしてから,ここから先の操作を開始した方がトラブルが少ない.
  3. Python 関係のファイルの削除

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    この操作は,必ずPython をすべてアンインストールした後に行うこと.

    [image]

    rmdir /s /q %APPDATA%\Python
    cd "C:\Program Files"
    for /F %i in ('dir /ad /b /w Python3*') do rmdir /s /q %i 
    

(2) Python 3.10 64 ビット版のインストール(Windows 上)

Python のインストールでの注意点

インストール手順

Windows での Python 3.10 のインストール(あとのトラブルが起きにくいような手順を定めている)

  1. TensorFlow のインストール予定がある場合には, 次のページで,必要な Python のバージョンを確認

    URL: https://pypi.org/project/tensorflow-gpu/#files

  2. Python の URL を開く

    URL: https://www.python.org

  3. Windows 版の Python 3.10 をダウンロード

    ページの上の方にある「Downloads」をクリック. 「Downloads」の下にメニューが出るので,その中の「Windows」をクリック

    [image]
  4. Stable Releases」から,Python のバージョンを選ぶ

    ここでは,Python 3.10.x (x は数字)を探して,選ぶ.

    [image]

    以下,Python 3.10.5 を選んだとして説明を続ける.他のバージョンでも以下の手順はほぼ同じである.

    TensorFlow を使う予定がある場合は,https://pypi.org/project/tensorflow-gpu/#filesで,必要な Python のバージョンを確認しておく. 2022/9 時点では,TensorFlow バージョン 2.10 が動くのは,Python 3.10 または Python 3.9 または Python 3.8 または Python 3.7 (https://pypi.org/project/tensorflow/2.10/#files)

  5. ファイルの種類を選ぶ.

    Windows の 64ビット版のインストーラをダウンロードしたいので、「Windows Installer (64-bit)」を選ぶ

    [image]
  6. ダウンロードが始まる

    [image]
  7. インストール時の設定
    1. いまダウンロードした .exe ファイルを右クリック, 右クリックメニューで「管理者として実行」を選ぶ.

      [image]
    2. Python ランチャーをインストールするために,「Install launcher for all users (recommended)」をチェック.

      [image]

      ※ すでに Python ランチャーをインストール済みのときは, 「Install launcher for all users (recommended)」がチェックできないようになっている場合がある.そのときは,チェックせずに進む.

      [image]
    3. Add Python 3.10 to PATH」をチェック.

      [image]
    4. Customize installation」をクリック.

      [image]
    5. オプションの機能 (Optional Features)は,既定(デフォルト)のままでよい. 「Next」をクリック

      [image]
    6. Install for all users」を選ぶ.

      Install for all users」を選ぶ理由.

      ユーザ名が日本語のときのトラブルを防ぐため.

      [image]
    7. そして,Python のインストールディレクトリは,「C:\Program Files\Python310」のように自動設定されることを確認.

      [image]
    8. Install」をクリック

      [image]
    9. インストールが始まる
    10. Disable path length limit」が表示される場合がある.クリックして、パス長の制限を解除する

      表示されない場合は問題ない.そのまま続行.

      [image]
    11. インストールが終了したら,「Close」をクリック

      [image]
  8. インストールのあと,Windows のスタートメニューに「Python 3.10」が増えていることを確認.
  9. システムの環境変数 Path の確認のため,新しくコマンドプロンプトを開き,次のコマンドを実行.

    pypipパスが通っていることの確認である.

    where py
    where pip
    

    where py では「C:\Windows\py.exe」 が表示され, where pip では「C:\Program Files\Python310\Scripts\pip.exe」 が表示されることを確認. (「310」のところは使用する Python のバージョンに読み替えること).

    [image]

    表示されないときは, システムの環境変数Pathに,C:\Program Files\Python310C:\Program Files\Python310\Scripts が追加済みであることを確認(「310」のところは使用する Python のバージョンに読み替えること).無ければ追加し,再度コマンドプロンプトを開いて,再度「where py」,「where pip」を実行して確認.

    それでもうまく行かない場合は,いろいろ原因が考えられる.対処としては,Python のアンインストールを行う.過去,アンインストールがうまく行かなかった可能性を疑う(Python の Scripts の中のファイルで,アンインストール操作により削除されるべきファイルが残っている可能性があるなど)

(3) pip と setuptools の更新

  1. Windows で,コマンドプロンプト管理者として実行

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 次のコマンドを実行.
    python -m pip install -U pip setuptools
    

    [image]

【pip の利用】

Windows では,pip は,次のコマンドで起動できる:

pip または python -m pip または py -3.10 -m pip のようにバージョン指定.

Windows では,管理者として実行

(4) Python 開発環境として,Python コンソール(Jupyter Qt Console), Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール

Python, pip, Python 開発環境の起動コマンドのまとめ.

Windows では,python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder は,次のコマンドで起動できる.

Windows で複数の Python をインストールしているときは,環境変数 Path で先頭の Python が使用される.

WindowsPython ランチャーでバージョン指定

Ubuntu では,python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder は,次のコマンドで起動できる.

Windows, Ubuntu での Python 開発環境,Python コンソールJupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストール: 別ページで説明している.

Python プログラムを動かすために, Python のコマンド (python あるいは python3) を使う. あるいは, Python の開発環境や Python コンソール(Jupyter Qt ConsolespyderPyCharmPyScripter など)の利用も便利である.

  1. Windows で,コマンドプロンプト管理者として実行

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 次のコマンドを実行.

    python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
    

    [image]

    Python の隔離された環境を使用したいときは,次のような手順で, venv を用いて,Python の隔離された環境を作る.

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    Python の使用は「C:\venv\py310\Scripts\activate.bat」の後,「python」で行う.

    py -3.10 -m pip install -U pip setuptools
    py -3.10 -m venv --system-site-packages C:\venv\py310
    C:\venv\py310\Scripts\activate.bat
    python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
    

(5) Jupyter Qt Console, NTeract が起動できるかを確認

  1. numpy, matplotlib のインストール

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    pip install -U numpy matplotlib
    
  2. Jupyter Qt Console の起動チェック

    新しくコマンドプロンプトを開き,次のコマンドを実行. Jupyter Qt Console が開けば OK.

    jupyter qtconsole
    

  3. 確認のため,Jupyter Qt Console で,次の Python プログラムを実行してみる.
    import numpy as np
    %matplotlib inline
    import matplotlib.pyplot as plt
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    
    x = np.linspace(0, 6, 100)
    plt.style.use('default')
    plt.plot(x, np.sin(x))
    

  4. nteract の起動チェック

    新しくコマンドプロンプトを開き,次のコマンドを実行. ntetact が開けば OK.

    jupyter nteract
    

  5. 確認のため,nteract で,次の Python プログラムを実行してみる.

    そのために「Start a new notebook」の下の「Python」をクリック,次のプログラムを入れ実行.

    import numpy as np
    %matplotlib inline
    import matplotlib.pyplot as plt
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    
    x = np.linspace(0, 6, 100)
    plt.style.use('default')
    plt.plot(x, np.sin(x))
    

  6. Juypter Notebook で,保存のときに,.py ファイルと .ipyrb ファイルが保存されるように設定.(この設定を行わないときは .ipyrb ファイルのみが保存される)
    1. 次のコマンドで,設定ファイルを生成

      jupyter notebook --generate-config
      
    2. jupyter/jupyter_notebook_config.py を編集し,末尾に,次を追加

      c.NotebookApp.contents_manager_class = "jupytext.TextFileContentsManager"

    3. jupyter notebook を起動し,Edit, Edit Notbook Manager を選ぶ.次のように設定する.

      "jupytext": {"formats": "ipynb,py"}

6.2 numpy, scikit-learn を使ってみる

6.3 numpy, scikit-learn, TensorFlow, Keras, MatplotLib, opencv-python, PyTorch

(1) TensorFlow 2.10 (GPU 対応可能), Keras, MatplotLib, Python 用 opencv-python のインストール

設定の要点

システム環境変数 TF_FORCE_GPU_ALLOW_GROWTH の設定: true

  1. Windows で,コマンドプロンプト管理者として実行

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 使用する Python のバージョンの確認
    python --version
    

    [image]
  3. pip と setuptools の更新

    ※ 「 python -m pip install ...」は,Python パッケージをインストールするためのコマンド.

    python -m pip install -U pip setuptools
    

    [image]
  4. TensorFlow 関係のパッケージのアンインストール操作

    トラブルの可能性を減らすために,関係のパッケージのアンインストールを行っておく.

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
    

    [image]
  5. TensorFlow 2.10 (2.10 は,2022/9 時点のTensorFlow の最新版) ,Keras, 関連ソフトウェアのインストール

    pip を用いてインストール

    python -m pip install -U tensorflow tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
    python -m pip install git+https://github.com/tensorflow/docs
    python -m pip install git+https://github.com/tensorflow/examples.git
    python -m pip install git+https://www.github.com/keras-team/keras-contrib.git
    

    [image]
    (以下省略)
  6. MatplotLib, Python 用 opencv-python のインストール

    pip を用いてインストール

    python -m pip install -U  numpy pillow pydot matplotlib seaborn pandas scipy scikit-learn scikit-learn-intelex opencv-python opencv-contrib-python
    
  7. TensorFlow のバージョン確認

    バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.

    python -c "import tensorflow as tf; print( tf.__version__ )"
    

    [image]

    次のようなメッセージが出た場合には,メッセージに従い, NVIDIA ドライバ,NVIDIA CUDA ツールキットNVIDIA cuDNN のインストールを行う. 但し,GPU がない場合には,このメッセージを無視する.

    [image]
    • Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.1,NVIDIA cuDNN v8.5 のインストール: 別ページで説明している.
  8. TensorFlow パッケージの情報の表示

    pip show tensorflow
    

    [image]
  9. (GPU を使うとき) TensorFlow からGPU が認識できているかの確認

    TensorFlow が GPU を認識できているかの確認は,端末で,次を実行して行う.

    python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
    

    実行結果の中に,次のように「device_type: "GPU"」があれば,GPUが認識できている.エラーメッセージが出ていないことを確認しておくこと.

    [image]

    ここで,GPU があるのに,TensorFlow から認識されていないかもしれない. TensorFlow GPU 版が指定するバージョンの NVIDIA CUDA ツールキットNVIDIA cuDNN がインストールされていないことが原因かも知れない.

    TensorFlow 2.5 の GPU 版での,cuDNN のバージョンは 8.2TensorFlow 2.4 の GPU 版での,cuDNN のバージョンは 8.0.5TensorFlow 2.3, 2.2, 2.1 の GPU 版での,cuDNN のバージョンは 7.6.そして,TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での,cuDNN のバージョンは7.4 が良いようである.

    Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.7.1,NVIDIA cuDNN v8.5 のインストール: 別ページで説明している.

  10. システム環境変数 TF_FORCE_GPU_ALLOW_GROWTH に,true を設定

    管理者として実行した コマンドプロンプトで,次のコマンドを実行.

    call powershell -command "[System.Environment]::SetEnvironmentVariable(\"TF_FORCE_GPU_ALLOW_GROWTH\", \"true\", \"Machine\")"
    

    [image]

(3) TensorFlow, Keras, VGG 16, InceptionV3, Imagenet による画像分類を試してみる

  1. 前準備として h5py, pillow のインストール

    python -m pip install -U h5py pillow
    
  2. 画像の準備

    10.png のようなファイル名で保存しておく

    [image]
  3. Python プログラムの実行
    cd <画像を置いたディレクトリ>
    python  
    

    [image]
  4. VGG 16, Imagenet による学習済みの重みデータによる画像分類を試してみる

    次のプログラムをコピー&ペースト

    Kerasのサイトで公開されているものを少し書き換えて使用。

    「'10.png'」のところは,実際に使用する画像ファイル名に書き換えること.

    import h5py
    from tensorflow.keras.preprocessing import image
    from tensorflow.keras.applications.vgg16 import VGG16
    from tensorflow.keras.applications.vgg16 import preprocess_input
    import numpy as np
    
    m = VGG16(weights='imagenet', include_top=False)
    
    img_path = '10.png'
    img = image.load_img(img_path, target_size=(299, 299))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)
    
    features = m.predict(x)
    print(features) 
    

    [image]

    python の終了は「exit()」

  5. InceptionV3, Imagenet による学習済みの重みデータによる画像分類を試してみる

    次のプログラムをコピー&ペースト

    Kerasのサイトで公開されているものを少し書き換えて使用。

    「'10.png'」のところは,実際に使用する画像ファイル名に書き換えること.

    import h5py
    from tensorflow.keras.preprocessing import image
    from tensorflow.keras.applications.inception_v3 import preprocess_input, decode_predictions, InceptionV3
    import numpy as np
    
    m = InceptionV3(weights='imagenet')
    
    img_path = '10.png'
    img = image.load_img(img_path, target_size=(299, 299))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)
    
    preds = m.predict(x)
    
    print('Predicted:')
    for p in decode_predictions(preds, top=5)[0]:
        print("Score {}, Label {}".format(p[2], p[1]))
    

    [image]

    python の終了は「exit()」

6.4 PyTorch, Torchvision, Caffe2

Web ブラウザで最新情報を確認ののち,所定のコマンドによりインストールを行う.

PyTorch の URL: https://pytorch.org/

  1. PyTorch の「はじめよう」の Web ページを開く

    https://pytorch.org/get-started/locally/

  2. 種類を選ぶ

    Windows, pip, Python,NVIDIA CUDA ツールキット 11.3 以上 での実行例

    NVIDIA CUDA ツールキットのバージョンは一致するものを選ぶ. 選択肢として出てこないという場合には, 「install previous versions of PyTorch」をクリックし,そのページの記載に従う.

    [image]
  3. 「Run the command」のところに,コマンドが表示されるので確認する

    [image]
  4. 表示されたコマンドを実行.「pip3」は「python -m pip」に読み替える.

    コマンドプロンプト管理者として実行し,次のように,コマンドを実行

    Windows での pip の実行では,コマンドプロンプト管理者として実行することにする.

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    python -m pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
    

    [image]
  5. その結果,エラーメッセージが出ていないことを確認.
  6. PyTorch のバージョン確認

    端末で,次のコマンドを実行..

    ※ バージョン番号が表示されれば OK.

    python -c "import torch; print( torch.__version__ )"
    

    [image]
  7. PyTorch の動作確認

    https://pytorch.org/get-started/locally/ に記載のサンプルプログラムを実行してみる

    Python プログラムの実行

    from __future__ import print_function
    import torch
    x = torch.rand(5, 3)
    print(x)
    exit()
    

    [image]
  8. GPU が動作しているか確認

    次の Python プログラムを実行して確認.

    import torch
    torch.cuda.is_available()
    exit()
    

    [image]

7. ディープラーニング応用

dlib, face_recognition(顔検出,顔のアラインメント,顔のランドマーク,顔認識その他)

関連する外部ページ

インストール手順の詳細(別ページ)

Dlib のインストール操作

Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

11.7」のところは,実際にインストールしている NVIDIA CUDA ツールキットのバージョンにあわせること.

cd %HOMEPATH%
rmdir /s /q dlib
git clone https://github.com/davisking/dlib
cd dlib
rmdir /s /q build
mkdir build
cd build
del CMakeCache.txt
cmake .. -G "Visual Studio 17 2022" -A x64 -T host=x64 ^
    -DCUDA_SDK_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.7" ^
    -DCUDA_TOOLKIT_ROOT_DIR="c:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.7" ^
    -D CUDA_NVCC_FLAGS="-allow-unsupported-compiler" ^
    -DCUDA_NVCC_FLAGS_DEBUG="-allow-unsupported-compiler" ^
    -DCMAKE_INSTALL_PREFIX=c:/dlib ^
    -DUSE_AVX_INSTRUCTIONS=1 

cmake --build . --config RELEASE --target INSTALL

python -m pip uninstall -y dlib
cd %HOMEPATH%
cd dlib
python setup.py build 
python setup.py install 
python -c "import dlib; print( dlib.__version__ )"

call powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\dlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"

cd %HOMEPATH%
cd dlib
cd python_examples
curl -O http://dlib.net/files/mmod_human_face_detector.dat.bz2
curl -O http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2
curl -O http://dlib.net/files/shape_predictor_5_face_landmarks.dat.bz2
curl -O http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x mmod_human_face_detector.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x dlib_face_recognition_resnet_model_v1.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x shape_predictor_5_face_landmarks.dat.bz2
"c:\Program Files\7-Zip\7z.exe" x shape_predictor_68_face_landmarks.dat.bz2
del mmod_human_face_detector.dat.bz2
del dlib_face_recognition_resnet_model_v1.dat.bz2
del shape_predictor_5_face_landmarks.dat.bz2
del shape_predictor_68_face_landmarks.dat.bz2

Dlib の動作確認のため,次を実行.エラーメッセージが出ずに,顔検出の結果が表示されれば OK とする.

cd %HOMEPATH%
cd dlib
cd python_examples
python cnn_face_detector.py mmod_human_face_detector.dat ..\examples\faces\2007_007763.jpg

[image]

[image]

face_recognition のインストール操作

Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

cd %HOMEPATH%
rmdir /s /q face_recognition
git clone https://github.com/ageitgey/face_recognition
cd face_recognition
copy %HOMEPATH%\dlib\python_examples\shape_predictor_68_face_landmarks.dat .
python setup.py build
python setup.py install 

face_recognition の動作確認のため,次を実行.エラーメッセージが出ずに,顔識別の結果が表示されれば OK とする.

mkdir %HOMEPATH%\face_recognition\known_people
mkdir %HOMEPATH%\face_recognition\unknown_pictures
copy %HOMEPATH%\face_recognition\examples\biden.jpg %HOMEPATH%\face_recognition\known_people
copy %HOMEPATH%\face_recognition\examples\obama.jpg %HOMEPATH%\face_recognition\known_people
copy %HOMEPATH%\face_recognition\examples\two_people.jpg %HOMEPATH%\face_recognition\unknown_pictures
cd %HOMEPATH%\face_recognition
face_recognition --show-distance true known_people unknown_pictures

ipazc/mtcnn

関連する外部ページ

ipazc/mtcnn のインストール手順(Windows 上)

  1. インストール

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    python -m pip install git+https://github.com/ipazc/mtcnn.git
    python -c "import mtcnn; print(mtcnn.__version__)"
    
  2. 動作確認

    Windows で,コマンドプロンプトを実行. 次のコマンドを実行

    cd %HOMEPATH%
    cd dlib
    python
    

    次の Python プログラムを実行

    mtcnn の公式ページのプログラムを使用 (https://github.com/ipazc/mtcnn)

    from mtcnn import MTCNN
    import cv2
    
    img = cv2.cvtColor(cv2.imread("./examples/faces/2007_007763.jpg"), cv2.COLOR_BGR2RGB)
    detector = MTCNN()
    detector.detect_faces(img)
    

    [image]

OpenPose (人体の姿勢推定,指のポーズ推定)

関連する外部ページ

インストール手順の詳細(別ページ)

OpenPose の動作確認のため,次を実行.エラーメッセージが出ずに,検出の結果が表示されれば OK とする.

cd C:\openpose-1.7.0-binaries-win64-gpu-python3.7-flir-3d_recommended
cd openpose
bin\OpenPoseDemo.exe --video examples\media\video.avi

[image]

Tesseract OCR 5 (文字認識)

関連する外部ページ

インストール手順の詳細(別ページ)

matterplot/masked_rcnn (画像のセグメンテーション)

matterplot/masked_rcnn の URL: https://github.com/matterport/Mask_RCNN

Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

python -m pip install scikit-image cython
python -m pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI
cd %HOMEPATH%
rmdir /s /q Mask_RCNN
git clone --recursive https://github.com/matterport/Mask_RCNN
cd Mask_RCNN
python -m pip install -r requirements.txt
python setup.py build
python setup.py install
cd samples/coco

https://github.com/matterport/Mask_RCNN/blob/master/samples/demo.ipynb に記載のプログラムを実行してみる.

Meshroom(写真測量,フォトグラメトリ)

関連する外部ページ

Meshroom のインストール操作(Windows 上)

muZero

Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

rmdir /s /q c:\muzero-general
cd c:\
git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general
python -m pip install -r requirements.txt

確認のため実行してみる.

python muzero.py
tensorboard --logdir ./results

OpenAIGym

Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行.

rmdir /s /q c:\gym
cd c:\
git clone https://github.com/openai/gym.git
cd gym
python -m pip install -e .