金子邦彦研究室インストールUbuntu, WSL2隔離された Python 3.6 仮想環境の新規作成と,TensorFlow 1.15.5,Keras のインストール(venv を使用)(Ubuntu 上)

隔離された Python 3.6 仮想環境の新規作成と,TensorFlow 1.15.5,Keras のインストール(venv を使用)(Ubuntu 上)

Ubuntu で,次のことを行う.

  1. 前準備
  2. Python の仮想環境の新規作成と,TensorFlow 1.15.5,その他パッケージのインストール
  3. TensorFlow の動作確認
NVIDIA CUDA ツールキット は,NVIDIA社が提供する GPU 用のツールキットである.GPU を用いた演算のプログラム作成や動作のための各種機能を備えている.ディープラーニングでも利用されている. NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき,NVIDIA CUDA ツールキット を利用することができる.

GPU は,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある.

サイト内の関連ページ

先人に感謝.

前準備

Ubuntu のシステム更新

UbuntuUbuntu で OS のシステム更新を行うときは, 端末で,次のコマンドを実行する.

UbuntuUbuntu のインストールは別ページ »で説明

sudo apt -y update
sudo apt -yV upgrade
sudo /sbin/shutdown -r now

Python3 開発用ファイル,pip, setuptools, venv のインストール,Python 開発環境,Python コンソール(Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストール(Ubuntu 上)

Python のインストールは行わない(Ubuntu のシステム Python を用いる.)

Python, pip, Python 開発環境,Python コンソールのコマンドでの起動のまとめ.

Ubuntu のシステム Python を用いるとき, python, pip, Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder は,次のコマンドで起動できる.

Python3 開発用ファイル,pip, setuptools, venv のインストール

端末で,次のコマンドを実行する.

sudo apt -y update
sudo apt -y install python-is-python3 python3-dev python-dev-is-python3 python3-pip python3-setuptools python3-venv build-essential

Python 開発環境(JupyterLab, spyder, nteract)

Python3 開発用ファイル,pip, setuptools, venv, Python 開発環境,Python コンソールJupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストール

端末で,次のコマンドを実行する.

sudo apt -y update
sudo apt -y install python-is-python3 python3-dev python-dev-is-python3 python3-pip python3-setuptools python3-venv build-essential
sudo pip3 uninstall ptyprocess sniffio terminado tornado jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
sudo apt -y install jupyter jupyter-qtconsole spyder3
sudo apt -y install python3-ptyprocess python3-sniffio python3-terminado python3-tornado
sudo pip3 install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter

NVIDIA ドライバのインストール(Ubuntu 上)

Ubuntu での NVIDIA ドライバのインストール: 別ページ »で説明している.

(NVIDIA GPU を使うとき)NVIDIA CUDA ツールキット 10.0 のインストール

NVIDIA CUDA ツールキット は,NVIDIA社が提供する GPU 用のツールキットである.GPU を用いた演算のプログラム作成や動作のための各種機能を備えている.ディープラーニングでも利用されている. NVIDIA 社のグラフィックス・カードが持つ GPU の機能を使うとき,NVIDIA CUDA ツールキット を利用することができる.

ダウンロードページ

次の URL よりダウンロードして,インストールする.

インストール手順の詳細(別ページ)

NVIDIA cuDNN 7.4 のインストール

ダウンロードと設定

  1. NVIDIA Developer Program メンバーシップ

    cuDNN のダウンロードのため,利用者本人が,電子メールアドレス,表示名,パスワード,生年月日を登録.利用条件等に合意.

    URL: https://developer.nvidia.com/cudnn

  2. NVIDIA cuDNN のダウンロードと展開(解凍)

    NVIDIA cuDNN のダウンロード URL: https://developer.nvidia.com/cudnn

    ダウンロードして展開(解凍)したら,パスを通しておくこと.

Python の仮想環境の新規作成(pyenv, venv を使用)と,TensorFlow 1.15.5,その他パッケージのインストール

最新版ではない TensorFlow を使う.そうした場合,運用を簡単にする(バージョン指定のもの間違ってアップデートしないなど)のために,venv を用いて,Python の仮想環境を作る

今から作成するPython の仮想環境の名前と、Pythonのバージョンを決めておく

pyenv のインストール

pyenv は Python のインストールが簡単にできる機能などを持つソフトウェア.

  1. いまインストールされている pyenv の消去
    rm -rf ~/.pyenv
    

    [image]
  2. pyenv のダウンロードと更新
    cd /tmp
    git clone https://github.com/pyenv/pyenv.git ~/.pyenv
    cd ~/.pyenv
    git pull
    src/configure 
    make -C src
    

    [image]
  3. pyenv の設定
    echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.profile
    echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.profile
    echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.profile
    echo '    eval "$(pyenv init --path)"' >> ~/.profile
    echo 'fi' >> ~/.profile
    echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.profile
    exec $SHELL -l
    source ~/.profile
    

    [image]
  4. 関係するライブラリのインストール
    sudo apt -y update
    sudo apt -y install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
    

システム Python とは別に Python 3.6 をインストール (pyenv を使用)

  1. インストールするPython のバージョンの確認
    pyenv rehash 
    pyenv install -l 
    

    [image]
  2. インストールできる Python 3.6 のバージョンの確認
    pyenv install -l | grep 3.6
    

    [image]
  3. Python 3.6.12 のインストール
    pyenv install 3.6.12
    

    [image]
  4. pyenv の Python 3.6 の有効化.

    pyenv shell 3.6.12
    

Python の切り替えは次のようなコマンドで行う.

デフォルトで pyenv 配下の python 3.6.12 を使いたいときは, 次のように設定する

echo 'pyenv shell 3.6.12' >> ~/.bashrc
exec $SHELL -l

隔離された Python 3.6 仮想環境の作成(venv を使用)

下の例では,Python の仮想環境のためのディレクトリを ~/tf115py36に作成している.

pyenv shell 3.6.12
python -m pip install -U pip setuptools
python -m venv --system-site-packages ~/tf115py36

[image]

[image]
  • venvPython の仮想環境有効化し,pip と setuptools を更新. Python 開発環境,Python コンソールJupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder)のインストール.

    source ~/tf115py36/bin/activate
    python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
    

    [image]

    1. venvPython の仮想環境有効化する

      source ~/tf115py36/bin/activate
      

      [image]
    2. TensorFlow 1.15.5, Keras, MatplotLib, Python 用 opencv-python のインストール

      ※ 「==1.15.5」のところでバージョンを指定している.

      sudo apt -y update
      sudo apt -y install libopencv-dev libopencv-core-dev python3-opencv
      python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-intel tensorflow-text tensorflow-estimator tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
      python -m pip install -U tensorflow==1.15.5 tensorflow_datasets tensorflow-hub keras==2.3.1
      python -m pip install git+https://github.com/tensorflow/docs
      python -m pip install git+https://github.com/tensorflow/examples.git
      python -m pip install git+https://www.github.com/keras-team/keras-contrib.git
      

      [image]
      (以下省略)

      venv を使い,孤立した Python の隔離された環境を使っているときは,Windows でも Ubuntu でも同じで,「python -m pip install ...」.

    TensorFlow の動作確認

    1. venvPython の仮想環境有効化する

      source ~/tf115py36/bin/activate
      

      [image]
    2. TensorFlow のバージョン確認

      バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.

      python -c "import tensorflow as tf; print( tf.__version__ )"
      

      [image]
    3. (GPU を使うとき) TensorFlow からGPU が認識できているかの確認

      実行結果の中に,実行結果の中に,次のように「device_type: "GPU"」があれば,GPUが認識できている.エラーメッセージが出ていないことを確認しておくこと.

      python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
      

      [image]

      ここで,GPU があるのに,TensorFlow から認識されていないかもしれない. TensorFlow GPU 版が指定するバージョンの NVIDIA CUDA ツールキットNVIDIA cuDNN がインストールされていないことが原因かも知れない.

    4. TensorFlow がインストールできたかを確認したい.

      Ubuntu で Python プログラムを動かす.

      メッセージを表示するプログラム

      結果として 「b'Hello, TensorFlow!'」のように表示されるので確認する.

      import tensorflow as tf
      hello = tf.constant('Hello, TensorFlow!')
      sess = tf.Session()
      result = sess.run(hello)
      print(result)
      sess.close()
      

      [image]