トップページ情報工学を学ぶ人工知能の実行,Python プログラム (Windows 上)DeepGaze による頭部の姿勢推定(mpatacchiola/DeepGaze,Python 3.7, TensorFlow 1.15.5 を使用)(Windows 上)

DeepGaze による頭部の姿勢推定(mpatacchiola/DeepGaze,Python 3.7, TensorFlow 1.15.5 を使用)(Windows 上)

目次

  1. 前準備
  2. mpatacchiola/DeepGaze のインストール
  3. mpatacchiola/DeepGaze を用いて頭部の姿勢推定を行ってみる

手順の要点: 前準備として,NVIDIA CUDA 10.0, NVIDIA cuDNN 7.6.5, Python 3.7, TensorFlow 1.15.5 等をインストール.

ソフトウェア等の利用条件等は,利用者で確認すること.

謝辞:ソフトウェアの作者に感謝します

参考Webページ https://www.github.com/mpatacchiola/DeepGaze

前準備

Visual Studio Community 2017 のインストール

NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある.

NVIDIA CUDA 10.0 のインストールの前に, Visual Studio Commnity 2017 のインストールを行う.

Visual Studio Commnity 2017 のインストールは, https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び,「ダウンロード」をクリック. その後表示されるダウンロードの画面で, 「Visual Studio Commnity 2017」を選ぶ.

Git のインストール

Git のページ https://git-scm.com/ からダウンロードしてインストール:

NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール

GPU は,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある. NVIDIA CUDA ツールキット は,NVIDIA社が提供している GPU 用のプラットフォームである.

インストールの詳細説明

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している.

NVIDIA ドライバのインストール

インストールの要点

インストールの詳細説明

NVIDIA CUDA ツールキット 10.0, NVIDIA cuDNN 7.6.5 のインストール

インストールの詳細説明

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している.

インストールの要点

Python 3.7 64 ビット版のインストール,pip と setuptools の更新

① Python 3.7 64 ビット版のインストール(Windows 上)

インストールの詳細説明

https://www.kkaneko.jp/tools/win/python37.html

インストールでの注意点

インストール手順

Windows での Python 3.7 のインストール(あとのトラブルが起きにくいような手順を定めている)

  1. Python の URL を開く

    URL: https://www.python.org

  2. Windows 版の Python 3.7 をダウンロード

    ページの上の方にある「Downloads」をクリック,「Downloads」の下にメニューが出るので,その中の「Windows」をクリック.

    そして,Python 3.7.x (x は数字)を探す.

    そして,Windows の 64ビット版のインストーラをダウンロードしたいので,「Windows x86-64 executable installer」を選ぶ

    [image]
  3. インストール時の設定
    1. いまダウンロードした .exe ファイルを右クリック, 右クリックメニューで「管理者として実行」を選ぶ.

      [image]
    2. Python ランチャーをインストールするために,「Install launcher for all users (recommended)」をチェック.

      ※ すでに Python ランチャーをインストール済みのときは, 「Install launcher for all users (recommended)」がチェックできないようになっている場合がある.そのときは,チェックせずに進む.

    3. Add Python 3.7 to PATH」をチェック.

      [image]
    4. Customize installation」をクリック.

      [image]
    5. オプションの機能 (Optional Features)は,既定(デフォルト)のままでよい. 「Next」をクリック

      [image]
    6. Install for all users」を選んでおいたほうが,複数人で使えて便利という考え方もある.

      そして,Python のインストールディレクトリは,「C:\Program Files\Python37」のように自動設定されることを確認.

      Install」をクリック

      [image]
    7. Disable path length limit」が表示される場合がある.クリックして,パス長の制限を解除する

      [image]
    8. インストールが終了したら,「Close」をクリック
  4. インストールのあと,Windows のスタートメニューに「Python 3.7」が増えていることを確認.
  5. システムの環境変数 Path の確認のため,新しくコマンドプロンプトを開き,次のコマンドを実行.

    pypipパスが通っていることの確認である.

    where py
    where pip
    

    where py では「C:\Windows\py.exe」 が表示され, where pip では「C:\Program Files\Python37\Scripts\pip.exe」 が表示されることを確認.

② pip と setuptools の更新(Windows 上)

  1. Windows で,コマンドプロンプト管理者として実行

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 次のコマンドを実行

    py -3.7 -m pip install -U pip setuptools
    

pip は,次のコマンドで起動できる.

Python 3.7 64 ビット版のインストール,pip と setuptools の更新

① Python 3.7 64 ビット版のインストール(Windows 上)

インストールの詳細説明

https://www.kkaneko.jp/tools/win/python37.html

インストールでの注意点

インストール手順

Windows での Python 3.7 のインストール(あとのトラブルが起きにくいような手順を定めている)

  1. Python の URL を開く

    URL: https://www.python.org

  2. Windows 版の Python 3.7 をダウンロード

    ページの上の方にある「Downloads」をクリック,「Downloads」の下にメニューが出るので,その中の「Windows」をクリック.

    そして,Python 3.7.x (x は数字)を探す.

    そして,Windows の 64ビット版のインストーラをダウンロードしたいので,「Windows x86-64 executable installer」を選ぶ

    [image]
  3. インストール時の設定
    1. いまダウンロードした .exe ファイルを右クリック, 右クリックメニューで「管理者として実行」を選ぶ.

      [image]
    2. Python ランチャーをインストールするために,「Install launcher for all users (recommended)」をチェック.

      ※ すでに Python ランチャーをインストール済みのときは, 「Install launcher for all users (recommended)」がチェックできないようになっている場合がある.そのときは,チェックせずに進む.

    3. Add Python 3.7 to PATH」をチェック.

      [image]
    4. Customize installation」をクリック.

      [image]
    5. オプションの機能 (Optional Features)は,既定(デフォルト)のままでよい. 「Next」をクリック

      [image]
    6. Install for all users」を選んでおいたほうが,複数人で使えて便利という考え方もある.

      そして,Python のインストールディレクトリは,「C:\Program Files\Python37」のように自動設定されることを確認.

      Install」をクリック

      [image]
    7. Disable path length limit」が表示される場合がある.クリックして,パス長の制限を解除する

      [image]
    8. インストールが終了したら,「Close」をクリック
  4. インストールのあと,Windows のスタートメニューに「Python 3.7」が増えていることを確認.
  5. システムの環境変数 Path の確認のため,新しくコマンドプロンプトを開き,次のコマンドを実行.

    pypipパスが通っていることの確認である.

    where py
    where pip
    

    where py では「C:\Windows\py.exe」 が表示され, where pip では「C:\Program Files\Python37\Scripts\pip.exe」 が表示されることを確認.

② pip と setuptools の更新(Windows 上)

  1. Windows で,コマンドプロンプト管理者として実行

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 次のコマンドを実行

    py -3.7 -m pip install -U pip setuptools
    

pip は,次のコマンドで起動できる.

TensorFlow 1.15.5, Keras 2.3.1 のインストール

コマンドプロンプト管理者として実行し,次のコマンドを実行

py -3.7 -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer scipy pandas matplotlib
# TensorFlow 1.15.5 のため numpy, protobuf の古いバージョンを使用.エラーが出にくいと考えられる numpy 1.16.2, protobuf 3.19.4 を使用
py -3.7 -m pip install -U numpy==1.16.2 protobuf==3.19.4 tensorflow-gpu==1.15.5 keras==2.3.1 scipy==1.5.4
py -3.7 -m pip install git+https://github.com/tensorflow/docs
py -3.7 -m pip install git+https://github.com/tensorflow/examples.git
py -3.7 -m pip install git+https://www.github.com/keras-team/keras-contrib.git

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す.Ubuntu でも同様の手順になる.

  1. Windows で,コマンドプロンプト管理者として実行する.

    [image]
  2. DeepGaze のインストールディレクトリを空にしておく

    cd %HOMEPATH%
    rmdir /s /q deepgaze
    

    [image]
  3. DeepGaze のインストール

    cd %HOMEPATH%
    git clone https://github.com/mpatacchiola/deepgaze
    cd deepgaze
    py -3.7 setup.py build
    py -3.7 setup.py install 
    

    [image]
  4. 終了の確認

    エラーメッセージが出ていないこと.

mpatacchiola/DeepGaze を用いて頭部の姿勢推定を行ってみる

Windows での手順を下に示す.Ubuntu でも同様の手順になる.

サンプルプログラムを動かしてみる

  1. Windows では,コマンドプロンプトを実行.
  2. 次のコマンドを実行
    cd %HOMEPATH%
    cd deepgaze\examples\ex_cnn_head_pose_estimation_images
    py -3.7 ex_cnn_head_pose_estimation_images.py
    

    [image]
  3. 結果を確認

    [image]

ビデオファイルで動かす

ここで使用する mp4 形式ビデオファイル: sample1.mp4

  1. Windows では,コマンドプロンプトを実行.
  2. 作業用のディレクトリ(フォルダ)として,c:\imageを作り, sample1.mp4 を,c:\image の下にダウンロード
    mkdir c:\image
    cd c:\image
    curl -O https://www.kkaneko.jp/sample/face/sample1.mp4
    

    [image]
  3. %HOMEPATH%\deepgaze の下の examples の下の ex_cnn_head_pose_estimation_images の下にあるファイルを使いたい

    ファイルのコピー

    cd %HOMEPATH%
    cd deepgaze\examples\ex_cnn_head_pose_estimation_images
    copy ex_cnn_head_pose_estimation_images.py a.py 
    

    [image]
  4. いまコピーしてできた新しいファイル a.py をエディタで開く
    notepad a.py
    

    [image]
  5. このプログラムファイルの後半部分を次のように書き換え
    v = cv2.VideoCapture("c:/image/sample1.mp4")
    while(v.isOpened()):
        r, img = v.read()
        if ( r == False ):
            break
        img = cv2.resize(img, (480, 480))
        roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
        pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
        yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
        print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )
    
        cv2.imshow("", img)
    
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    編集したら,ファイルを「上書き保存」する

  6. Python プログラムの実行
    py -3.7 a.py
    

    [image]
  7. 結果の確認

    [image]

ビデオカメラで確認

  1. 次のように書き換える.書き換えたら保存する

    v = cv2.VideoCapture(0)

    v = cv2.VideoCapture(0)
    while(v.isOpened()):
        r, img = v.read()
        if ( r == False ):
            break
        img = cv2.resize(img, (480, 480))
        roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
        pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
        yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
        print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )
    
        cv2.imshow("", img)
    
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]
  2. ファイルを「上書き保存」する
  3. Python プログラムの実行

    py -3.7 a.py
    
  4. 結果の確認

    [image]