DeepGaze による頭部の姿勢推定（mpatacchiola/DeepGaze，Python 3.7, TensorFlow 1.15.5 を使用）（Windows 上）

【目次】

前準備
mpatacchiola/DeepGaze のインストール
mpatacchiola/DeepGaze を用いて頭部の姿勢推定を行ってみる

手順の要点: 前準備として，NVIDIA CUDA 10.0, NVIDIA cuDNN 7.6.5, Python 3.7, TensorFlow 1.15.5 等をインストール．

ソフトウェア等の利用条件等は，利用者で確認すること．

謝辞：ソフトウェアの作者に感謝します

参考Webページ https://www.github.com/mpatacchiola/DeepGaze

前準備

Visual Studio Community 2017 のインストール

NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある．

NVIDIA CUDA 10.0 のインストールの前に， Visual Studio Commnity 2017 のインストールを行う．

Visual Studio Commnity 2017 のインストールは， https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び，「ダウンロード」をクリック．その後表示されるダウンロードの画面で，「Visual Studio Commnity 2017」を選ぶ．

Git のインストール

Git のページ https://git-scm.com/ からダウンロードしてインストール:

Windows での Git のインストール手順: 別ページで説明している．
Ubuntu では，端末で，次のコマンドを実行して，Git をインストールする．
```
sudo apt -y update
sudo apt -y install git
```

NVIDIA ドライバ，NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 のインストール

GPU は，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある． NVIDIA CUDA ツールキットは，NVIDIA社が提供している GPU 用のプラットフォームである．

インストールの詳細説明

Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している．

NVIDIA ドライバのインストール

インストールの要点

Windows で，NVIDIA グラフィックス・カードの種類を調べたいときは， hwinfo (URL: https://www.hwinfo.com) を使って調べることができる．
次のページから，最新版のNVIDIA ドライバをダウンロード (Windows, Linux):
https://www.nvidia.co.jp/Download/index.aspx?lang=jp

最新版ではない NVIDIA CUDA ツールキットを使う場合は， NVIDIA CUDA ツールキットのインストーラに同封のNVIDIA ドライバはバージョンが古い．

インストールの詳細説明

Windows での NVIDIA ドライバのインストール: 別ページで説明している．
Ubuntu での NVIDIA ドライバのインストール: 別ページで説明している．

NVIDIA CUDA ツールキット 10.0, NVIDIA cuDNN 7.6.5 のインストール

インストールの詳細説明

Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 10.0，NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している．

インストールの要点

NVIDIA CUDA ツールキットのダウンロードとインストール
次のページからダウンロードし，インストールする．
NVIDIA CUDA ツールキットのページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のダウンロードと設定
1. NVidia の cuDNN のウェブページを開く
  https://developer.nvidia.com/cuDNN
2. ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック
3. NVIDIA Developer Program メンバーシップに入る
  cuDNN のダウンロードのため．
  「Join now」をクリック．その後，画面の指示に従う．利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．
4. ログインする
5. ライセンス条項の確認
  - NVIDIA cuDNN のダウンロードページ: https://developer.nvidia.com/cudnn
  - Windows での NVIDIA cuDNN のインストールの詳細説明: 別ページで説明している．
6. いまダウンロードした zip ファイルを，分かりやすいディレクトリに展開（解凍）する
7. そこに，パスを通す．
  
  「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0」に展開（解凍）した場合は，すでにパスは通っているので，何もしなくてよい．
8. 「NVIDIA cuDNN をインストールしたディレクトリ」をもとに環境変数を設定する．
  システム環境変数 CUDNN_PATH に，c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 を設定
  管理者として実行したコマンドプロンプトで，次のコマンドを実行．
```
call powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\", \"Machine\")"
```

Python 3.7 64 ビット版のインストール，pip と setuptools の更新

① Python 3.7 64 ビット版のインストール（Windows 上）

インストールの詳細説明

https://www.kkaneko.jp/tools/win/python37.html

インストールでの注意点

Windows Installer (64-bit) を使用する．
Windows で，ユーザ名が日本語のとき
Windows で，ユーザ名が日本語のとき，あとでトラブルが発生するかもしれない．トラブルの回避策として， Python をシステム管理者の領域にインストール（パソコンの全ユーザの共有領域）する手順をここで説明する．

インストール手順

Windows での Python 3.7 のインストール（あとのトラブルが起きにくいような手順を定めている）

Python の URL を開く
URL: https://www.python.org
Windows 版の Python 3.7 をダウンロード
ページの上の方にある「Downloads」をクリック，「Downloads」の下にメニューが出るので，その中の「Windows」をクリック．
そして，Python 3.7.x (x は数字）を探す．
そして，Windows の 64ビット版のインストーラをダウンロードしたいので，「Windows x86-64 executable installer」を選ぶ
インストール時の設定
1. いまダウンロードした .exe ファイルを右クリック，右クリックメニューで「管理者として実行」を選ぶ．
2. Python ランチャーをインストールするために，「Install launcher for all users (recommended)」をチェック．
  
  ※ すでに Python ランチャーをインストール済みのときは，「Install launcher for all users (recommended)」がチェックできないようになっている場合がある．そのときは，チェックせずに進む．
3. 「Add Python 3.7 to PATH」をチェック.
4. 「Customize installation」をクリック．
5. オプションの機能 (Optional Features)は，既定（デフォルト）のままでよい．「Next」をクリック
6. 「Install for all users」を選んでおいたほうが，複数人で使えて便利という考え方もある．
  そして，Python のインストールディレクトリは，「C:\Program Files\Python37」のように自動設定されることを確認．
  「Install」をクリック
7. 「Disable path length limit」が表示される場合がある．クリックして，パス長の制限を解除する
8. インストールが終了したら，「Close」をクリック
インストールのあと，Windows のスタートメニューに「Python 3.7」が増えていることを確認．
システムの環境変数 Path の確認のため，新しくコマンドプロンプトを開き，次のコマンドを実行．
py とpip にパスが通っていることの確認である．
```
where py
where pip
```
where py では「C:\Windows\py.exe」が表示され， where pip では「C:\Program Files\Python37\Scripts\pip.exe」が表示されることを確認．

② pip と setuptools の更新（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

Windows で pip を実行するときは，コマンドプロンプトを管理者として実行し，それを使って pip を実行することにする．
コマンドプロンプトを管理者として実行: 別ページで説明している．

次のコマンドを実行

py -3.7 -m pip install -U pip setuptools

pip は，次のコマンドで起動できる．

Windows: pip または python -m pip または py -3.7 -m pip のようにバージョン指定．
Windows では，管理者として実行．

Python 3.7 64 ビット版のインストール，pip と setuptools の更新

① Python 3.7 64 ビット版のインストール（Windows 上）

インストールの詳細説明

https://www.kkaneko.jp/tools/win/python37.html

インストールでの注意点

Windows Installer (64-bit) を使用する．
Windows で，ユーザ名が日本語のとき
Windows で，ユーザ名が日本語のとき，あとでトラブルが発生するかもしれない．トラブルの回避策として， Python をシステム管理者の領域にインストール（パソコンの全ユーザの共有領域）する手順をここで説明する．

インストール手順

Windows での Python 3.7 のインストール（あとのトラブルが起きにくいような手順を定めている）

Python の URL を開く
URL: https://www.python.org
Windows 版の Python 3.7 をダウンロード
ページの上の方にある「Downloads」をクリック，「Downloads」の下にメニューが出るので，その中の「Windows」をクリック．
そして，Python 3.7.x (x は数字）を探す．
そして，Windows の 64ビット版のインストーラをダウンロードしたいので，「Windows x86-64 executable installer」を選ぶ
インストール時の設定
1. いまダウンロードした .exe ファイルを右クリック，右クリックメニューで「管理者として実行」を選ぶ．
2. Python ランチャーをインストールするために，「Install launcher for all users (recommended)」をチェック．
  
  ※ すでに Python ランチャーをインストール済みのときは，「Install launcher for all users (recommended)」がチェックできないようになっている場合がある．そのときは，チェックせずに進む．
3. 「Add Python 3.7 to PATH」をチェック.
4. 「Customize installation」をクリック．
5. オプションの機能 (Optional Features)は，既定（デフォルト）のままでよい．「Next」をクリック
6. 「Install for all users」を選んでおいたほうが，複数人で使えて便利という考え方もある．
  そして，Python のインストールディレクトリは，「C:\Program Files\Python37」のように自動設定されることを確認．
  「Install」をクリック
7. 「Disable path length limit」が表示される場合がある．クリックして，パス長の制限を解除する
8. インストールが終了したら，「Close」をクリック
インストールのあと，Windows のスタートメニューに「Python 3.7」が増えていることを確認．
システムの環境変数 Path の確認のため，新しくコマンドプロンプトを開き，次のコマンドを実行．
py とpip にパスが通っていることの確認である．
```
where py
where pip
```
where py では「C:\Windows\py.exe」が表示され， where pip では「C:\Program Files\Python37\Scripts\pip.exe」が表示されることを確認．

② pip と setuptools の更新（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

Windows で pip を実行するときは，コマンドプロンプトを管理者として実行し，それを使って pip を実行することにする．
コマンドプロンプトを管理者として実行: 別ページで説明している．

次のコマンドを実行

py -3.7 -m pip install -U pip setuptools

pip は，次のコマンドで起動できる．

Windows: pip または python -m pip または py -3.7 -m pip のようにバージョン指定．
Windows では，管理者として実行．

TensorFlow 1.15.5, Keras 2.3.1 のインストール

コマンドプロンプトを管理者として実行し，次のコマンドを実行

py -3.7 -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer scipy pandas matplotlib
# TensorFlow 1.15.5 のため numpy, protobuf の古いバージョンを使用．エラーが出にくいと考えられる numpy 1.16.2, protobuf 3.19.4 を使用
py -3.7 -m pip install -U numpy==1.16.2 protobuf==3.19.4 tensorflow-gpu==1.15.5 keras==2.3.1 scipy==1.5.4
py -3.7 -m pip install git+https://github.com/tensorflow/docs
py -3.7 -m pip install git+https://github.com/tensorflow/examples.git
py -3.7 -m pip install git+https://www.github.com/keras-team/keras-contrib.git

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

Windows で，コマンドプロンプトを管理者として実行する．
DeepGaze のインストールディレクトリを空にしておく
```
cd %HOMEPATH%
rmdir /s /q deepgaze
```

DeepGaze のインストール

cd %HOMEPATH%
git clone https://github.com/mpatacchiola/deepgaze
cd deepgaze
py -3.7 setup.py build
py -3.7 setup.py install

終了の確認
エラーメッセージが出ていないこと．

mpatacchiola/DeepGaze を用いて頭部の姿勢推定を行ってみる

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

サンプルプログラムを動かしてみる

Windows では，コマンドプロンプトを実行．

次のコマンドを実行

cd %HOMEPATH%
cd deepgaze\examples\ex_cnn_head_pose_estimation_images
py -3.7 ex_cnn_head_pose_estimation_images.py

結果を確認

ビデオファイルで動かす

ここで使用する mp4 形式ビデオファイル: sample1.mp4

Windows では，コマンドプロンプトを実行．
作業用のディレクトリ（フォルダ）として，c:\imageを作り， sample1.mp4 を，c:\image の下にダウンロード
```
mkdir c:\image
cd c:\image
curl -O https://www.kkaneko.jp/sample/face/sample1.mp4
```
%HOMEPATH%\deepgaze の下の examples の下の ex_cnn_head_pose_estimation_images の下にあるファイルを使いたい
ファイルのコピー
```
cd %HOMEPATH%
cd deepgaze\examples\ex_cnn_head_pose_estimation_images
copy ex_cnn_head_pose_estimation_images.py a.py 
```
いまコピーしてできた新しいファイル a.py をエディタで開く
```
notepad a.py
```

このプログラムファイルの後半部分を次のように書き換え

v = cv2.VideoCapture("c:/image/sample1.mp4")
while(v.isOpened()):
    r, img = v.read()
    if ( r == False ):
        break
    img = cv2.resize(img, (480, 480))
    roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
    pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
    yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
    print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )

    cv2.imshow("", img)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v.release()
cv2.destroyAllWindows()

編集したら，ファイルを「上書き保存」する

Python プログラムの実行
```
py -3.7 a.py
```
結果の確認

ビデオカメラで確認

次のように書き換える．書き換えたら保存する

v = cv2.VideoCapture(0)

v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, img = v.read()
    if ( r == False ):
        break
    img = cv2.resize(img, (480, 480))
    roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
    pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
    yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
    print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )

    cv2.imshow("", img)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v.release()
cv2.destroyAllWindows()

ファイルを「上書き保存」する
Python プログラムの実行
```
py -3.7 a.py
```
結果の確認

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）