顔検出（ipazc/MTCNN，Python 3.6, TensorFlow 1.15，Dlib を使用）

前準備

Python 3.6 のインストール，pip の更新

Windows の場合

1. Python 3.6 のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   py -3.6 -m pip install -U pip setuptools
   

   

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

1. pyenv のインストールと設定

   図などの入った詳しい説明は別ページ．

   sudo apt -yV install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
   cd /tmp
   git clone https://github.com/pyenv/pyenv.git ~/.pyenv
   cd ~/.pyenv
   git pull
   echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
   echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
   echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
   echo '    eval "$(pyenv init -)"' >> ~/.bashrc
   echo 'fi' >> ~/.bashrc
   exec $SHELL -l
   source ~/.bashrc
   

2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール

   pyenv install 3.6.10
   

   
3. Ubuntu では端末を開く．
4. pyenv の Python 3.6 の有効化． pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール

   次のコマンドを実行．

   pyenv shell 3.6.10
   python -m pip install -U pip setuptools
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

Git のインストール

Git の URL: https://git-scm.com/

• Windows での Git のインストール手順: 別ページで説明している．
• Ubuntu での Git のインストール手順:

  sudo apt -yV install git
  

（NVIDIA GPU を使うとき）NVIDIA グラフィックスボード・ドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

• NVIDIA グラフィックスボード・ドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

詳細説明

• Windows での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである． ダウンロードページ

• NVIDIA CUDA ツールキットのダウンロード用ページ: https://developer.nvidia.com/cuda-toolkit-archive

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  ダウンロードして展開（解凍）したら，パスを通しておくこと．

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3 （旧バージョン）のインストール

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（バージョン指定のもの間違ってアップデートしないなど）のために，venv を用いて，隔離された Python 仮想環境を作る

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

• 隔離された Python 仮想環境の名前: tf115py36
• 使用するPythonのバージョン: 3.6

Windows の場合

1. Python 3.6 の準備

   Windows での Python 3.6 の準備は，このページの上の方で説明している．

2. コマンドプロンプトを実行．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している．

   py -3.6 -m venv C:\venv\tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   C:\venv\tf115py36\Scripts\activate.bat
   python -m pip install -U pip
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   

   
   

Ubuntu の場合

1. Python 3.6 の準備

   Ubuntu での Python 3.6 の準備は，このページの上の方で説明している．

2. Ubuntu では端末を開く．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している．

   pyenv shell 3.6.10
   python -m venv ~/tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   source ~/tf115py36/bin/activate
   python -m pip install -U pip
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   

   

TensorFlow の確認

1. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate
2. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   

   
3. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

   

ipazc/MTCNN のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows では，コマンドプロンプトを実行．Ubuntu では端末を開く．
2. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. Python 用 scikit-image opencv-python dlib のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   python -m pip install -U scikit-image opencv-python dlib 
   

4. ipazc/MTCNN のインストール

   C:\venv\tf115py36\.venv\Scripts\activate.bat
   python -m pip install -U mtcnn 
   

   （省略）
   

このページで説明のために使用するビデオ、写真

必要であればダウンロードして使ってください．

• ここで使用する mp4 形式ビデオファイル: sample1.mp4
• ここで使用する顔写真: 126.png, 127.png
  

顔検出（ipazc/MTCNN，Python 3.6, TensorFlow 1.15，Dlib を使用）

画像で動かしてみる

1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る
   
2. このディレクトリに、顔写真: 126.png, 127.png をダウンロード
   
3. 次の Python プログラムを実行

   https://github.com/ipazc/mtcnn で公開されているプログラムを変更して使用

   import cv2
   import numpy as np
   from mtcnn.mtcnn import MTCNN
   
   img = cv2.imread("C:/face-image/126.png")
   detector = MTCNN()
   print(detector.detect_faces(img))
   
   img = cv2.imread("C:/face-image/127.png")
   detector = MTCNN()
   print(detector.detect_faces(img))
   

   顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果が表示されるので確認する

   
   （途中省略）
   
4. 矩形（四角形）を書き、情報を表示する関数 box_label

   import cv2
   import numpy as np
   from mtcnn.mtcnn import MTCNN
   
   bgr = cv2.imread("C:/face-image/126.png")
   
   def box_label(bgr, x1, y1, x2, y2, label): 
       cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
       cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
       cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
   
   box_label(bgr, 100, 300, 200, 400, "hello")
   cv2.imshow('', bgr)
   cv2.waitKey(0)
   cv2.destroyAllWindows()
   

   画像が表示されるので確認． このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

   
5. 顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果を、グラフィックスで表示

   import cv2
   import numpy as np
   from mtcnn.mtcnn import MTCNN
   
   def box_label(bgr, x1, y1, x2, y2, label): 
       cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
       cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
       cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
   
   bgr = cv2.imread("C:/face-image/126.png")
   detector = MTCNN()
   a1 = detector.detect_faces(bgr)
   
   for i, d in enumerate(a1):
       x1, y1 = tuple( d['box'][0:2] )
       x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
       box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
       left_eye = d['keypoints']['left_eye']
       if len(left_eye) == 2:
           cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
       right_eye = d['keypoints']['right_eye']
       if len(right_eye) == 2:
           cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
       nose = d['keypoints']['nose']
       if len(nose) == 2:
           cv2.circle(bgr, nose, 6, (255,255,255), -1)
       mouth_left = d['keypoints']['mouth_left']
       if len(mouth_left) == 2:
           cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
       mouth_right = d['keypoints']['mouth_right']
       if len(mouth_right) == 2:
           cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
   
   cv2.imshow('', bgr)
   cv2.waitKey(0)
   cv2.destroyAllWindows()
   

   画像が表示されるので確認． このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

   

ビデオファイルで動かしてみる

1. C:\face-image のような作業用のディレクトリ（フォルダ）に、mp4 形式ビデオファイル: sample1.mp4 をダウンロード
2. 次の Python プログラムを実行

   「C:/face-image/sample1.mp4」のところは、実際のファイル名に置き換えること

   import cv2
   import numpy as np
   from mtcnn.mtcnn import MTCNN
   
   def box_label(bgr, x1, y1, x2, y2, label): 
       cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
       cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
       cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
   
   detector = MTCNN()
   v = cv2.VideoCapture("C:/face-image/sample1.mp4")
   
   while(v.isOpened()):
       r, bgr = v.read()
       if ( r == False ):
           break
       a1 = detector.detect_faces(bgr)
       for i, d in enumerate(a1):
           x1, y1 = tuple( d['box'][0:2] )
           x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
           box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
           left_eye = d['keypoints']['left_eye']
           if len(left_eye) == 2:
               cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
           right_eye = d['keypoints']['right_eye']
           if len(right_eye) == 2:
               cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
           nose = d['keypoints']['nose']
           if len(nose) == 2:
               cv2.circle(bgr, nose, 6, (255,255,255), -1)
           mouth_left = d['keypoints']['mouth_left']
           if len(mouth_left) == 2:
               cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
           mouth_right = d['keypoints']['mouth_right']
           if len(mouth_right) == 2:
               cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
       cv2.imshow("", bgr)
       if cv2.waitKey(1) & 0xFF == ord('q'):
           cv2.destroyAllWindows()
           break
   

   ※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

   

パソコンの USB カメラで動かしてみる

「v = cv2.VideoCapture(0) 」は、USB カメラを使うためのもの。他の部分は、上のプログラムと同じ。

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)

detector = MTCNN()
v = cv2.VideoCapture(0)

while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    a1 = detector.detect_faces(bgr)
    for i, d in enumerate(a1):
        x1, y1 = tuple( d['box'][0:2] )
        x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
        box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
        left_eye = d['keypoints']['left_eye']
        if len(left_eye) == 2:
            cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
        right_eye = d['keypoints']['right_eye']
        if len(right_eye) == 2:
            cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
        nose = d['keypoints']['nose']
        if len(nose) == 2:
            cv2.circle(bgr, nose, 6, (255,255,255), -1)
        mouth_left = d['keypoints']['mouth_left']
        if len(mouth_left) == 2:
            cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
        mouth_right = d['keypoints']['mouth_right']
        if len(mouth_right) == 2:
            cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる