トップページ -> 実践知識 -> 顔検出、顔識別 -> ipazc/MTCNN を用いて顔検出を行ってみる

[サイトマップへ]

ipazc/MTCNN を用いて顔検出を行ってみる

サイト構成

連絡先，業績など

実践知識

データの扱い

コンピュータ

教材

サポートページ

MTCNN は Multi-task CNN (参考 Web ページ: https://github.com/open-face/mtcnn, 原論文: https://kpzhang93.github.io/MTCNN_face_detection_alignment/paper/spl.pdf)

利用条件などは利用者において確認してください

サイト内の関連Webページ:

顔検出，顔識別、表情判定，顔のクラスタリングや類似度や分類、肌色部分の抽出(Dlib, DeepGaze を使用）

謝辞：MTCNN の考案者、そして、プログラムの作者に感謝します

参考Webページ https://www.github.com/ipazc/mtcnn

前準備

Python, 主要パッケージ, TenforFlow, OpenCV, git のインストール

Windows でのインストール手順は、別の Web ページの始めから git, cmake, wget, 7zip をインストールで説明している．

Python のプログラム作成には、PyCharmなどが便利である．
Ubuntu でのインストール手順は、別の Web ページの始めから TensorFlow, Keras のインストールで説明している．

以下，Windows でインストール済みであるものとして説明を続ける．

ipazc/MTCNN のインストール

Windows で，コマンドプロンプトを管理者として実行．
（オプション）もし、virtualenv のPython 仮想環境にインストールしていて、そこにインストールしたいとき、それを有効化する
※ virtualenv のPython 仮想環境を有効化したいときに限る（「ai」のところは、Python仮想環境の名前に変えること）
```
workon ai
```

ipazc/MTCNN のインストール

mkdir c:\pytools
cd c:\pytools
rmdir /s /q mtcnn

git clone https://github.com/ipazc/mtcnn
cd mtcnn
python setup.py build
python setup.py install

この Web ページで説明のために使用するビデオ、写真

必要であればダウンロードして使ってください．

ここで使用する mp4 形式ビデオファイル: sample1.mp4
ここで使用する顔写真: 126.png, 127.png

ipazc/MTCNN を用いて顔検出を行ってみる

Python プログラムを動かしたい．そのために，「Python コンソール」を使う．．

※ PyCharm や spyder を使うのが簡単

※ （オプション）もし、virtualenv のPython 仮想環境にインストールしていて、それを使いたいときは、有効化する

画像で動かしてみる

C:\face-image のような作業用のディレクトリ（フォルダ）を作る
このディレクトリに、顔写真: 126.png, 127.png をダウンロード

次の Python プログラムを実行

https://github.com/ipazc/mtcnn で公開されているプログラムを変更して使用

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

img = cv2.imread("C:/face-image/126.png")
detector = MTCNN()
print(detector.detect_faces(img))

img = cv2.imread("C:/face-image/127.png")
detector = MTCNN()
print(detector.detect_faces(img))

顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果が表示されるので確認する

矩形（四角形）を書き、情報を表示する関数 box_label

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

bgr = cv2.imread("C:/face-image/126.png")

def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)

box_label(bgr, 100, 300, 200, 400, "hello")
cv2.imshow('', bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

画像が表示されるので確認．このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

顔検出と、５点（左目、右目、鼻、口の左、口の右）の検出結果を、グラフィックスで表示

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)

bgr = cv2.imread("C:/face-image/126.png")
detector = MTCNN()
a1 = detector.detect_faces(bgr)

for i, d in enumerate(a1):
    x1, y1 = tuple( d['box'][0:2] )
    x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
    box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
    left_eye = d['keypoints']['left_eye']
    if len(left_eye) == 2:
        cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
    right_eye = d['keypoints']['right_eye']
    if len(right_eye) == 2:
        cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
    nose = d['keypoints']['nose']
    if len(nose) == 2:
        cv2.circle(bgr, nose, 6, (255,255,255), -1)
    mouth_left = d['keypoints']['mouth_left']
    if len(mouth_left) == 2:
        cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
    mouth_right = d['keypoints']['mouth_right']
    if len(mouth_right) == 2:
        cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)

cv2.imshow('', bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

画像が表示されるので確認．このあと，ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

ビデオファイルで動かしてみる

C:\face-image のような作業用のディレクトリ（フォルダ）に、mp4 形式ビデオファイル: sample1.mp4 をダウンロード

次の Python プログラムを実行

「C:/face-image/sample1.mp4」のところは、実際のファイル名に置き換えること

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)

detector = MTCNN()
v = cv2.VideoCapture("C:/face-image/sample1.mp4")

while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    a1 = detector.detect_faces(bgr)
    for i, d in enumerate(a1):
        x1, y1 = tuple( d['box'][0:2] )
        x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
        box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
        left_eye = d['keypoints']['left_eye']
        if len(left_eye) == 2:
            cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
        right_eye = d['keypoints']['right_eye']
        if len(right_eye) == 2:
            cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
        nose = d['keypoints']['nose']
        if len(nose) == 2:
            cv2.circle(bgr, nose, 6, (255,255,255), -1)
        mouth_left = d['keypoints']['mouth_left']
        if len(mouth_left) == 2:
            cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
        mouth_right = d['keypoints']['mouth_right']
        if len(mouth_right) == 2:
            cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)

    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコンの USB カメラで動かしてみる

「v = cv2.VideoCapture(0) 」は、USB カメラを使うためのもの。他の部分は、上のプログラムと同じ。

import cv2
import numpy as np
from mtcnn.mtcnn import MTCNN

def box_label(bgr, x1, y1, x2, y2, label): 
    cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
    cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
    cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)

detector = MTCNN()
v = cv2.VideoCapture(0)

while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    a1 = detector.detect_faces(bgr)
    for i, d in enumerate(a1):
        x1, y1 = tuple( d['box'][0:2] )
        x2, y2 = tuple( np.array( d['box'][0:2] ) + np.array( d['box'][2:4] ) )
        box_label(bgr, x1, y1, x2, y2, '{:0.2f}'.format(d['confidence']))
        left_eye = d['keypoints']['left_eye']
        if len(left_eye) == 2:
            cv2.circle(bgr, left_eye, 6, (255,255,255), -1)
        right_eye = d['keypoints']['right_eye']
        if len(right_eye) == 2:
            cv2.circle(bgr, right_eye, 6, (255,255,255), -1)
        nose = d['keypoints']['nose']
        if len(nose) == 2:
            cv2.circle(bgr, nose, 6, (255,255,255), -1)
        mouth_left = d['keypoints']['mouth_left']
        if len(mouth_left) == 2:
            cv2.circle(bgr, mouth_left, 6, (255,255,255), -1)
        mouth_right = d['keypoints']['mouth_right']
        if len(mouth_right) == 2:
            cv2.circle(bgr, mouth_right, 6, (255,255,255), -1)

    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる