顔情報処理
(
AI
演習の入門)
URL:
https://www
.kkaneko.jp/ai/dn/index.html
1
金子邦彦
顔検出
顔検出
写真やビデオの中から、
顔を識別すること
・
顔の場所と領域
を検出
・複数ある場合にはすべ
て識別
2
顔検証
•
顔検証
(face
verifica
tion)
2つの別の写真あ
るいはビデオを
照
合
し、
同一人物で
あるか
を判定する
こと
3
同一人物である
同一人物でない
顔情報処理の用途
•
顔による本人確認
•
集団行動解析、人流解析、人数推定
•
顔情報処理(表情判定、3次元化、顔面切り抜き
など)の前処理
4
顔のランドマーク
顔のランドマーク
まゆげ、目、鼻、くち、
顔の輪郭など、
顔の目
印となるポイント
顔特徴ベクトル
顔を数値ベクトル化し
たもの
5
顔の
68ランドマーク
Dlib
6
Dlib
•
Dlib
は,数多くの機能を持つソフトウエア.
•
ソースコードはオープン
•
Python, C++
のプログラムから使うためのイン
タフェースを持つ.
•
機能
:
機械学習,数値計算,グラフィカルモデ
ル推論,画像処理,スレッド,通信,
GUI
,
データ圧縮・一貫性,テスト,さまざまなユー
ティリティ
URL: http://dlib.net/
7
Dlib
の顔情報処理
Dlib
には,顔情報処理に関して,
次の機能が
ある
•
顔検出
•
顔ランドマークの検出
•
顔のアラインメント
•
顔のコード化
※
ディープニューラルネットワー
クの学習済
みモデルも配布されている
https://gith
ub.com/d
aviskin
g/dlib-model
s
https://gith
ub.com/a
geitgey/fa
ce_rec
ognitio
n/blob/mas
t
er/examples/fa
ce_rec
ognitio
n_knn
.py
8
Dlib
での顔のコード化
•
人工知能
(Resnet)
を使用.すでに多数の顔画像
に
より学習済み
•
顔のコード化
の,さらなる精度
向上に
は,
1000
万
をこえる新規画像が必要になる
可能性あり
•
顔認証
での利用では,精度向上
のため,既知
の顔
画像1つでなく,
複数の顔画像のコー
ドと照合
す
ることを考慮する
https://github.com/ageitgey/face_
recognition/blob/m
aster/examples
/face_recognition_knn.py
顔認証
は:顔画像から個体を識
別すること
普通のアプリとライブラリの比較
10
•
普通のアプリ
•
ライブラリ
「アプリ」というときは、
ひととおり機能がそろった
ソフトウエア.
そこで仕事を済ませる.
「ライブラリ」というときは、
基本機能が完備.
その上で、プログラムを作り
アプリを完成させる.
顔検出
•
写真やビデオの中から、顔を検出
11
顔のアラインメント
12
•
個々の顔の傾きを自動調整
顔の増量
13
•
元画像から,少しずつ変換した画像を多数生成
5ランドマーク
14
•
右目,左目,鼻の5つのランドマーク
68ランドマーク
•
顔の所定の箇所に設けられた68個のランドマー
ク
15
特徴ベクトル
•
Dlib
では,顔のアライメントののち,ラ
ンドマー
クを用いて特徴ベクトルが算出される
16
顔検証
(face
verification)
17
•
顔検証により,同一人物かを識別
同一人物である
同一人物でない
Dlib
の応用例
表情判定
18
•
7種の表情
Angry
, Disgust, Fear
, Happ
y
, Neutral,
Sad, Surpris
ed
のそれぞれの確率を判定
•
https://
github.c
om/ez
giakco
ra/Fac
ial-Expr
ession
-
Keras
で公開されている成果物
顔検出,顔認識などを
行ってみる
19
20
Colabor
at
ory
ノートブックの
WEB
ページ
テキストセル
コードセル
実行結果
コードセル
•
オンライン
で公開可能
•
WEB
ブラウザでアクセス
•
コードセル
は
Python
プログラム
.
各自の
Google
アカウント
でログインすれば,
変更,再実行可能
21
Colabor
at
ory
ノートブックでの
ファイルアップロード
「ファイル」を
クリック
Google
アカウントの取得
(
プログラムの変更,再実行し
たい,ファイ
ルをアップ
ロードしたい
ときに
Google
アカウントでのログインが
必要)
•
次のページを使用
https://accounts.goo
gle.com
/SignUp
•
次の情報を登録する
氏名
自分が希望するメールアドレス
<ユーザー名>
@gmail.com
パスワード
生年月日,性別
22
前準備
顔がうつったファイルを2つ以上準備.
・
ファイル名
は、
数字と英字のみ
を使用
・各自で準備してください。説明では次の画像を
使用
23
1.png
2.png
24
Google Co
labor
atory
の
WEB
ページ
は
2つ
URL
は次の通り
実験1
ht
tps://
colab.r
esearch.google.c
om/driv
e/1S55yEFiQpdIRdjWbdH0z
zEYD5V
AfklHd?usp
=sharing
実験2
ht
tps://
colab.r
esearch.google.c
om/driv
e/13fXJ4f2dF-
53YI_6i_rAJl17cuY
uLE91?usp=sharing
(
URL
は
Y
ouT
ube
動画の概要欄,大学のセレッソの「レポート」内に記載)
プログラムを実行するときの注意点
25
①
コードセルの左の実行ボタンで実行
②
次のような
エラー
が出て、
進めない
ことがある
•
メニューで「
ランタイム
」
を選び
•
「
ランタイムのタイプを変
更
」。
•
新しく出てきた画面で、
ハードウエアアクセラレー
タのところを「
GPU
」に
して、「
保存
」と操作
•
コードセルの実行を最初
からやり直す