顔検出,年齢と性別の推定,顔識別,人体検出(InsightFace のインストールと動作確認)(PyTorch,Python を使用)(Windows 上)
この記事では、Windows環境でInsightFaceをインストールし、顔検出、年齢と性別の推定、顔識別、人体検出を行う方法を説明しています。前提として必要なソフトウェアのインストール手順、InsightFaceのインストール方法、サンプル画像やカメラを用いた各機能の動作確認方法が具体的に示されています。顔検出と年齢・性別推定では、複数の画像ファイルを選択して一括処理する方法と、カメラを使ってリアルタイムに処理する方法の両方を示します。顔識別では、1つの顔画像を登録し、複数の画像と照合して類似度を算出する方法を示します。人体検出でも、複数画像の一括処理する方法を示します。全体を通して、コマンドラインでの操作手順をステップごとに示しており、確認しながら進めることができます。
【目次】
【サイト内の関連ページ】 顔検出,顔識別(Dlib,face_recognition のインストールと動作確認)(Python を使用)(Windows 上)
【InsightFace】 InsightFace は,顔検出 (face detection),顔のアラインメント, 顔検証 (face verification), 顔識別 (face identification)の機能を持つ.
- 顔検出 (face detection): RetinaFace, SCRFD, blazeface_paddle をサポートしている.
InsightFace の GitHub のページ: https://github.com/deepinsight/insightface
【顔検出 (face detection)】
Dlib には,Convolutional Neural Network (CNN) による顔検出の機能がある.
前準備
Build Tools for Visual Studio 2022 のインストール(Windows 上)
Build Tools for Visual Studio は,Visual Studio の IDE を含まない C/C++ コンパイラ,ライブラリ,ビルドツール等のコマンドライン向け開発ツールセットである。
以下のコマンドを管理者権限のコマンドプロンプトで実行する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
winget install --id Microsoft.VisualStudio.2022.BuildTools --accept-source-agreements --accept-package-agreements ^
--override "--passive --wait --norestart --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.ComponentGroup.ClangCL --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.Windows11SDK.26100"
--add で追加されるコンポーネント
上記のコマンドでは,まず Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし,次に setup.exe を用いて以下のコンポーネントを追加している。
VCTools:C++ デスクトップ開発ワークロード(--includeRecommendedにより、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる)VC.Llvm.Clang:Windows 向け C++ Clang コンパイラClangCL:clang-cl ツールセットを含むコンポーネントグループ(MSBuild から Clang を使用するために必要)VC.CMake.Project:Windows 向け C++ CMake ツールWindows11SDK.26100:Windows 11 SDK(ビルド 10.0.26100)
インストール完了の確認
winget list Microsoft.VisualStudio.2022.BuildTools
上記以外の追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。
Visual Studio の機能を必要とする場合は、追加インストールできる。
Python 3.12 のインストール(Windows 上) [クリックして展開]
以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。
方法1:winget によるインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。
方法2:インストーラーによるインストール
- Python 公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Git のインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"
【関連する外部ページ】
- Git の公式ページ: https://git-scm.com/
Build Tools for Visual Studio 2022,NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.8,NVIDIA cuDNN 8.9.7 のインストール(Windows 上)
【サイト内の関連ページ】 NVIDIA グラフィックスボードを搭載しているパソコンの場合には, NVIDIA ドライバ, NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストールを行う.
- Windows での Build Tools for Visual Studio 2022 のインストール: 別ページ »で説明
- Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.8,NVIDIA cuDNN v8.9.7 のインストール手順: 別ページ »で説明
【関連する外部ページ】
- Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022)の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
- NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
- NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
- NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
PyTorch のインストール(Windows 上)
- 以下の手順を管理者権限のコマンドプロンプトで実行する
(手順:Windowsキーまたはスタートメニュー →
cmdと入力 → 右クリック → 「管理者として実行」)。 - PyTorch のページを確認
- 次のようなコマンドを実行(実行するコマンドは,PyTorch のページの表示されるコマンドを使う).
次のコマンドを実行することにより, PyTorch 2.3 (NVIDIA CUDA 11.8 用)がインストールされる. 但し,Anaconda3を使いたい場合には別手順になる.
事前に NVIDIA CUDA のバージョンを確認しておくこと(ここでは,NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする).
PyTorch で,GPU が動作している場合には,「torch.cuda.is_available()」により,True が表示される.
python -m pip install -U --ignore-installed pip python -m pip uninstall -y torch torchvision torchaudio torchtext xformers python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
Anaconda3を使いたい場合には, Anaconda プロンプト (Anaconda Prompt) を管理者として実行し, 次のコマンドを実行する. (PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため,Anaconda3を使わないことも検討して欲しい).conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia py -c "import torch; print(torch.__version__, torch.cuda.is_available())"【サイト内の関連ページ】
【関連する外部ページ】
InsightFace のインストール(Windows 上)
- 以下のコマンドを管理者権限のx64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)で実行する
(手順:スタートメニュー →Visual Studio 20xx」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」 → 「管理者として実行」)。
「x64 Native Tools コマンドプロンプト」がないときは,ビルドツール (Build Tools) をインストールすると,x64 Native Tools コマンドプロンプトもインストールされる.その手順は,別ページ »で説明している.GPU を使わない場合には「onnxruntime-gpu」でなく,「onnxruntime」をインストールすること.
python -m pip install -U numpy==1.23.5 cython insightface onnxruntime-gpu
InsightFace による顔検出,年齢と性別の推定,顔識別,人体検出(Windows 上)
顔検出,年齢と性別の推定,画像ファイル(複数可)での実行
公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の,顔検出及び年齢と性別の予測のプログラムを実行する.
このプログラムは buffalo_l という名前の事前学習済みモデルを使用している.- 顔検出のモデル: SCRFD-10GF
- 顔認識のモデル: ResNet50@WebFace600K
- 顔のアラインメント: 2d106, 3d68
- 属性: 年齢,性別
- Windows で,コマンドプロンプトを実行
- エディタを起動
mkdir %USERPROFILE%\insightface cd /d c:%HOMEPATH%\insightface notepad a.py
- エディタで,次のプログラムを保存
先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。
このプログラムは、選択した画像ファイルから顔を検出し、年齢と性別を推定します。検出された顔には枠が描画され、結果が表示されます。また、検出された顔の位置、推定された年齢と性別が出力されます。import cv2 import numpy as np import matplotlib.pyplot as plt import insightface from insightface.app import FaceAnalysis from insightface.data import get_image as ins_get_image import tkinter as tk from tkinter import filedialog import os from PIL import Image def initialize_face_analysis(): app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider']) app.prepare(ctx_id=0, det_size=(640, 640)) return app def select_files(): root = tk.Tk() root.withdraw() fpaths = filedialog.askopenfilenames() return root.tk.splitlist(fpaths) def process_image(fpath, app): img = cv2.imread(fpath) faces = app.get(img) rimg = app.draw_on(img, faces) result_path = "result_" + os.path.basename(fpath) cv2.imwrite(result_path, rimg) Image.open(result_path).show() return faces def print_face_info(faces): print("bbox, age, gender") print("filename, ", fpath) for face in faces: print(face['bbox'], face['age'], face['gender']) def main(): app = initialize_face_analysis() fpaths = select_files() for fpath in fpaths: print("file name: ", fpath) faces = process_image(fpath, app) print_face_info(faces) if __name__ == "__main__": main() - Python プログラムの実行
プログラムを a.pyのようなファイル名で保存したので, 「python a.py」のようなコマンドで行う.
python a.py
ファイル選択画面が出るので,画像ファイルを選択する.ファイルは複数選択可能である.
- 結果の確認
それぞれのファイルについて,ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される.
顔検出,年齢と性別の推定,パソコンのカメラで使用
Python プログラムを実行する
このプログラムはリアルタイムで顔検出を行います。カメラから取得した映像から顔を検出し、年齢と性別を推定します。検出された顔には枠が描画され、リアルタイムで結果が表示されます。'q' キーを押すとプログラムが終了します。import cv2 import numpy as np import insightface from insightface.app import FaceAnalysis from insightface.data import get_image as ins_get_image def initialize_face_analysis(): app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider']) app.prepare(ctx_id=0, det_size=(640, 640)) return app def capture_video(): v = cv2.VideoCapture(0) return v def process_frame(f, app): faces = app.get(f) rimg = app.draw_on(f, faces) return rimg def display_frame(rimg): cv2.imshow("", rimg) def main(): app = initialize_face_analysis() v = capture_video() while(v.isOpened()): r, f = v.read() if not r: break rimg = process_frame(f, app) display_frame(rimg) # Press Q to exit if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows() if __name__ == "__main__": main()
顔識別,画像ファイル(複数可)での実行
このプログラムは buffalo_l という名前の事前学習済みモデルを使用している.- 顔検出のモデル: SCRFD-10GF
- 顔認識のモデル: ResNet50@WebFace600K
- 顔のアラインメント: 2d106, 3d68
- 属性: 年齢,性別
- Windows で,コマンドプロンプトを実行
- エディタを起動
mkdir %USERPROFILE%\insightface cd /d c:%HOMEPATH%\insightface notepad c.py - エディタで,次のプログラムを保存
先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。
このプログラムは、1つの基準となる顔画像と複数の比較対象の顔画像を選択し、顔の類似度を計算します。まず、基準となる顔画像から顔を検出し、その特徴ベクトル(embedding)を取得します。次に、比較対象の画像から顔を検出し、それぞれの特徴ベクトルと基準顔の特徴ベクトルの類似度を計算して表示します。import cv2 import numpy as np import matplotlib.pyplot as plt import insightface from insightface.app import FaceAnalysis from insightface.data import get_image as ins_get_image import tkinter as tk from tkinter import filedialog import os from PIL import Image def initialize_face_analysis(): app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider']) app.prepare(ctx_id=0, det_size=(640, 640)) return app def select_file(): root = tk.Tk() root.withdraw() fpath = filedialog.askopenfilename() return fpath def select_files(): root = tk.Tk() root.withdraw() fpaths = filedialog.askopenfilenames() return root.tk.splitlist(fpaths) def process_image(fpath, app): img = cv2.imread(fpath) faces = app.get(img) rimg = app.draw_on(img, faces) result_path = "result_" + os.path.basename(fpath) cv2.imwrite(result_path, rimg) Image.open(result_path).show() return faces def print_face_info(faces, fpath): print("filename, ", fpath) print("bbox, age, gender") for face in faces: print(face['bbox'], face['age'], face['gender']) def compare_embeddings(faces, embedding): for face in faces: print(face['bbox'], face['age'], face['gender'], np.dot(face['embedding'], embedding.T)) def main(): app = initialize_face_analysis() # First face fpath = select_file() print("file name: ", fpath) faces = process_image(fpath, app) print_face_info(faces, fpath) embedding = faces[0]['embedding'] print(embedding) # Comparing faces fpaths = select_files() for fpath in fpaths: print("file name: ", fpath) faces = process_image(fpath, app) print_face_info(faces, fpath) compare_embeddings(faces, embedding) if __name__ == "__main__": main() - Python プログラムの実行
プログラムを c.pyのようなファイル名で保存したので, 「python c.py」のようなコマンドで行う.
python c.pyファイル選択画面が出るので,画像ファイルを選択する.このとき,画像は1つ選択する.
処理が終わると,画像と, ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される.
再びファイル選択画面が出る.画像ファイルを選択する.今後は,画像を複数選択可能である.
- 結果の確認
処理が終わると,画像と, ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される. そして,最初に選んだ顔との類似度が数字で表示される.類似度の値が大きいほど本人に似ていると判定されている.
人体検出,画像ファイル(複数可)での実行
公式ページ (https://github.com/deepinsight/insightface/blob/master/examples/person_detection/scrfd_person.py) に記載の,人体検出のプログラムを実行する.
- Windows で,コマンドプロンプトを実行
- エディタを起動
mkdir %USERPROFILE%\insightface cd /d c:%HOMEPATH%\insightface notepad b.py - エディタで,次のプログラムを保存
先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。
このプログラムは、選択した画像から人物を検出します。検出された人物には、バウンディングボックス(全体を囲む長方形)が描画されます。検出結果は画像として保存・表示され、バウンディングボックスの座標が出力されます。import datetime import numpy as np import os import os.path as osp import glob import cv2 import insightface assert insightface.__version__ >= '0.4' def initialize_detector(): detector = insightface.model_zoo.get_model('scrfd_person_2.5g.onnx', download=True) detector.prepare(0, nms_thresh=0.5, input_size=(640, 640)) return detector def detect_person(img, detector): bboxes, kpss = detector.detect(img) bboxes = np.round(bboxes[:, :4]).astype(np.int) kpss = np.round(kpss).astype(np.int) kpss[:, :, 0] = np.clip(kpss[:, :, 0], 0, img.shape[1]) kpss[:, :, 1] = np.clip(kpss[:, :, 1], 0, img.shape[0]) vbboxes = bboxes.copy() vbboxes[:, 0] = kpss[:, 0, 0] vbboxes[:, 1] = kpss[:, 0, 1] vbboxes[:, 2] = kpss[:, 4, 0] vbboxes[:, 3] = kpss[:, 4, 1] return bboxes, vbboxes def select_files(): root = tk.Tk() root.withdraw() fpaths = filedialog.askopenfilenames() return root.tk.splitlist(fpaths) def process_image(fpath, detector): img = cv2.imread(fpath) bboxes, vbboxes = detect_person(img, detector) for i in range(bboxes.shape[0]): bbox = bboxes[i] vbbox = vbboxes[i] x1, y1, x2, y2 = bbox vx1, vy1, vx2, vy2 = vbbox cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 1) alpha = 0.8 color = (255, 0, 0) for c in range(3): img[vy1:vy2, vx1:vx2, c] = img[vy1:vy2, vx1:vx2, c] * alpha + color[c] * (1.0 - alpha) cv2.circle(img, (vx1, vy1), 1, color, 2) cv2.circle(img, (vx1, vy2), 1, color, 2) cv2.circle(img, (vx2, vy1), 1, color, 2) cv2.circle(img, (vx2, vy2), 1, color, 2) result_path = "result_" + os.path.basename(fpath) cv2.imwrite(result_path, img) Image.open(result_path).show() return bboxes def main(): detector = initialize_detector() fpaths = select_files() for fpath in fpaths: print("file name: ", fpath) bboxes = process_image(fpath, detector) print(bboxes) if __name__ == "__main__": main() - Python プログラムの実行
プログラムを b.pyのようなファイル名で保存したので, 「python b.py」のようなコマンドで行う.
python b.pyファイル選択画面が出るので,画像ファイルを選択する.ファイルは複数選択可能である.
- 結果の確認
このとき, bbox の情報が得られる. これは,検出された人物の bounding box である.
- 以下のコマンドを管理者権限のx64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)で実行する
(手順:スタートメニュー →Visual Studio 20xx」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」 → 「管理者として実行」)。