顔検出,年齢と性別の推定,顔識別,人体検出(InsightFace のインストールと動作確認)(PyTorch,Python を使用)(Windows 上)

要約

この記事では、Windows環境でInsightFaceをインストールし、顔検出、年齢と性別の推定、顔識別、人体検出を行う方法を説明しています。前提として必要なソフトウェアのインストール手順、InsightFaceのインストール方法、サンプル画像やカメラを用いた各機能の動作確認方法が具体的に示されています。顔検出と年齢・性別推定では、複数の画像ファイルを選択して一括処理する方法と、カメラを使ってリアルタイムに処理する方法の両方を示します。顔識別では、1つの顔画像を登録し、複数の画像と照合して類似度を算出する方法を示します。人体検出でも、複数画像の一括処理する方法を示します。全体を通して、コマンドラインでの操作手順をステップごとに示しており、確認しながら進めることができます。

目次

  1. 前準備
  2. InsightFace のインストール(Windows 上)
  3. InsightFace による顔検出,年齢と性別の推定,顔識別,人体検出(Windows 上)

サイト内の関連ページ顔検出,顔識別(Dlib,face_recognition のインストールと動作確認)(Python を使用)(Windows 上)

InsightFaceInsightFace は,顔検出 (face detection),顔のアラインメント, 顔検証 (face verification)顔識別 (face identification)の機能を持つ.

InsightFace の GitHub のページ: https://github.com/deepinsight/insightface

顔検出 (face detection)

Dlib には,Convolutional Neural Network (CNN) による顔検出の機能がある.

前準備

Build Tools for Visual Studio 2022 のインストール(Windows 上)

Build Tools for Visual Studio は,Visual Studio の IDE を含まない C/C++ コンパイラ,ライブラリ,ビルドツール等のコマンドライン向け開発ツールセットである。

以下のコマンドを管理者権限コマンドプロンプトで実行する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
winget install --id Microsoft.VisualStudio.2022.BuildTools --accept-source-agreements --accept-package-agreements ^
    --override "--passive --wait --norestart --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.ComponentGroup.ClangCL --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.Windows11SDK.26100"

--add で追加されるコンポーネント

上記のコマンドでは,まず Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし,次に setup.exe を用いて以下のコンポーネントを追加している。

インストール完了の確認

winget list Microsoft.VisualStudio.2022.BuildTools

上記以外の追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

Visual Studio の機能を必要とする場合は、追加インストールできる。

Python 3.12 のインストール(Windows 上) [クリックして展開]

以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。

方法1:winget によるインストール

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2:インストーラーによるインストール

  1. Python 公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Git のインストール

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"

関連する外部ページ

Build Tools for Visual Studio 2022,NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.8,NVIDIA cuDNN 8.9.7 のインストール(Windows 上)

サイト内の関連ページNVIDIA グラフィックスボードを搭載しているパソコンの場合には, NVIDIA ドライバNVIDIA CUDA ツールキットNVIDIA cuDNN のインストールを行う.

関連する外部ページ

PyTorch のインストール(Windows 上)

  1. 以下の手順を管理者権限コマンドプロンプトで実行する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
  2. PyTorch のページを確認

    PyTorch の公式ページ: https://pytorch.org/index.html

  3. 次のようなコマンドを実行(実行するコマンドは,PyTorch のページの表示されるコマンドを使う).

    次のコマンドを実行することにより, PyTorch 2.3 (NVIDIA CUDA 11.8 用)がインストールされる. 但し,Anaconda3を使いたい場合には別手順になる.

    事前に NVIDIA CUDA のバージョンを確認しておくこと(ここでは,NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする).

    PyTorch で,GPU が動作している場合には,「torch.cuda.is_available()」により,True が表示される.

    python -m pip install -U --ignore-installed pip
    python -m pip uninstall -y torch torchvision torchaudio torchtext xformers
    python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118
    
    python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
    
    Anaconda3を使いたい場合には, Anaconda プロンプト (Anaconda Prompt)管理者として実行し, 次のコマンドを実行する. (PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため,Anaconda3を使わないことも検討して欲しい).
    conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia
    py -c "import torch; print(torch.__version__, torch.cuda.is_available())"
    

    サイト内の関連ページ

    関連する外部ページ

InsightFace のインストール(Windows 上)

  1. 以下のコマンドを管理者権限x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)で実行する   (手順:スタートメニュー →Visual Studio 20xx」の下の「x64 Native Tools コマンドプロンプト (x64 Native Tools Command Prompt)」 → 「管理者として実行」)。
    「x64 Native Tools コマンドプロンプト」がないときは,ビルドツール (Build Tools) をインストールすると,x64 Native Tools コマンドプロンプトもインストールされる.その手順は,別ページ »で説明している.
    GPU を使わない場合には「onnxruntime-gpu」でなく,「onnxruntime」をインストールすること.
    python -m pip install -U numpy==1.23.5 cython insightface onnxruntime-gpu
    

InsightFace による顔検出,年齢と性別の推定,顔識別,人体検出(Windows 上)

顔検出,年齢と性別の推定,画像ファイル(複数可)での実行

公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の,顔検出及び年齢と性別の予測のプログラムを実行する.

このプログラムは buffalo_l という名前の事前学習済みモデルを使用している.
  1. Windows で,コマンドプロンプトを実行
  2. エディタを起動
    mkdir %USERPROFILE%\insightface
    cd /d c:%HOMEPATH%\insightface
    notepad a.py
    
  3. エディタで,次のプログラムを保存

    先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。

    このプログラムは、選択した画像ファイルから顔を検出し、年齢と性別を推定します。検出された顔には枠が描画され、結果が表示されます。また、検出された顔の位置、推定された年齢と性別が出力されます。
    import cv2
    import numpy as np
    import matplotlib.pyplot as plt
    import insightface
    from insightface.app import FaceAnalysis
    from insightface.data import get_image as ins_get_image
    import tkinter as tk
    from tkinter import filedialog
    import os
    from PIL import Image
    
    def initialize_face_analysis():
        app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
        app.prepare(ctx_id=0, det_size=(640, 640))
        return app
    
    def select_files():
        root = tk.Tk()
        root.withdraw()
        fpaths = filedialog.askopenfilenames()
        return root.tk.splitlist(fpaths)
    
    def process_image(fpath, app):
        img = cv2.imread(fpath)
        faces = app.get(img)
        rimg = app.draw_on(img, faces)
        result_path = "result_" + os.path.basename(fpath)
        cv2.imwrite(result_path, rimg)
        Image.open(result_path).show()
        return faces
    
    def print_face_info(faces):
        print("bbox, age, gender")
        print("filename, ", fpath)
        for face in faces:
            print(face['bbox'], face['age'], face['gender'])
    
    def main():
        app = initialize_face_analysis()
        fpaths = select_files()
    
        for fpath in fpaths:
            print("file name: ", fpath)
            faces = process_image(fpath, app)
            print_face_info(faces)
    
    if __name__ == "__main__":
        main()
    
  4. Python プログラムの実行

    プログラムを a.pyのようなファイル名で保存したので, 「python a.py」のようなコマンドで行う.

    python a.py
    

    ファイル選択画面が出るので,画像ファイルを選択する.ファイルは複数選択可能である.

  5. 結果の確認

    それぞれのファイルについて,ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される.

顔検出,年齢と性別の推定,パソコンのカメラで使用

Python プログラムを実行する

このプログラムはリアルタイムで顔検出を行います。カメラから取得した映像から顔を検出し、年齢と性別を推定します。検出された顔には枠が描画され、リアルタイムで結果が表示されます。'q' キーを押すとプログラムが終了します。
import cv2
import numpy as np
import insightface
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image

def initialize_face_analysis():
    app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
    app.prepare(ctx_id=0, det_size=(640, 640))
    return app

def capture_video():
    v = cv2.VideoCapture(0)
    return v

def process_frame(f, app):
    faces = app.get(f)
    rimg = app.draw_on(f, faces)
    return rimg

def display_frame(rimg):
    cv2.imshow("", rimg)

def main():
    app = initialize_face_analysis()
    v = capture_video()

    while(v.isOpened()):
        r, f = v.read()
        if not r:
            break

        rimg = process_frame(f, app)
        display_frame(rimg)

        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    v.release()
    cv2.destroyAllWindows()

if __name__ == "__main__":
    main()

顔識別,画像ファイル(複数可)での実行

このプログラムは buffalo_l という名前の事前学習済みモデルを使用している.
  1. Windows で,コマンドプロンプトを実行
  2. エディタを起動
    mkdir %USERPROFILE%\insightface
    cd /d c:%HOMEPATH%\insightface
    notepad c.py
    
  3. エディタで,次のプログラムを保存

    先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。

    このプログラムは、1つの基準となる顔画像と複数の比較対象の顔画像を選択し、顔の類似度を計算します。まず、基準となる顔画像から顔を検出し、その特徴ベクトル(embedding)を取得します。次に、比較対象の画像から顔を検出し、それぞれの特徴ベクトルと基準顔の特徴ベクトルの類似度を計算して表示します。
    import cv2
    import numpy as np
    import matplotlib.pyplot as plt
    import insightface
    from insightface.app import FaceAnalysis
    from insightface.data import get_image as ins_get_image
    import tkinter as tk
    from tkinter import filedialog
    import os
    from PIL import Image
    
    def initialize_face_analysis():
        app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
        app.prepare(ctx_id=0, det_size=(640, 640))
        return app
    
    def select_file():
        root = tk.Tk()
        root.withdraw()
        fpath = filedialog.askopenfilename()
        return fpath
    
    def select_files():
        root = tk.Tk()
        root.withdraw()
        fpaths = filedialog.askopenfilenames()
        return root.tk.splitlist(fpaths)
    
    def process_image(fpath, app):
        img = cv2.imread(fpath)
        faces = app.get(img)
        rimg = app.draw_on(img, faces)
        result_path = "result_" + os.path.basename(fpath)
        cv2.imwrite(result_path, rimg)
        Image.open(result_path).show()
        return faces
    
    def print_face_info(faces, fpath):
        print("filename, ", fpath)
        print("bbox, age, gender")
        for face in faces:
            print(face['bbox'], face['age'], face['gender'])
    
    def compare_embeddings(faces, embedding):
        for face in faces:
            print(face['bbox'], face['age'], face['gender'], np.dot(face['embedding'], embedding.T))
    
    def main():
        app = initialize_face_analysis()
    
        # First face
        fpath = select_file()
        print("file name: ", fpath)
        faces = process_image(fpath, app)
        print_face_info(faces, fpath)
        embedding = faces[0]['embedding']
        print(embedding)
    
        # Comparing faces
        fpaths = select_files()
        for fpath in fpaths:
            print("file name: ", fpath)
            faces = process_image(fpath, app)
            print_face_info(faces, fpath)
            compare_embeddings(faces, embedding)
    
    if __name__ == "__main__":
        main()
    
  4. Python プログラムの実行

    プログラムを c.pyのようなファイル名で保存したので, 「python c.py」のようなコマンドで行う.

    python c.py
    

    ファイル選択画面が出るので,画像ファイルを選択する.このとき,画像は1つ選択する.

    処理が終わると,画像と, ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される.

    再びファイル選択画面が出る.画像ファイルを選択する.今後は,画像を複数選択可能である.

  5. 結果の確認

    処理が終わると,画像と, ファイル名と,検出された顔の bounding box(バウンディングボックス),年齢,性別が表示される. そして,最初に選んだ顔との類似度が数字で表示される類似度の値が大きいほど本人に似ていると判定されている.

人体検出,画像ファイル(複数可)での実行

公式ページ (https://github.com/deepinsight/insightface/blob/master/examples/person_detection/scrfd_person.py) に記載の,人体検出のプログラムを実行する.

  1. Windows で,コマンドプロンプトを実行
  2. エディタを起動
    mkdir %USERPROFILE%\insightface
    cd /d c:%HOMEPATH%\insightface
    notepad b.py
    
  3. エディタで,次のプログラムを保存

    先の太さや文字の大きさを調整したいときは app/face_analysis.py を調整。

    このプログラムは、選択した画像から人物を検出します。検出された人物には、バウンディングボックス(全体を囲む長方形)が描画されます。検出結果は画像として保存・表示され、バウンディングボックスの座標が出力されます。
    import datetime
    import numpy as np
    import os
    import os.path as osp
    import glob
    import cv2
    import insightface
    
    assert insightface.__version__ >= '0.4'
    
    def initialize_detector():
        detector = insightface.model_zoo.get_model('scrfd_person_2.5g.onnx', download=True)
        detector.prepare(0, nms_thresh=0.5, input_size=(640, 640))
        return detector
    
    def detect_person(img, detector):
        bboxes, kpss = detector.detect(img)
        bboxes = np.round(bboxes[:, :4]).astype(np.int)
        kpss = np.round(kpss).astype(np.int)
        kpss[:, :, 0] = np.clip(kpss[:, :, 0], 0, img.shape[1])
        kpss[:, :, 1] = np.clip(kpss[:, :, 1], 0, img.shape[0])
        vbboxes = bboxes.copy()
        vbboxes[:, 0] = kpss[:, 0, 0]
        vbboxes[:, 1] = kpss[:, 0, 1]
        vbboxes[:, 2] = kpss[:, 4, 0]
        vbboxes[:, 3] = kpss[:, 4, 1]
        return bboxes, vbboxes
    
    def select_files():
        root = tk.Tk()
        root.withdraw()
        fpaths = filedialog.askopenfilenames()
        return root.tk.splitlist(fpaths)
    
    def process_image(fpath, detector):
        img = cv2.imread(fpath)
        bboxes, vbboxes = detect_person(img, detector)
        for i in range(bboxes.shape[0]):
            bbox = bboxes[i]
            vbbox = vbboxes[i]
            x1, y1, x2, y2 = bbox
            vx1, vy1, vx2, vy2 = vbbox
            cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 1)
            alpha = 0.8
            color = (255, 0, 0)
            for c in range(3):
                img[vy1:vy2, vx1:vx2, c] = img[vy1:vy2, vx1:vx2, c] * alpha + color[c] * (1.0 - alpha)
            cv2.circle(img, (vx1, vy1), 1, color, 2)
            cv2.circle(img, (vx1, vy2), 1, color, 2)
            cv2.circle(img, (vx2, vy1), 1, color, 2)
            cv2.circle(img, (vx2, vy2), 1, color, 2)
        result_path = "result_" + os.path.basename(fpath)
        cv2.imwrite(result_path, img)
        Image.open(result_path).show()
        return bboxes
    
    def main():
        detector = initialize_detector()
        fpaths = select_files()
        for fpath in fpaths:
            print("file name: ", fpath)
            bboxes = process_image(fpath, detector)
            print(bboxes)
    
    if __name__ == "__main__":
        main()
    
  4. Python プログラムの実行

    プログラムを b.pyのようなファイル名で保存したので, 「python b.py」のようなコマンドで行う.

    python b.py
    

    ファイル選択画面が出るので,画像ファイルを選択する.ファイルは複数選択可能である.

  5. 結果の確認

    このとき, bbox の情報が得られる. これは,検出された人物の bounding box である.