顔情報処理タスク別・実装手法の整理（検出・認識・属性・3D・生体・群衆）

用語

バウンディングボックス：対象を囲む矩形。顔検出では顔の位置と範囲を表す。
ランドマーク（landmark）：目・鼻・口などの特徴点を点として表した出力。
3DMM：3D Morphable Model。顔の形状・表情を少数のパラメータで表す統計的3D顔モデル。
FLAME：顔・頭部・首を含むパラメトリック3D頭部モデル。多くの3D顔再構成手法が出力先に用いる。
埋め込み（embedding）：顔を固定長の特徴ベクトルに変換したもの。同一人物どうしは近く、別人どうしは遠くなるよう学習する。
ArcFace：顔認識で用いる学習損失（追加角度マージン損失）。多くの顔認識モデルがこの系統で学習される。
AU／FACS：Action Unit／Facial Action Coding System。表情を顔の筋肉動作単位に分解して記述する体系。「顔のコード化」はこれを指す。
Valence-Arousal：感情を快・不快（valence）と覚醒度（arousal）の連続値で表す枠組み。離散カテゴリ分類とは別の出力形式。
TAR／FAR：True Accept Rate／False Accept Rate。本人を正しく受け入れる率／他人を誤って受け入れる率。FARを固定したときのTAR（例：TAR@FAR=0.01%）で顔認証の精度を表す。
PCC：Pearson Correlation Coefficient（ピアソン相関係数）。推定値と正解値の相関を表す。AU強度推定などの精度指標に用いる。
rPPG：remote PhotoPlethysmoGraphy。顔の微細な色変化から心拍などの生体信号を非接触で推定する技術。
EAR：Eye Aspect Ratio。目の開閉度を表す指標。眠気検知で閉眼判定に用いる。
MAR：Mouth Aspect Ratio。口の開閉度を表す指標。眠気検知であくび判定に用いる。
ViT：Vision Transformer。画像をパッチ列として扱うTransformer。顔解析モデルのバックボーンに用いる。
MAE（事前学習）：Masked Autoencoder。画像の一部を隠して復元させることで表現を学習する自己教師あり事前学習手法。タスク11のMicron-BERTがこの系統を用いる。次の「MAE（カウント）」とは別の用語である。
ONNX：機械学習モデルの共通フォーマット。CPU推論ランタイム（onnxruntime）と組み合わせて用いる。
メッシュ（mesh）：物体表面を多数の面（三角形など）で表した3D形状。
NoW Benchmark：単眼画像からの3D顔形状（中立顔）再構成の精度を測るベンチマーク。誤差（mm）が小さいほど高精度。
密度マップ（density map）：画像の各位置の人物存在密度を濃淡で表した出力。全体を合計すると推定人数になる。群衆カウントで用いる。
MAE（カウント）：Mean Absolute Error。推定人数と正解人数の平均絶対誤差。群衆カウントの精度指標で、値が小さいほど高精度。前述のMasked Autoencoderとは別の用語である。
ヨー・ピッチ・ロール（yaw/pitch/roll）：頭部の向きを表す3つの回転角。左右の振り（ヨー）、上下のうなずき（ピッチ）、傾き（ロール）。
セマンティックセグメンテーション：画像の各ピクセルがどの領域（肌・髪・目など）に属するかを分類する出力形式。顔パーシングで用いる。
生体検知（liveness／anti-spoofing）：カメラの前にいるのが実在の人物か、写真・動画・マスクによる偽装かを判定すること。

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

方法 2：インストーラーによるインストール

Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Build Tools・CUDA Toolkit・PyTorch のインストール

本章では、C++ ビルドツール、NVIDIA CUDA Toolkit、PyTorch のインストールを行い、GPU を活用した機械学習プログラムを実行する環境を整える。扱う環境は、Windows 搭載パソコンである。

[Build Tools・CUDA Toolkit・PyTorch のインストール手順を見るには、ここをクリック]

Windows での Build Tools for Visual Studio 2026 のインストール

Build Tools for Visual Studio 2026 は、C++ ソースコードを Windows 用バイナリにコンパイルするための開発ツール群である。unsloth 等の一部 Python パッケージは、インストール時に C++ コードのビルドを必要とするため、これらのツールが必須となる。

以下のコマンドは、Build Tools が未インストールの場合は winget で新規インストールし、インストール済みの場合は setup.exe modify でコンポーネントを追加する（バージョンは変更しない）。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM ============================================================
REM Visual Studio Build Tools + Desktop development with C++
REM （VCTools、MSBuildTools、CMake連携、Clang、Windows 11 SDK）
REM ============================================================
REM 進行中のインストーラーを停止（ロック競合回避）
taskkill /F /IM vs_setup.exe /T >nul 2>&1
taskkill /F /IM vs_installer.exe /T >nul 2>&1
taskkill /F /IM vs_installerservice.exe /T >nul 2>&1

REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加（バージョンは変更しない）
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --includeRecommended --quiet --norestart --nocache
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100"
)

REM 破損時の修復（任意、動作がおかしくなった場合）
REM "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" repair --installPath "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools" --quiet --norestart

REM 導入確認（インストールパスが表示されれば正常）
"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products * -requires Microsoft.VisualStudio.Workload.VCTools -property installationPath

上記のコマンドでは、Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし、続いて以下のコンポーネントを追加している。

VCTools：C++ デスクトップ開発ワークロード（--includeRecommended により、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる）
MSBuildTools：MSBuild によるビルドツールのワークロード
VC.CMake.Project：Windows 向け C++ CMake ツール
VC.Llvm.Clang：Windows 向け C++ Clang コンパイラ
VC.Llvm.ClangToolset：MSBuild から Clang を使用するための clang-cl ツールセット
Windows11SDK.26100：Windows 11 SDK（ビルド 10.0.26100）

追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

Windows での NVIDIA CUDA Toolkit のインストール

NVIDIA CUDA Toolkit は、NVIDIA GPU 上で計算を行うためのコンパイラ・ライブラリ群である。PyTorch や vLLM 等が GPU を利用するために必要となる。GPU を使用しない場合、この手順は不要である。

前提条件：NVIDIA GPU、NVIDIA ドライバ、Build Tools for Visual Studio もしくは Visual Studio が必要である。

インストール中の注意：他のウインドウは閉じておくこと。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

REM NVIDIA CUDA Toolkit 12.8 をシステム領域にインストール
winget install --scope machine --id Nvidia.CUDA --version 12.8 -e --silent --disable-interactivity --force --uninstall-previous --accept-source-agreements --accept-package-agreements --override "-s -n"

REM 環境変数TEMP, TMPの設定（一時ファイルの保存先を短いパスに変更）
mkdir C:\TEMP
setx TEMP "C:\TEMP" /M
setx TMP "C:\TEMP" /M

環境変数 TEMP および TMP を C:\TEMP に変更しているのは、後続のインストール処理で長いパス名や空白を含むパス名がエラーの原因となる場合があるためである。

Windows での PyTorch のインストール

https://pytorch.org のインストールガイドに従い、自環境の CUDA バージョンに対応したコマンドを取得して実行する。CUDA バージョンは以下で確認できる。

nvcc --version

Python 3.12、CUDA 12.6 以上の場合は、管理者権限でコマンドプロンプトを起動し、以下を実行する。cu128 は CUDA 12.8 用のタグである。CUDA バージョンが異なる場合は、上記公式サイトで該当するタグを確認し、URL 末尾の cu128 を置き換えること。

pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

以降の章では、必要に応じて題材に応じた必要なソフトウェアを追加する。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．

コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（Ctrl+Shift+P）
Python: Select Interpreter と入力する
表示される一覧から，使用する Python（例：C:\Program Files\Python312\python.exe）を選択する．

Python プログラム実行手順

[Windows での Python プログラム実行手順を見るには、ここをクリック]

Windows での Python 実行手順（Visual Studio Codeを使用）

プログラムファイルの作成と保存

左サイドバーの「エクスプローラー」アイコン（Ctrl+Shift+E）をクリックする
「NO FOLDER OPENED」（作業対象フォルダが未選択の状態）と表示される場合は，「Open Folder」をクリックし，プログラムを保存するフォルダを選択する

続いて「フォルダを信用するか」を確認する画面（フォルダ内のコードを実行してよいか確認する VS Code の仕組み）が表示されるので，チェックして Yes を選択する
フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
ファイル名（例：aitask.py．ファイル名は何でも良い）を入力し Enter を押す．拡張子は .py（Python ファイルを示す拡張子）とする
実行したいコードを選択し，Ctrl+C でコピーする．VS Code のエディタ領域に Ctrl+V で貼り付ける
Ctrl+S で保存する

プログラムの実行

エディタ右上の三角形「▷」アイコン（Run Python File：現在開いている Python ファイルを実行するボタン）をクリックする．または，エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
VS Code 下部のターミナル（コマンドの入出力を表示する画面）に，実行結果（print 関数の出力等）が表示される
tkinter（Python 標準の GUI ライブラリ）のファイル選択ダイアログを使うプログラムを実行した場合は，ダイアログが開くので対象画像を選択する
VS Code 下部のターミナルで実行結果を確認する．OpenCV ウィンドウ（OpenCV が画像を表示するために開く専用ウィンドウ）が開いた場合はそちらも確認する．OpenCV ウィンドウは，マウスクリックでウィンドウをアクティブ（操作対象の状態）にしてからキーを押すと終了する

1. 検出・位置：顔検出（複数顔・バウンディングボックス）

タスク定義単一のRGB画像または映像フレームを入力とし、画像内の各顔のバウンディングボックスと信頼度を出力する。複数顔を同時に検出する。

採用：InsightFace（CPU枠＝SCRFD ／ GPU枠＝RetinaFace-R50）

InsightFaceは2D・3D顔解析の統合プロジェクトで、複数の顔検出器を同一パッケージで提供する。SCRFDは高効率の検出器で、ONNX形式・軽量モデルによりCPUのみでも実用速度が出る。RetinaFaceはCVPR 2020で発表された単段密検出器で、ResNet50バックボーンのR50モデルがWIDER FACEで高精度を示す。いずれも同一APIから呼び出せるため、CPU/GPUの使い分けが単一ライブラリで完結する。InsightFaceにはC++ビルド不要の軽量Python版があり、Windows導入が容易である。

コード：https://github.com/deepinsight/insightface
RetinaFace論文：https://arxiv.org/abs/1905.00641（CVPR 2020）

GPU/CPU：GPUで高速。CPUでも軽量モデル（SCRFD-500MF等）で実用速度が出る。本タスクは単一ライブラリでGPU・CPU双方をカバーする。

代替として、WIDER FACEで学習したYOLOv12-face系が3条件（Windows動作・ソース公開・学習済みモデル公開）を満たす。pip install ultralytics 環境で yolov12n-face.pt（軽量・CPU向け）〜 yolov12l-face.pt（高精度・GPU向け）を読み込んで推論でき、小さい顔や混雑シーンでの検出に強い。ultralyticsに慣れている場合や検出のみを軽量に済ませたい場合の選択肢となる。コード：https://github.com/akanametov/yolo-face。

継続採用の理由：上記YOLOv12-faceは有力だが、検出に加え認識・属性・年齢性別までを単一パイプラインで賄え、CPU/GPUを同一APIで切り替えられる利点からInsightFaceを主枠とする。ライセンス：コードはMIT系。一部の学習済みモデルは研究用配布のため、商用時は要確認。

ライブラリのインストール

学習済みモデル：pip install --no-user insightface で導入でき、初回使用時にモデル（buffalo_l 等）が自動ダウンロードされる。Windows動作可。

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）

そして，以下のコマンドを実行

pip uninstall -y opencv-python-headless opencv-python
pip install --no-user opencv-python insightface
pip uninstall -y opencv-python-headless

ソースコード

# InsightFace：カメラの画像から顔のバウンディングボックスを検出
import cv2
from insightface.app import FaceAnalysis

app = FaceAnalysis(name="buffalo_l")        # 初回実行時に重みを自動ダウンロード
app.prepare(ctx_id=0, det_size=(640, 640))  # ctx_id=-1 でCPU、0以上でGPU

cap = cv2.VideoCapture(0)
ret, img = cap.read()   # imgはBGR（OpenCV形式）
cap.release()

faces = app.get(img)
for f in faces:
    print(f.bbox)   # [x1, y1, x2, y2]

2. 検出・位置：2Dランドマーク検出

タスク定義顔画像を入力とし、目・鼻・口・輪郭などの特徴点（2Dランドマーク）の画像座標を出力する。点数は手法により異なる（疎な68点〜密な468点メッシュ）。

採用：CPU枠＝MediaPipe Face Mesh ／ GPU枠＝FAN（face-alignment）

MediaPipe Face Meshは468点の高密度メッシュを返す軽量タスクで、CPUのみでリアルタイム動作する。FAN（face-alignment）は68点のランドマーク検出で、2D/3Dの両方を出力でき、研究用途で広く使われる。密なメッシュが必要ならMediaPipe、68点で足りる場合はFANを選ぶ。

学習済みモデル：MediaPipeは pip install mediapipe で導入し、taskファイルを取得する。FANは pip install face-alignment で導入し、重みは初回実行時に自動ダウンロードされる。いずれもWindows動作可。

MediaPipe Face Landmarker：https://ai.google.dev/edge/mediapipe/solutions/vision/face_landmarker
FAN（face-alignment）：https://github.com/1adrianb/face-alignment

GPU/CPU：MediaPipeはCPUで動作する。FANはGPU推奨。

ライブラリのインストール

学習済みモデル：pip install --no-user insightface で導入でき、初回使用時にモデル（buffalo_l 等）が自動ダウンロードされる。Windows動作可。

そして，以下のコマンドを実行

pip uninstall -y opencv-python-headless opencv-python
pip install --no-user opencv-python insightface
pip uninstall -y opencv-python-headless

ソースコード

# face-alignment（FAN）：カメラ画像から68点の2Dランドマークを推定（ループ表示）
import cv2
import face_alignment

fa = face_alignment.FaceAlignment(
    face_alignment.LandmarksType.TWO_D, device="cuda")  # CPUなら device="cpu"

cap = cv2.VideoCapture(0)

while True:
    ret, img = cap.read()   # imgはBGR（OpenCV形式）
    rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)   # face-alignmentはRGBを想定
    preds = fa.get_landmarks(rgb)

    cv2.putText(img, "ESC key: quit", (10, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 255, 0), 2)

    for landmarks in preds:
        for x, y in landmarks:
            cv2.circle(img, (int(x), int(y)), 2, (0, 255, 0), -1)

    cv2.imshow("camera", img)
    if cv2.waitKey(1) == 27:   # 27 = ESC
        break

cap.release()
cv2.destroyAllWindows()

3. 認識：顔認識（1:1照合）

タスク定義2枚の顔画像を入力とし，それぞれの顔から抽出した特徴ベクトル（embedding）の類似度に基づき，同一人物か否かを判定する。

採用：InsightFace（buffalo_lモデルの認識ネットワーク）

InsightFaceはArcFaceに基づく顔認識モデルを検出モデルと同一パッケージで提供する。buffalo_lモデルパックには認識用ネットワークが含まれており，検出した顔領域から512次元の特徴ベクトルを抽出できる。2つの特徴ベクトルの正規化済み内積（コサイン類似度）を計算することで，同一人物であるかどうかを数値的に判定できる。

コード：https://github.com/deepinsight/insightface
ArcFace論文：https://arxiv.org/abs/1801.07698

GPU/CPU：GPUで高速。CPUでも動作するが，検出・認識ともに処理時間が増える。

ライブラリのインストール

学習済みモデル：pip install --no-user insightface で導入でき，初回使用時にモデル（buffalo_l 等）が自動ダウンロードされる。Windows動作可。

そして，以下のコマンドを実行

pip uninstall -y opencv-python-headless opencv-python
pip install --no-user opencv-python insightface
pip uninstall -y opencv-python-headless

ソースコード

# InsightFace：カメラ映像から顔認識（1:1照合）を行う（ループ表示）
import cv2
import numpy as np
from insightface.app import FaceAnalysis

app = FaceAnalysis(name="buffalo_l")
app.prepare(ctx_id=0, det_size=(640, 640))  # ctx_id=-1 でCPU，0以上でGPU

cap = cv2.VideoCapture(0)
ref_embedding = None

while True:
    ret, img = cap.read()   # imgはBGR（OpenCV形式）
    faces = app.get(img)

    if len(faces) > 0:
        f = faces[0]
        x1, y1, x2, y2 = f.bbox.astype(int)
        cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)

        if ref_embedding is not None:
            similarity = np.dot(ref_embedding, f.normed_embedding)
            if similarity > 0.5:
                label = "Same person ({:.2f})".format(similarity)
            else:
                label = "Different person ({:.2f})".format(similarity)
            cv2.putText(img, label, (x1, y1 - 10),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2)

    cv2.putText(img, "S key: register reference face, ESC key: quit", (10, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)

    cv2.imshow("camera", img)
    key = cv2.waitKey(1)
    if key == ord("s") and len(faces) > 0:
        ref_embedding = faces[0].normed_embedding
    if key == 27:   # 27 = ESC
        break

cap.release()
cv2.destroyAllWindows()

4. 属性推定：年齢・性別推定

タスク定義顔画像を入力とし，顔ごとに推定年齢と性別を出力する。

採用：InsightFace（buffalo_lモデルのgenderageネットワーク）

InsightFaceのbuffalo_lモデルパックには年齢・性別推定用のgenderageネットワークが含まれる。検出・認識と同じFaceAnalysisクラスから呼び出すことができ，検出した顔ごとにage（推定年齢）とsex（性別，MまたはF）が付与される。

コード：https://github.com/deepinsight/insightface

GPU/CPU：GPUで高速。CPUでも軽量モデルであれば実用速度が出る。

ライブラリのインストール

学習済みモデル：pip install --no-user insightface で導入でき，初回使用時にモデル（buffalo_l 等）が自動ダウンロードされる。Windows動作可。

そして，以下のコマンドを実行

pip uninstall -y opencv-python-headless opencv-python
pip install --no-user opencv-python insightface
pip uninstall -y opencv-python-headless

ソースコード

# InsightFace：カメラ映像から顔の年齢・性別を推定（ループ表示）
import cv2
from insightface.app import FaceAnalysis

app = FaceAnalysis(name="buffalo_l")
app.prepare(ctx_id=0, det_size=(640, 640))

cap = cv2.VideoCapture(0)

while True:
    ret, img = cap.read()   # imgはBGR（OpenCV形式）
    faces = app.get(img)

    cv2.putText(img, "ESC key: quit", (10, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 255, 0), 2)

    for f in faces:
        x1, y1, x2, y2 = f.bbox.astype(int)
        label = "Age:{} Sex:{}".format(f.age, f.sex)
        cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)
        cv2.putText(img, label, (x1, y1 - 10),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2)

    cv2.imshow("camera", img)
    if cv2.waitKey(1) == 27:   # 27 = ESC
        break

cap.release()
cv2.destroyAllWindows()