瞬目検出3手法の比較と瞬き頻度の時間推移の観察

【概要】

MediaPipe Face Landmarker を用い、Blendshape 法・EAR 法・PERCLOS の3手法を同一映像に同時適用して比較する。実行し、パラメータを変え、結果を確かめるための探求ガイドである。

目的は、単眼RGB映像(通常のカラーカメラ1台で撮った映像)から瞬目(まばたき)を非接触で検出する代表的3手法を同一入力に適用し、瞬き回数・平均頻度(回/分)・区間別頻度・時間経過との相関、および手法間の一致度を定量比較することである。実装は、MediaPipe Face Landmarker が出力する478点の顔ランドマーク(顔の特徴点の座標)と52種のブレンドシェイプ係数(表情の強さを0〜1で表す値)から、Blendshape動的しきい値法(判定の境目を固定値にせず、直近の履歴から毎フレーム計算し直す方式)・EAR適応しきい値法・PERCLOSを並列に算出し、結果を画面とCSVへ出力するTkinter(Python に標準で付属するGUI作成ライブラリ)プログラムである。

【目次】

1. 目的と前提

計測中は、映像上に手法A・Bそれぞれの瞬き回数、経過時間、処理fps(1秒あたりに解析できたフレーム数)、時間分解能fps(1秒を何コマに刻めているか)、各手法の信号値としきい値(判定の境目となる値)、PERCLOS値が常時表示される。計測後は、これらに加えて総フレーム数、顔検出失敗率、手法別の総回数と平均頻度、区間別頻度、時間経過との相関係数(2つの量が同じ向きに変化する度合いを −1〜+1 で表す値)、手法間の一致度、Raw TLX(主観的な作業負荷を6項目で自己評価する尺度。2-2節で述べる)とKSS(主観的な眠気を1〜9段階で自己評価する尺度)が表示される。計測ごとに blink_sessions フォルダの下へタイムスタンプ付きのフォルダが作られ、瞬目の発生時刻と持続時間を記録した blink_log.csv、顔を検出できたフレームごとの閉眼度・EAR・PERCLOSとしきい値を記録した signal_log.csv、区間別の頻度をまとめた segments.csv、集計結果の全文を記した report.txt、時間推移を図示した timeline.png が保存される。主観評価を記録した場合は subjective.csv も加わる。これにより、同じ映像でも手法としきい値設定によって瞬き回数がどれだけ変わるか、瞬き頻度が時間経過とともに増減するか、その傾向が主観的な負荷の自己申告と同じ向きかを観察できる。ただし得られる結論は「本条件・本設定下で各手法が何回と数えたか」という記述に限られ、真の瞬目回数や疲労との因果関係を主張することはできない。技術選定の理由は、ブレンドシェイプのモデルが閉眼度を直接出力するため座標計算を自作せずに済み、しかも同じ478点からEARも計算できるため、2手法を追加機材なしで公平な条件下で比較できる点にある。社会的意義は、非接触・低コストな瞬目計測がVDT作業(画面を見続ける作業)の管理、運転者の眠気検知、eスポーツ選手のコンディション管理など、労働安全や事故防止に接続しうる点にある。

2. 手法候補の一覧

2-1. 瞬目検出・眼開閉推定の手法候補(青い行が本コードの実装対象)

No.手法名発表分類概要
1EAR(Eye Aspect Ratio、目の縦横比)しきい値法CVWW 2016(Soukupová & Čech)幾何特徴+しきい値 目の周囲6点から縦横比を計算し、値がしきい値を下回るフレームを閉眼とみなす。計算量が小さく、判定の根拠が数式として目に見える古典的手法である。
2EAR時系列+SVM(サポートベクターマシン、2つのクラスを最もよく分ける境界を学習する識別器)CVWW 2016(同上)時系列特徴+識別器 数フレーム分のEARの並びをまとめて識別器に入力し判定する。1フレームだけで判断するしきい値法より顔向きや個人差に強いが、学習データを別途必要とする。
3PERCLOS(PERcent of eyelid CLOSure、閉眼時間率)Dinges & Grace 1998集約指標(眠気指標) 一定の時間窓の中で瞼が一定割合以上閉じていた時間の比率を指標化する。個々の瞬目ではなく持続的な閉眼を捉え、眠気推定の標準的指標として用いられてきた。
4MediaPipe Face Landmarker + Blendshape V2(eyeBlink係数)Google, MediaPipe Tasks(2023〜)学習済み回帰モデル(入力から連続値を出力するよう学習させたモデル) BlazeFaceで顔を検出し、FaceMesh-V2で478点を推定し、うち146点をMLP-Mixer(全結合層だけで構成された軽量ネットワーク)に入力して52種の表情係数を推定する。閉眼度が0〜1の値で直接得られる。
5RT-BENEICCV Workshops 2019(Cortacero ら)CNNによる眼領域分類 切り出した両眼の画像をCNN(畳み込みニューラルネットワーク)で開眼/閉眼に分類する。眼鏡や照明変化を含む実環境データで学習しており、ランドマークの精度に左右されにくい。
6OpenFace 2.0 の AU45 強度FG 2018(Baltrušaitis ら)表情動作単位(AU)推定 FACS(表情記述の国際的な体系)のAU45(blink)の強さを推定し、その時間変化から瞬目を判定する。他の表情要素も同時に得られるため併用解析に向く。
7EOG(Electro-OculoGraphy、眼電図)生理計測の標準手法接触型生体信号 目の周りに貼った電極で角膜と網膜の電位差の変化を測る。時間分解能が高く正解データとして使えるが、電極を身体に装着する必要がある。

2-2. 主観的作業負荷の評価手法候補

No.手法名発表分類概要
ANASA-TLX(重み付け版)Hart & Staveland 1988多次元主観評価 6項目を評定したうえ、項目どうしを2つずつ比べて重みを決め、加重平均する。手続きが重く、短時間の実験では回答者の負担が大きい。
BRaw TLX(NASA-TLX簡易版)Byers ら 1989 / Hart 2006多次元主観評価(簡易) 重み付けの手続きを省き、6項目の単純平均をスコアとする。所要時間が短く、重み付け版と近い感度を示すとの報告があり、実験室外でも使いやすい。
CBorg CR-10(主観的な強さを0〜10の段階で答えさせる尺度)等の主観的疲労感尺度Borg 1982 ほか単一次元主観評価 疲労や努力の強さを1本の尺度で答えさせる。繰り返し尋ねやすい反面、負荷の内訳(精神的か時間的か)は分けられない。
DKSS(Karolinska 眠気尺度)等の眠気・覚醒度自己評定Åkerstedt & Gillberg 1990 ほか単一次元主観評価 眠気の強さを数段階で自己申告させる。PERCLOSとの対応を見やすいが、答える行為そのものが目を覚まさせてしまう点に注意が要る。

3. コードで実装されている手法

本コードは、表2-1の No.4(手法A:Blendshape eyeBlink 動的しきい値法)、No.1(手法B:EAR適応しきい値法)、No.3(手法C:PERCLOS) の3つを、同一フレームに対して同時に計算する。表2-2からは B(Raw TLX) と D(KSS) を用いる。3手法はいずれも MediaPipe Face Landmarker の出力を入力源とするため、顔検出が成功したか否かという条件が完全に共通である。したがって結果の差は、判定の原理としきい値の設定だけに由来する。これに加えて、計測中に利用者がキー操作で打った「見えた瞬目」を参照系列Hとして記録し、A・Bとの一致度を求める機能を備える。Hは人の目視と反応時間に依存する近似的な参照であり、正解データではない。

各手法の実装内容

手法入力信号しきい値の決め方出力
A:BlendshapeeyeBlinkLeft と eyeBlinkRight の平均(0〜1、1に近いほど閉眼) 直近の履歴(両手法がともに開眼と判定したフレームだけを蓄積したもの)の下位10パーセンタイル(小さい方から数えて10%の位置にある値)を「目が開いているときの基準値」とし、基準値から上限1.0までの残り幅にマージンを掛けた分を基準値に足した値をしきい値とする。この値以上のフレームを閉眼とみなす瞬き回数と発生時刻
B:EAR左右の目それぞれ6点から求めたEARの平均(目が開いているほど大きい) 直近の履歴(Aと同じく開眼と判定したフレームだけを蓄積したもの)の上位90パーセンタイルを基準値とし、それに比率(既定0.75)を掛けた値以下になったフレームを閉眼とみなす瞬き回数と発生時刻
C:PERCLOSAと同じ閉眼度 閉眼水準(既定0.80)以上のフレームを「閉眼」と数え、移動窓(現在時刻からさかのぼる一定長さの時間帯)の中での割合を求める閉眼時間率(%)

A と B はいずれも「閉眼と判定された状態が最小持続フレーム数以上つづき、そのあと開眼に転じた瞬間」に1回と数える(計測停止・動画末尾・ウィンドウ終了の時点で閉眼が続いていた場合は、その時点で1回として確定する)。両者は信号の向きが逆であること、すなわち A は閉じると値が上がり、B は閉じると値が下がることに注意する。C は回数ではなく時間の割合であり、A・B とは測っている現象そのものが異なる。基準値を求める履歴は、両手法がともに開眼と判定したフレームでのみ更新する。ただし履歴の更新が一定時間(既定2秒)以上途切れた場合は、開眼・閉眼の判定を問わずすべての検出フレームの値から基準値を作り直し、判定不能な状態からの復帰を試みる。この復帰が作動した回数は結果画面に表示される。

他の候補と比べた特徴・使用上の注意

モデルの所在と学習データ

項目内容
ソースコードMediaPipe(Google AI Edge)の公開実装。Python からは mediapipe.tasks.python.vision.FaceLandmarker として利用する。
学習済みモデルhttps://storage.googleapis.com/mediapipe-models/face_landmarker/face_landmarker/float16/1/face_landmarker.task。初回実行時に自動ダウンロードしてスクリプトと同じディレクトリに保存し、2回目以降はそのファイルをそのまま使う(キャッシュ=一度取得したものを保存して再利用する仕組み)。
構成モデルBlazeFace(顔検出, Bazarevsky ら 2019)、FaceMesh-V2(478点の3次元ランドマーク, Kartynnik ら CVPRW 2019 の系列)、Blendshape V2(52係数)の3モデルを1つのファイルに束ねたもの。
Blendshape V2 の入出力入力は FaceMesh-V2 の478点のうち146点の2次元ランドマーク、出力は52種の係数(0〜1)。構造は MLP-Mixer 系の軽量ネットワークである。
学習データ公開されているモデルカード(モデルの仕様書)によれば、研究室内で複数のカメラにより収録した多視点の顔画像と、そこから復元した3D GHUMメッシュ(人体の3次元形状モデル)を基に、人物・表情・顔の向きの組み合わせから多数の学習サンプルを合成し、入力するランドマークにノイズを加えて学習させている。ImageNet のような一般公開データセットではないため、内訳の詳細は公表されていない。
注意点(教科書的な技術と、この実装の違い)
技術の限界:瞬目の持続時間はおよそ100〜400ミリ秒であるのに対し、一般的なカメラや動画は概ね30fps(1フレーム約33ミリ秒)であり、1回の瞬目は3〜12フレーム程度しか記録されない。開閉の時刻や瞼の動く速さをサブフレーム精度(1フレームよりも細かい時間の精度)で求めることはできず、結果はしきい値と最小持続フレーム数の設定に依存する。Raw TLXとKSSは計測中に複数回記録できるが、記録が3点未満の場合は瞬き頻度との相関を求めない。画面に並ぶ平均瞬き頻度と主観評価は、あくまで並べて眺めるための材料である。

4. プログラムの概要

5. プログラム実行手順

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Build Tools・CUDA Toolkit・PyTorch のインストール

本章では、C++ ビルドツール、NVIDIA CUDA Toolkit、PyTorch のインストールを行い、GPU を活用した機械学習プログラムを実行する環境を整える。扱う環境は、Windows 搭載パソコンである。

[Build Tools・CUDA Toolkit・PyTorch のインストール手順を見るには、ここをクリック]

Windows での Build Tools for Visual Studio 2026 のインストール

Build Tools for Visual Studio 2026 は、C++ ソースコードを Windows 用バイナリにコンパイルするための開発ツール群である。unsloth 等の一部 Python パッケージは、インストール時に C++ コードのビルドを必要とするため、これらのツールが必須となる。

以下のコマンドは、Build Tools が未インストールの場合は winget で新規インストールし、インストール済みの場合は setup.exe modify でコンポーネントを追加する(バージョンは変更しない)。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

REM ============================================================
REM Visual C++ 再頒布可能パッケージ (VCRedist 2015-)
REM ============================================================
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo VCRedist のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM ============================================================
REM Visual Studio Build Tools + Desktop development with C++
REM (VCTools、MSBuildTools、CMake連携、Clang、Windows 11 SDK)
REM ============================================================
REM 進行中のインストーラーを停止(ロック競合回避。対象プロセスが存在しない場合は
REM taskkillがエラーを返すが、これは想定内であるため出力のみ抑制する)
taskkill /F /IM vs_setup.exe /T >nul 2>&1
taskkill /F /IM vs_installer.exe /T >nul 2>&1
taskkill /F /IM vs_installerservice.exe /T >nul 2>&1
taskkill /F /IM msiexec.exe /T >nul 2>&1

REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM BuildTools のインストールパスを vswhere.exe で取得(メジャーバージョンに依存しない)
set "VSWHERE=C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe"
set "BT_PATH="
for /f "usebackq delims=" %P in (`"%VSWHERE%" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do set "BT_PATH=%P"
if not defined BT_PATH ( color 0c & echo Build Tools のインストールパスを取得できませんでした & ping 127.0.0.1 -n 6 >nul & color )

REM 破損時の修復(任意、動作がおかしくなった場合)
REM if defined BT_PATH "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" repair --installPath "%BT_PATH%" --quiet --norestart
REM 導入確認(インストールパスが表示されれば正常)
"%VSWHERE%" -products * -requires Microsoft.VisualStudio.Workload.VCTools -property installationPath

上記のコマンドでは、Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし、続いて以下のコンポーネントを追加している。

追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

Windows での NVIDIA CUDA Toolkit のインストール

NVIDIA CUDA Toolkit は、NVIDIA GPU 上で計算を行うためのコンパイラ・ライブラリ群である。PyTorch や vLLM 等が GPU を利用するために必要となる。GPU を使用しない場合、この手順は不要である。

前提条件:NVIDIA GPU、NVIDIA ドライバ、Build Tools for Visual Studio もしくは Visual Studio が必要である。

インストール中の注意:他のウインドウは閉じておくこと。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

REM ============================================================
REM CUDA 12.8
REM ============================================================
winget install --scope machine --id Nvidia.CUDA --version 12.8 -e --silent --disable-interactivity --force --uninstall-previous --accept-source-agreements --accept-package-agreements --override "-s -n"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo CUDA のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM 統合用ファイルのコピー
if exist "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\" (
    xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "c:\Program Files\Microsoft Visual Studio\18\Community\MSBuild\Microsoft\VC\v180\BuildCustomizations\" /Y
    xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools\MSBuild\Microsoft\VC\v180\BuildCustomizations\" /Y
    xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools\MSBuild\Microsoft\VC\v170\BuildCustomizations\" /Y /I
) else (
    echo CUDA v12.8 のディレクトリが存在しません。
    ping 127.0.0.1 -n 6 >nul
)

REM 環境変数TEMP, TMPの設定(一時ファイルの保存先を短いパスに変更)
set "TEMP=C:\TEMP"
set "TMP=C:\TEMP"
powershell -NoProfile -Command "$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); foreach($n in @('TEMP','TMP')){ $t=[Microsoft.Win32.RegistryValueKind]::ExpandString; if($k.GetValueNames() -contains $n){ $t=$k.GetValueKind($n) }; $k.SetValue($n,'C:\TEMP',$t) }; $k.Close()"
reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v TEMP
reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v TMP

環境変数 TEMP および TMP を C:\TEMP に変更しているのは、後続のインストール処理で長いパス名や空白を含むパス名がエラーの原因となる場合があるためである。

Windows での PyTorch のインストール

https://pytorch.org のインストールガイドに従い、自環境の CUDA バージョンに対応したコマンドを取得して実行する。CUDA バージョンは以下で確認できる。

nvcc --version

管理者権限でコマンドプロンプトを起動し、以下を実行する。cu128 は CUDA 12.8 用のタグである。CUDA バージョンが異なる場合は、上記公式サイトで該当するタグを確認し、URL 末尾の cu128 を置き換えること。

REM numpy と PyTorch(CUDA 12.8 対応 wheel)、pip キャッシュを全削除
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/%CUDA_TAG%
if not "%ERRORLEVEL%"=="0" ( color 0c & echo numpy / PyTorch のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

Python プログラム実行手順

[Windows での Python プログラム実行手順を見るには、ここをクリック]

Windows での Python 実行手順(Visual Studio Codeを使用)

プログラムファイルの作成と保存

  1. 左サイドバーの「エクスプローラー」アイコン(Ctrl+Shift+E)をクリックする
  2. 「NO FOLDER OPENED」(作業対象フォルダが未選択の状態)と表示される場合は,「Open Folder」をクリックし,プログラムを保存するフォルダを選択する

    続いて「フォルダを信用するか」を確認する画面(フォルダ内のコードを実行してよいか確認する VS Code の仕組み)が表示されるので,チェックして Yes を選択する

  3. フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
  4. ファイル名(例:aitask.py.ファイル名は何でも良い)を入力し Enter を押す.拡張子は .py(Python ファイルを示す拡張子)とする
  5. 実行したいコードを選択し,Ctrl+C でコピーする.VS Code のエディタ領域に Ctrl+V で貼り付ける
  6. Ctrl+S で保存する

プログラムの実行

  1. エディタ右上の三角形「▷」アイコン(Run Python File:現在開いている Python ファイルを実行するボタン)をクリックする.または,エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
  2. VS Code 下部のターミナル(コマンドの入出力を表示する画面)に,実行結果(print 関数の出力等)が表示される
  3. tkinter(Python 標準の GUI ライブラリ)のファイル選択ダイアログを使うプログラムを実行した場合は,ダイアログが開くので対象画像を選択する
  4. VS Code 下部のターミナルで実行結果を確認する.OpenCV ウィンドウ(OpenCV が画像を表示するために開く専用ウィンドウ)が開いた場合はそちらも確認する.OpenCV ウィンドウは,マウスクリックでウィンドウをアクティブ(操作対象の状態)にしてからキーを押すと終了する

必要なライブラリのインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

次のコマンドを実行し、関連ライブラリをインストールする。

pip install -U --no-user mediapipe opencv-python numpy pillow

実行手順

  1. スクリプトを実行する。初回のみモデルファイルを自動ダウンロードするため、インターネット接続が必要である。
  2. 「1. 入力の選択」でカメラまたは動画ファイルを選ぶ。自分の作業中の瞬目を測るならカメラ、パラメータの比較を行うなら同じ動画ファイルを繰り返し使う。
  3. 「計測開始」を押す。まず10〜20秒ほど、意図的に数回まばたきをして、目の周囲に点が乗ること、閉眼度がしきい値を超えること、手法Aと手法Bの回数が同じだけ増えるかを確認する。これが動作確認である。
  4. 見えた瞬目に気づいたら Space キーを押す。これが人手参照Hとして記録され、A・Bとの一致度の算出に使われる。
  5. そのまま作業(ゲーム、読書など)を行う。経過時間の表示で進み具合を確認する。動画ファイル入力の場合は末尾に達すると自動的に停止する。
  6. 作業の途中で M キーを押すと、その時点のRaw TLX(6項目)とKSSを記録できる。3回以上記録すると、瞬き頻度やPERCLOSとの相関が結果に加わる。
  7. 「計測停止」を押す。
  8. カメラで自分を計測した場合は、「4. 主観評価」の6項目とKSSを入力してから記録する。動画ファイルを解析した場合は評価すべき主観体験が存在しないため、入力せず既定値のままにし、結果欄の主観評価の記録は無視する。
  9. 停止すると自動的に集計され、テキスト欄に結果が表示され、blink_sessionsフォルダの下に一連のファイルが保存される。
  10. パラメータのスライダーや集計区間長を動かしてから「集計・再解析して保存」を押せば、計測をやり直さずに別の設定で集計し直せる。「パラメータ掃引」を押せば、主要なパラメータを自動的に振った一覧表が得られる。
  11. 「信号ログを読み込んで再解析」ボタンから、過去に保存した signal_log.csv を読み込み、その場で計測をやり直すことなく別の設定で再解析することもできる。

6. GUIで設定可能なパラメータ

対象名称(GUI表記)初期値範囲説明
入力カメラ番号00〜7 使用するカメラ機器の番号。ノートパソコン内蔵のカメラは通常0である。
手法A閉眼判定マージン(残り幅比)0.300.05〜0.60 基準値から上限1.0までの残り幅にこの比を掛け、基準値に足したものを閉眼判定のしきい値とする。小さくすると軽い目の動きも回数に数え、大きくすると浅い瞬目を取りこぼす。
手法BEAR比率しきい値(開眼時EARに対する比)0.750.50〜0.95 開眼時のEAR基準値にこの比を掛けた値以下になったら閉眼とみなす。小さくするほど深い閉眼だけを検出する。
A・B共通最小閉眼持続フレーム数21〜6 何フレーム連続で閉眼判定が続いたら1回と数えるか。実時間に換算した値は画面に「最小閉眼○ms」として常時表示される。
A・B共通基準値推定の窓長(フレーム)6020〜300 開眼時の基準値を求めるためにさかのぼるフレーム数(履歴は両手法が開眼と判定したフレームでのみ更新される)。長いほど姿勢の変化に追従しにくく、短いほど直近のわずかな変動でしきい値が動きやすい。
手法CPERCLOS閉眼水準0.800.50〜0.95 閉眼度がこの値以上のフレームを「閉眼」と数える。0.80は文献でいうP80(瞼が瞳孔の80%以上を覆った状態を閉眼とみなす定義)に相当する設定である(ただし本実装は閉眼度による近似)。
手法CPERCLOS移動窓長(秒)3010〜120 閉眼時間率を計算する時間帯の長さ。長くすると値は滑らかになり、短くすると変動が大きくなる。
集計集計区間長(分)20.5〜10 区間別頻度と相関係数を求める時間の幅。停止後に変更して集計ボタンを押し直せば再集計される。
集計一致とみなす時間差(±秒)0.500.10〜1.50 手法間、または手法と人手参照Hとの間で、瞬目の発生時刻をどこまで同一とみなすかの許容幅。
集計主観評価に対応させる直近の窓(秒)6015〜300 Raw TLXやKSSを記録した時点から、どこまでさかのぼった区間の瞬き頻度・PERCLOSと対応づけるかの長さ。
主観評価Raw TLX 6項目500〜100(5刻み) 精神的要求・身体的要求・時間的切迫感・作業成績・努力・フラストレーションの各評定値。6つの平均がRaw TLXとなる。
主観評価KSS(眠気)51〜9 眠気の強さの自己評定値。数値が大きいほど眠気が強いことを表す。

7. プログラムコード

8. 画面表示の読み方

計測中の映像には4行の文字が重なる。1行目は手法Aと手法Bそれぞれの瞬き回数である。この2つが揃って増えるか、片方だけ増えるかを見ることが本実験の出発点である。2行目は経過時間と2種類のfpsで、処理fpsは「1秒あたり何フレーム解析できているか」という速度、時間分解能fpsは「1秒を何コマに刻めているか」という時間の細かさであり、両者は別の量である。カメラ入力ではこの2つは一致するが、動画ファイル入力では映像自体のfpsが時間の細かさを決めるため、解析が遅くても時間分解能は変わらない。括弧内の「最小閉眼○ms」は、最小閉眼持続フレーム数を時間に換算した値であり、これより短い閉眼は計数されないことを意味する。

3行目は手法Aの閉眼度(1に近いほど閉眼)と手法BのEAR(小さいほど閉眼)、およびそれぞれのしきい値である。しきい値はいずれも固定値ではなく直近の履歴から求めた動的な値なので、姿勢を変えるとしきい値も動く。手法Aのしきい値は基準値と 1.0 の間に必ず収まる仕組みなので 1.000 を超えることはないが、基準値が上がればしきい値も上がり、浅い瞬目は計数されにくくなる。なお計測開始直後の15フレームは基準値を作るための蓄積期間であり、しきい値欄には「算出前」と表示され、この間の瞬目は計数されない。4行目のPERCLOSは移動窓の中での閉眼時間率であり、長い閉眼が増えると上がる。回数とは別の量である点に注意する。

集計結果では、まず顔検出失敗の割合と時間分解能を確認する。ここが悪い回のデータは、以降の数値を解釈しても意味がない。次に手法A・Bの回数と一致度を見る。一致度は Dice 係数と呼ばれる指標で、±0.5秒以内に対応がとれた瞬目の数を M、各手法の回数を Na・Nb として 2M/(Na+Nb) と定義され、1に近いほど両手法が同じ瞬目を捉えていることを示す。区間は総時間を区間長で割った個数に丸めて分割し、端数は最終区間に吸収させるため、最終区間だけが指定値のおよそ0.5〜1.5倍の長さになる(総時間が区間長の半分に満たないときは全体が1区間になる)。相関係数 r は区間が2つ以上のときに算出され、−1から+1の値をとり、正なら時間とともに増加、負なら減少の傾向を示す。全区間で頻度が完全に同一の場合は nan(値なし)と表示される。

参考として、安静時の自発性瞬目(無意識に起こるまばたき)は一般に毎分15〜20回程度、画面注視や読書などの視覚課題の最中はそれより低下すると報告されている。自分の測定値が桁違いであれば、まずしきい値の設定か顔検出の失敗を疑うとよい。

9. ヒントと考察ポイント

ヒント

実験のバリエーション

考察ポイント