カメラ映像を用いた視線方向・サッカード・頭部姿勢推定ツール

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成

本資料とコードの作成にAIを使用。

目的

文章を読んでいる人の両眼の視線方向、サッカード(衝動性眼球運動)、瞬目を、赤外線照明を用いない市販のウェブカメラで計測し、CSV ファイルに記録する Windows 用の実験ツールである。カメラ 1 台で計測できる。チェスボードで較正した 2 台のカメラで計測する方式(以下、2 カメラ計測)では、視線方向の誤差が小さくなり、計測できる頭部の向きの範囲が広がる。

ウェブカメラは、フレームレートが通常 30〜60 fps と低く、視線方向の測定雑音も大きい。このため、検出できるサッカードは振幅が数度以上のものに限られる。黙読時の行内のサッカード(平均約 2°)を 1 回ずつ検出する用途には適さない。適するのは、改行時の大きな戻り、逆行(読み戻し)、行ごとの注視位置、瞬目、眼球運動の総量を指標とする用途である。

計測の原理

以下で、右眼・左眼は被験者自身の右眼・左眼を指す。フレームはカメラまたは動画の 1 枚の画像を、標本は解析した 1 フレームから得た値の組を指す。標本化周波数は、解析した標本の 1 秒あたりの数である。

視線方向

MediaPipe Face Landmarker(Google の学習済みモデル)で、顔画像から虹彩を含む 478 点の 3 次元の特徴点を推定する。表情でほとんど動かない約 50 点(額、鼻、目尻、頬骨など)を、本人の頭部の基準形状に Kabsch 法で重ね、頭部の 3 次元の姿勢を求める。頭部の基準形状は、20 フレームの特徴点の平均から作る。

眼球は半径 12 mm の球と仮定し、目尻と目頭の中点の約 4.5 mm 後方に眼球中心を置く。虹彩中心は、画像上の虹彩中心を通るカメラの光線と、眼球中心から 10.48 mm の球面との交点とする(10.48 mm は、眼球の半径と虹彩の半径 5.85 mm から三平方の定理で求めた値)。視線方向は眼球中心から虹彩中心へ向かう方向であり、眼球の光軸の推定値である。光軸は、実際に見ている方向(視軸)から数度ずれている(このずれを κ角という)。

視線方向は、頭部に固定した座標系の Fick 角で表す。水平角は鉛直軸まわりの回転で、正が被験者の左(画像の右)である。垂直角はその後の水平軸まわりの回転で、正が上である。この値は頭部に対する眼球の向きなので、頭部が回転すると、同じ文字を見ていても値が変わる。

較正と検証

カメラのレンズを注視したときの正しい視線方向は、眼球中心からレンズへ向かう方向(以下、レンズ方向)である。較正では、カメラのレンズを注視している間の推定した視線方向をレンズ方向へ重ねる回転を、眼ごとに求め、以後の視線方向に適用する。補正できるのは、κ角など、視線方向によらない一定の偏りだけである。視線方向によって変わる誤差(角度の倍率の誤差など)は補正できない。

検証では、カメラのレンズを注視している間の次の量を求める。

瞬目

まぶたの開き具合は EAR(Eye Aspect Ratio、Soukupová & Čech, 2016)で表す。EAR は、上まぶたと下まぶたの距離(2 組の平均)を、目尻と目頭の距離で割った値で、眼を閉じると小さくなる。

片眼ごとの瞬目は、頭部の前額面に投影した特徴点で求めた EAR で判定する。EAR が「0.75 × 基準値」を下回った時刻を開始、「0.85 × 基準値」以上に戻った時刻を終了とする(前後の標本から線形補間)。基準値は、その眼の開眼時の直近 300 標本の EAR の中央値である。EAR の固定の値ではなく基準値との比で判定するのは、開眼時の EAR が人と視線の上下で異なり、30 fps では瞬目の最も閉じた瞬間が写らないことが多いためである。持続 0.04〜0.9 秒を瞬目とし(直前の瞬目の終了から 0.12 秒以内は数えない)、0.9 秒を超える閉眼は長い閉眼とする。

瞬目中は虹彩の特徴点が動き、見かけのサッカードが生じる。そこで、次の 2 つの区間を、開始の 0.10 秒前から終了の 0.12 秒後まで、サッカード検出から除外する。

サッカードの判定は 0.25 秒以上遅れて確定するので、瞬目が始まる直前の標本も遡ってサッカード検出から除外できる。

サッカードの検出

Engbert & Kliegl (2003) の速度閾値法を、両眼平均の視線方向に適用する。サッカードでは両眼が同じ方向に動き、測定雑音は両眼で独立とみなせるので、両眼を平均すると測定雑音が相対的に小さくなる。以下で、角速度は水平・垂直の 2 成分をもつ量、角速さはその大きさを指す。

  1. 角速度:各標本の前後 m 標本ずつ(計 2m + 1 標本)に当てはめた最小二乗直線の傾き(1 次の Savitzky–Golay 微分)とする。標本の間隔が不規則でも求まる。窓の標本数は、窓の時間幅が 100 ms(注視の最小持続時間。Manor & Gordon, 2003)以下になるように、実測の標本化周波数から決める。15〜25 Hz で 3 標本、30〜50 Hz で 5 標本、60 Hz で 7 標本、120 Hz で 13 標本である。
  2. 速度閾値:角速度の水平・垂直の成分のそれぞれについて、直近 200 標本の角速度のばらつき(中央値を基準とする標準偏差)の λ 倍を速度閾値とする。両成分をそれぞれの速度閾値で割った点が単位円の外側にある標本を、候補の標本とする(楕円閾値)。角速度のばらつきは、速度閾値を超えた標本を除いて推定し直すことを繰り返して求める(Nyström & Holmqvist, 2010 に倣う)。サッカードが続く読解では、サッカード中の角速度が混じって速度閾値が上がり、検出漏れが起きるためである。
  3. 候補区間と振幅:候補の標本が続く区間を候補区間とする。平滑化で 1 つにつながった連続サッカードは、角速さの谷で 2 つの候補区間に分ける。振幅は、候補区間の前と後それぞれ 100 ms 分の標本の位置の中央値のなす角である。開始・終了時刻は、サッカード方向の変位が 10 %・90 % に達した時刻である。棄却されなかった候補区間をサッカードとする(棄却の条件は「入力と処理の流れ」に示す)。
  4. 継続時間とピーク角速度:サッカードの継続時間は、振幅 A [°] に対しておよそ 2.2·A + 21 ms である(主系列。Carpenter, 1988)。30 Hz の標本間隔 33 ms は、振幅 5° 以下のサッカードの継続時間より長い。このとき継続時間とピーク角速度は求まらない。そこで、ピーク角速度は標本化周波数が 200 Hz 以上の場合だけ、継続時間(変位 10〜90 % の時間)は標本間隔が主系列の継続時間の 1/4 以下の場合だけ記録し、それ以外は空欄にする。

入力と処理の流れ

入力は次の 3 種類から選ぶ。

各フレームは次の順に処理する。

  1. 特徴点の推定。複数の顔が写っている場合は、計測する 1 人(以下、主対象)を選ぶ。顔は最大 4 人まで検出し、最も大きく写っている人を主対象とする。
  2. 頭部姿勢とカメラから顔までの距離の推定。頭部の基準形状は、追跡開始時、較正時、主対象の交替時に作る。頭部の基準形状を作るときのカメラから顔までの距離は、虹彩の水平径を 11.7 mm と仮定して、その見かけの大きさから求める。以後のカメラから顔までの距離は、頭部の基準形状に対する顔全体の見かけの大きさから求める。2 カメラ計測では、頭部の基準形状を 2 台のカメラの画像から三角測量で求めるので、虹彩の水平径の仮定を用いない。
  3. 視線方向の推定と、較正による補正
  4. 瞬目の判定と、瞬目区間・閉眼区間のサッカード検出からの除外
  5. サッカードの検出
  6. 表示と、記録中であれば CSV ファイルへの書き出し

次の標本はサッカード検出から除外する。

次の候補区間は棄却する。

記録ファイル

プログラムと同じフォルダの gaze_logs フォルダに、次の 2 種類の CSV ファイル(UTF-8)を保存する。値が得られない欄は空欄になる。

時刻は 2 種類で記録する。t_s は計測開始からの秒である。unix_s は、カメラ入力では Unix 時刻であり、刺激提示ソフトウェアなど他のソフトウェアの記録と照合できる。動画入力では撮影時の実時刻が分からないので、unix_s は空欄にする。

画面操作およびキー操作

起動画面(「開始」タブ。「ヘルプ」タブに操作手順、計算方法、記録ファイルの列、ライセンスを記載)

計測画面(「計測」「集計」「ヘルプ」のタブ)

キー操作(大文字・小文字のどちらでもよい。同じ機能のボタンも画面にある)

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\gaze_saccade
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy mediapipe opencv-contrib-python
pyinstaller --onefile --clean --noconfirm  --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python gaze_saccade.py

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM MediaPipe 標準機能のインストール
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install -U --no-user numpy mediapipe opencv-contrib-python

ソースコード

保存し、Visual Studio Code などで実行する。