瞳孔・虹彩・脈波のリアルタイム計測
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
本資料とコードの作成にAIを使用。参考プロンプト: prompt.txt (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)
このプログラムの理念と目的
本プログラムは、Web カメラの映像または動画ファイルから、右眼と左眼それぞれの眼球運動・瞬目・瞳孔の大きさ、および頭部の姿勢を計測するツールである。結果は画面に表示し、CSV ファイルに記録する。「右眼」「左眼」は被験者から見た左右である。動作環境は Windows であり、GPU がなくても CPU だけで動作する。
眼球運動や瞳孔の計測には、通常は専用のアイトラッカーが必要である。本プログラムの目的は、一般的な Web カメラだけで、眼球運動と瞳孔反応のおおよその傾向を調べられるようにすることである。計測値の多くは仮定にもとづく推定値であるため、医療や診断には用いてはならない。時刻はすべて、計測開始(処理した最初のフレーム)からの経過時間 [s] で表す。
特徴
- 2 種類の学習済み AI モデルを組み合わせている。MediaPipe Face Landmarker で顔と虹彩の特徴点(ランドマーク)を求め、PupilSense(Islam & Bae, 2024)の Mask R-CNN で瞳孔と虹彩の領域を分割する。
- 頭部の向きを 3 次元で補正する。眼の開き具合を表す EAR(眼裂縦横比)と眼球回転角は、頭部に固定した座標系(頭部座標系)で求める。
- 値を求めなかった理由と計算過程を示す。根拠のない数値は出さず、値を求めなかった理由を画面に表示し、CSV に記録する。「計算の内訳」タブでは、中間結果と算出式を確認できる。
- 入力の種類で処理方針が変わる。カメラでは映像を止めないことを優先し、瞳孔推定はその時点の最新フレームに対して別スレッドで行う。動画では正確さを優先し、全フレームについて瞳孔推定の完了を待つ。
- 用意できない機能は使わずに計測を続ける。モデルを用意できない場合は、理由を状態表示に示し、その機能を使わずに計測を続ける(代わりの簡易な処理には切り替えない)。たとえば Mask R-CNN の学習済みパラメータをダウンロード・展開できない場合は「瞳孔推定 なし」となり、次回の起動時にダウンロードし直す。読み込みに失敗した場合も「瞳孔推定 なし」となり、状態表示に示したファイルを削除して再起動するとダウンロードし直す。ただし、MediaPipe Face Landmarker のモデルはすべての計測に必要なため、ダウンロードできない場合は計測を開始できない。計測中に例外が起きても、記録ファイルは必ず閉じる。
計測する量(目的の量)
CSV の列名の * には、右眼なら R、左眼なら L が入る。事象ファイルは、瞬目などの事象を 1 行ずつ記録する CSV(eye_events_*.csv)である。
| 量 | 定義 | 単位 | CSV の列 |
|---|---|---|---|
| 頭部姿勢角 | カメラ座標系に対するヨー(正は被験者の左)、ピッチ(正は上)、ロール(正は被験者の左肩側への傾き)。頭部姿勢が無効なフレームでも記録し(head_valid = 0)、画面では「参考値」と表示する | deg | head_yaw_deg ほか |
| 顔までの距離 | カメラの光学中心から、剛体とみなす顔の 50 点の重心までの距離。可視虹彩径を 11.7 mm と仮定し、水平画角を仮定した推定値 | mm | head_dist_mm |
| 眼球回転角 | 頭部座標系での Fick 角(水平に回してから垂直に回す順で表した角度。水平は正が被験者の左、垂直は正が上)。レンズを見つめて行う校正の前は眼球の光軸、校正の後は視軸の推定値。平滑化の前と後の両方を記録する。平滑化には One Euro Filter(変化が速いほど平滑化を弱める低域通過フィルタ)を用いる | deg | *_eye_rot_h_deg ほか |
| 虹彩の見かけの長径 | 虹彩輪郭の 4 点の間の最大距離(*_iris_d_px は平滑化後、*_iris_d_px_raw は平滑化前) | px | *_iris_d_px, *_iris_d_px_raw |
| 眼球角速さ | 連続フレーム間の眼球方向の角距離 ÷ 時間。平滑化前の角度から求めた値(フレーム間隔 0.1 s 以下の場合だけ求める)と、平滑化後の角度から求めた値に指数移動平均(係数 0.5)をかけた値 | deg/s | *_eye_ang_speed_* |
| EAR | (|p2−p6| + |p3−p5|) / (2|p1−p4|)。p1・p4 は眼角、p2・p3 は上眼瞼、p6・p5 は下眼瞼の点。顔の向きによる見かけの短縮を除くため、頭部の前額面に正射影した点で求める | 無次元 | *_ear |
| eyeBlink 係数 | MediaPipe の表情係数(0〜1)。較正された閉眼率ではない | 無次元 | *_eye_blink_bs |
| 瞬目の開始・終了時刻 | EAR が「0.75 × 基準値」未満になった時刻と、「0.85 × 基準値」以上に戻った時刻(線形補間)。基準値は片眼ごとの開眼時の EAR の中央値 | s | 事象ファイル |
| サッカード候補の開始・終了時刻 | 眼球の角速度から検出したサッカード(急速な眼球運動)の候補について、サッカード方向の変位が 10 %・90 % に達した時刻 | s | 事象ファイル、saccade_candidate |
| 瞳孔検出枠の中心・幅 | Mask R-CNN の瞳孔検出枠(カメラ画像座標、鏡像にしない) | px | *_pupil_x, *_pupil_y, *_pupil_box_w_px |
| 瞳孔虹彩径比 | 瞳孔検出枠の幅 ÷ 虹彩検出枠の幅。虹彩の検出が採用されない場合は求めない | 無次元 | *_pupil_iris_ratio |
付随して記録する量は次のとおりである。
- 虹彩中心 [px]、視線方向ベクトル(カメラ座標系)、開閉眼の判定(open)、瞬目の累積回数(blinks)
- 瞳孔径の換算値(瞳孔虹彩径比 × 11.7 mm)、虹彩検出枠の幅、瞳孔・虹彩の分類スコアの最高値(pupil_best_score, iris_best_score)、瞳孔推定の処理時間(latency_ms)
- 頭部の位置 [mm]・頭部の回転角速さ [deg/s]
- 値を求めなかった理由(head_status, R_status, L_status)
- 顔の皮膚の RGB 平均、脈拍数の推定値・SNR(pulse_rate_bpm, pulse_snr_db)
- フレームの通し番号(frame_seq)、直前に処理したフレームとの間で処理しなかったフレーム数(dropped_before)
- カメラ入力の場合だけ、取得日時(capture_datetime)。これは grab() 直後のパソコンの時刻であり、露光の時刻ではない。
事象ファイルでは、サッカード候補について、振幅・方向(0° は被験者の左、90° は上)・継続時間・ピーク角速さ・検出に用いた角速さの最大値・事象付近の標本化周波数も記録する。継続時間とピーク角速さは、標本化周波数が低いと正しく求まらない。そのため、継続時間は標本間隔が主系列の継続時間(振幅から決まるサッカードの継続時間。2.2 × 振幅 [deg] + 21 ms)の 1/4 以下の場合だけ、ピーク角速さは標本化周波数が 200 Hz 以上の場合だけ記録し、それ以外は空欄にする。
機能概要
処理はフレームごとに次の順序で行われる。
- 顔のランドマーク検出(478 点と表情係数)
- 頭部姿勢の推定
- 眼ごとの解析(EAR・瞬目・眼球回転角)
- サッカード候補の判定(瞬目の開始前の標本を遡って除くため、0.25 s 以上遅れて判定する)
- 脈波の推定
- 瞳孔の推定(別スレッド)
- 表示と記録
頭部姿勢
計測開始直後、両眼の虹彩が検出された 20 フレームで顔の基準形状を作る。この間は、顔の特徴点から直接つくった座標系で姿勢を求める。以後は、剛体とみなす顔の 50 点を Kabsch 法(2 つの点群を最小二乗で重ねる回転と平行移動を求める方法)で基準形状に当てはめる。奥行きの尺度は、基準形状の取得中は虹彩の見かけの大きさから可視虹彩径を 11.7 mm と仮定して求め、以後は基準形状に対する顔全体の見かけの尺度(Umeyama 法)から求める。
眼球回転角
半径 12 mm の球形眼球モデルを用いる。虹彩の半径を 5.85 mm(可視虹彩径 11.7 mm の半分)とすると、眼球中心から虹彩面までの距離は、三平方の定理により √(12² − 5.85²) ≈ 10.48 mm となる。眼角を結ぶ面は虹彩面の約 6 mm 後方にあると仮定し、眼球中心は左右の眼角の中点から頭部の後方へ約 4.48 mm(10.48 − 6 mm)の位置に置く。虹彩中心は、カメラから虹彩中心へ向かう光線と、眼球中心を中心とする半径 10.48 mm の球面との交点(カメラ側)として求める。眼球中心から虹彩中心への方向を頭部座標系の Fick 角で表したものが、眼球回転角である。次のいずれかに当てはまる場合は、値を求めない。
- 頭部前後軸とカメラ光軸のなす角が 60° 以上
- 剛体当てはめの残差が 8 mm 以上
- 光線が球面と交わらない
- 虹彩の見かけの長径が、眼裂幅の 20〜95 % の範囲外、3 px 以下、または画像幅の 25 % 以上
- 閉眼と判定された
- 基準形状の取得中に、両眼の虹彩が検出されない
60° と 8 mm は設計値であり、実測で検証した値ではない。
瞬目
閉眼・開眼は、片眼ごとの開眼時の EAR の基準値に対する比で判定する。EAR が「0.75 × 基準値」未満になると閉眼、「0.85 × 基準値」以上に戻ると開眼と判定する。基準値は、開眼状態の直近 300 標本の EAR の中央値(10 標本ごとに更新)であり、最初の 15 標本で基準値が決まるまでは判定しない。EAR の絶対値のしきい値を用いないのは、開眼時の EAR が人と視線の上下で異なり、30 fps では瞬目の途中の部分閉眼のフレームしか得られないことが多いためである。閉眼が 0.9 s を超えて続く場合は、視線を下げたときなどの眼裂の持続的な縮小もありうるので、その標本も基準値に加えて追従させる。
閉眼から開眼までの持続時間が 0.04〜0.9 s のものを瞬目として数える。ただし、直前の瞬目の終了から 0.12 s 以内に始まったもの(不応期)は数えない。0.9 s を超える閉眼は長い閉眼(long_closure)として記録する。顔が検出されないなどで解析が 0.5 s を超えて途切れた場合、その途切れをまたぐ瞬目は数えない。
サッカード候補
Engbert & Kliegl(2003)の速度閾値法(楕円閾値)を、両眼平均の、平滑化前の眼球回転角に適用する。
- 角速度:各標本の前後 m 標本ずつ(計 2m + 1 標本)に当てはめた最小二乗直線の傾きを、角速度 (v_h, v_v) とする。v_h には cos(垂直角) を掛け、球面上の角速度にする。m は実測の標本化周波数から決め、窓の時間幅が 100 ms 以下になる最大の値とする。ただし、5 標本の窓が 150 ms 以下に収まる約 27 Hz 以上では 5 標本以上とする。窓の標本数は、15〜25 Hz で 3、30〜50 Hz で 5、60 Hz で 7 である。
- しきい値:水平・垂直の成分ごとに、直近 200 標本の角速度から中央値基準の標準偏差 √(median(v²) − median(v)²) を求め、その 6 倍(λ = 6)を楕円の半径 η とする。標準偏差は、楕円の外にある標本を除いて推定し直すことを、除く標本が変わらなくなるまで繰り返して求める(Nyström & Holmqvist, 2010)。η の下限は、振幅 2° の階段状の変位が雑音なしで与える傾きの最大値の半分(0.5 × 1.5 × 2° ÷ (窓の標本数 × 標本間隔))とする。
- 候補区間:(v_h/η_h)² + (v_v/η_v)² > 1 の標本を候補の標本とする。候補の標本どうしの間隔が 100 ms 未満であれば同じ区間とみなし、候補の標本を 2 個以上含む区間を候補とする。連続する 2 つのサッカードが 1 つの区間につながった場合は、角速さの谷が両側の最大値の小さい方の 0.5 倍未満になる箇所で区間を分ける。
- 振幅:区間の前と後のそれぞれ 100 ms の位置の中央値の間の角距離とする。
次のものは判定に用いないか、棄却する。
- 顔が検出されないフレーム、およびどちらかの眼について閉眼と判定された・虹彩が検出されない・eyeBlink 係数が 0.5 以上のフレームの、0.10 s 前から 0.12 s 後までの標本(判定に用いない)
- 振幅 2° 未満の候補(棄却)
- 区間とその前後 100 ms の頭部の回転角速さが 150 deg/s を超える候補(棄却)
λ = 6 は原法の値である。それ以外の値(窓の時間幅、判定に用いない時間、最小振幅、頭部の回転角速さの上限、区間を分ける比)は設計値であり、実測で検証した値ではない。原法は、片眼ごとに検出して両眼で重なるものを採り、等間隔の 5 点差分を用い、試行全体からしきい値を求める。本プログラムは、両眼平均に 1 回適用し、不規則な標本間隔に対応する最小二乗直線の傾きを用い、しきい値を逐次求める。そのため、結果は原法と直接比較できない。速度による判定であり、サッカードの確定ではない。
合成データで確認した再現率は次のとおりである。条件は、30 fps、注視の持続時間 0.3〜0.6 s、サッカードの軌道は最小ジャーク軌道(加速と減速が滑らかな軌道)で継続時間は主系列の継続時間、片眼ごとに独立な視線雑音の標準偏差 0.7° である。再現率は、振幅 3° で約 73 %、4° 以上でほぼ 100 %、2° で約 7 %、1° でほぼ 0 % であった。雑音だけの入力での誤検出は、ほぼ 0 回/分であった。両眼に共通の雑音(頭部姿勢の誤差など)が 0.7° ある場合は、両眼平均で雑音が減らないため、再現率は振幅 3° で約 10 %、4° で約 66 %、5° で約 98 % に下がる。
瞳孔
眼領域は、著者のデータ収集アプリ FacePsy と同じ規則で切り出す。すなわち、左右の眼角と上下眼瞼縁の中央を囲む矩形に、眼裂幅の 12.5 % の余白を加えた範囲である。瞳孔と虹彩のそれぞれについて、分類スコアが最高の検出を、その分類スコアがしきい値(既定 0.90)を超えた場合だけ採用する。
脈波(参考値)
額と両頬の RGB 平均を 30 Hz に再標本化し、POS 法(肌色の時間変化から脈波を取り出す方法。窓 1.6 s)で脈波を求める。脈拍数は、観測窓 12 s のパワースペクトルの 0.7〜3.5 Hz(42〜210 bpm)にある最大ピークの周波数 f0 × 60 である。推定は、顔が連続 8 s 以上検出されてから始め、0.5 s ごとに更新する。それまでは、顔が連続して検出された秒数を表示する。顔が検出されない場合、または顔の検出が 0.5 s を超えて途切れた場合は、それまでの記録を捨てて取り直す。
SNR は、f0 ±0.1 Hz と 2f0 ±0.2 Hz の電力と、0.5〜4 Hz のうちそれ以外の電力の比 [dB] である。推定したピークを基準にするため、雑音だけでも正の値に偏る。次のいずれかに当てはまる場合は「信号品質が低い」と表示する。
- SNR が 0 dB 以下
- 最大ピークが探索範囲の端にある
取得間隔から求めた標本化周波数が 7 Hz(探索範囲の上限 3.5 Hz の 2 倍)未満の場合は、推定しない。
画面の操作項目とその意味
開始と停止(カメラ/動画ファイル/デモ動画、停止)
- カメラ:DirectShow で開き、300 → 120 → 60 → 30 fps の各段階について 1920×1080 → 1280×720 → 640×480 を要求し、実際に取得してフレームレートを実測する。実測フレームレートが最高値の 90 % 以上のモードのうち、画素数が最大のものを使う。確認には十数秒〜数十秒かかり、その間の進み具合を状態表示に示す。DirectShow でどのモードも取得できない場合は開始しない(露出を固定できない方式には切り替えない)。
- 準備中の操作:入力の準備中は、別の開始操作を受け付けない。準備中に「停止」を押すと、準備が終わりしだい閉じる。
- 開始時の鏡像表示:カメラでは有効、動画では無効になる。
- デモ動画:初回に自動でダウンロードする。
- 開始できない場合:理由を状態表示に示す。
露出指数(選択式。「フレームレートに合わせる」、−3〜−9)
露出指数 x は、露光時間 ≈ 2^x sとなる値である(対応は機種で異なる)。自動露出は、暗いと露光時間を 1 フレーム間隔より長くしてフレームレートを下げるため用いない。既定の「フレームレートに合わせる」は、1 フレーム間隔に収まる最長の露光時間を選ぶ(x = floor(log2(1/fps))。30 fps なら −5)。設定後にフレームレートを実測し直し、元の 90 % 未満に下がる場合は 1 段ずつ短くする(最大 4 回)。数値を選ぶと、その値で固定する。画像が暗い場合は、露出を長くするより照明を明るくする。
校正(C)/校正の解除(X)
押してから終わるまで(約 2 s)、被験者はレンズを見つめる。基準形状の取り直し(20 フレーム)のあと、1.5 s 以上かつ各眼 15 標本以上から、眼ごとの回転補正を求める。注視が不安定な場合は、標本を自動的に取り直す。この補正は、光軸と視軸のずれ(κ 角)に加えて、眼球モデルの系統誤差もまとめて吸収する。1 点だけの校正なので、注視方向によって変わる誤差は補正されない。
鏡像表示
表示だけを鏡像にする項目である。計測値と記録は鏡像にしない。
負荷の大きい処理
瞳孔推定とグラフの描画は、計測中にいつでも入り切りできる。切ると処理のフレームレートが上がる。グラフの描画を切っても、計測値の計算と記録は続く。
可視化
カメラ画像の重ね描きと眼の画像の表示を入り切りできる。計算・記録・画面の保存には影響しない。
分類スコアのしきい値(0.50〜0.99、既定 0.90)
値を下げると瞳孔が検出されやすくなるが、誤検出が増える。しきい値未満でも、各クラスの分類スコアの最高値は記録する。
カメラの水平画角(40〜120°、既定 62°)
焦点距離の計算に用い、距離と角度に影響する。変更すると基準形状を取り直し、校正を解除する。対角画角 D から換算する場合(16:9)は、水平画角 = 2·atan(tan(D/2)·16/√(16²+9²)) である。
表示
標準(縦 768 画素)と 4K(画像と文字を 2 倍)を切り替える。
画面の保存
重ね描きを含むカメラ画像を、鏡像にせず PNG で eye_logs フォルダに保存する。
画面の表示
画面には「計測」「計算の内訳」「ヘルプ(説明)」の 3 つのタブがある。
グラフ(7 段、直近 10 s、右眼は橙・左眼は青)
- 水平回転角(−35〜+35°)
- 垂直回転角(−25〜+25°)
- 眼球角速さ(片眼ごと、平滑化前、0〜300 deg/s)。サッカード候補の判定に使う角速度(両眼平均の最小二乗直線の傾き)とは別の量なので、しきい値の線は引かない。
- EAR(0〜0.45)。点線は両眼それぞれの閉眼のしきい値(0.75 × 基準値)で、基準値の更新に応じて動く。
- eyeBlink 係数(0〜1)
- 瞳孔虹彩径比(0.1〜0.8、推定ごとの点)
- 脈波(標準化、−3〜+3、緑は品質良・灰は品質低)
瞬目は灰色、サッカード候補は赤の半透明の帯で、全段に重ねて表示する。進行中の閉眼と判定中のサッカード候補は、仮の帯として描く。
カメラ画像の重ね描き
- 灰:眼裂の輪郭
- 緑の円:虹彩
- 桃の円:瞳孔検出枠の幅を直径とする円。0.5 s より古い結果は、現在の虹彩に当てはめて細線で描く。
- 矢印:推定した視線方向(右眼は橙、左眼は青)
- 黄:脈波に用いる皮膚領域
眼の画像
Mask R-CNN に入力した眼領域に、採用された虹彩(緑)と瞳孔(桃)の分割マスク、および瞳孔の円を重ねて表示する。
計算の内訳タブ
中間結果と算出式を約 0.3 s ごとに更新する。文字を選択している間は更新を止める。
状態表示
カメラの実測フレームレート・解像度・方式・露出、処理のフレームレート、処理しなかったフレーム数、瞳孔推定とグラフの描画の状態、記録ファイル名を示す。動画では処理したフレーム数を示し、最後まで処理すると「全フレームの解析を完了」と示す(公称フレーム数より少なく終わった場合は、動画の破損などの可能性を示す)。カメラから新しいフレームが 2 s 以上届かない場合は、そのことを先頭に示す。
出力ファイル(eye_logs フォルダ、UTF-8(BOM 付き))
- eye_年月日_時分秒.csv:フレームごとに 1 行である。saccade_candidate は、サッカード候補の開始時刻以前の最後の行から、終了時刻以後の最初の行までが 1 になる。この値を後から書き込むため、行の書き出しは約 1.75 s 遅れる。列は列名で読むこと。
- eye_events_年月日_時分秒.csv:列は event(blink、long_closure、saccade_candidate)、eye(R、L、両眼は RL)、start_s、end_s、duration_ms、amplitude_deg、direction_deg、peak_speed_deg_s、vmax_filt_deg_s(検出に用いた角速さの最大値)、fs_hz(事象付近の標本化周波数)の 10 個である。計測終了の時点でまだ続いていた閉眼は記録しない。サッカード候補は、計測終了の時点で判定待ちの標本も判定し、継続中の候補区間も確定して記録する。ただし、最後の数標本は角速度を求める窓がそろわないため判定しない。
- eye_meta_年月日_時分秒.txt:入力、時刻の基準、露出、水平画角、分類スコアのしきい値の開始時の値、Mask R-CNN の実行装置、ライブラリの版を記録する。
- 時刻の求め方:カメラでは grab() 直後の時刻から求める。動画では各フレームの表示時刻(PTS、OpenCV の FFmpeg 方式の CAP_PROP_POS_MSEC)を用い、最初のフレームを 0 とする。公称フレームレートからの換算はしないので、可変フレームレートの動画でも時刻はずれない。表示時刻が単調に増えない動画(時刻が記録されていない、または壊れている)は、推測した時刻で埋めず、そのフレームで解析を止めて理由を状態表示に示す。
使用技術(AI関連)
MediaPipe Face Landmarker
478 点のランドマークと表情係数を出力するモデルである。虹彩の手法は Ablavatski ら(2020)である。初回に自動でダウンロードする。
PupilSense の Mask R-CNN
Islam & Bae(ABC 2024)による、ResNet-50-FPN の瞳孔・虹彩の領域分割モデルである。Android スマートフォンの前面カメラで撮った可視光の眼画像(2 名、909 枚)で微調整されている。学習済みパラメータは models.zip(約 313 MB、MIT License。detectron2 の COCO 学習済み重み(CC BY-SA 3.0)から微調整されている)として配布されており、初回に自動でダウンロードする。論文が報告する分割の性能(IoU 0.50〜0.95 で平均)は、瞳孔が適合率 35.1 %・再現率 43.4 %、虹彩が適合率 75 %・再現率 78.6 % であり、瞳孔の分割は虹彩より精度が低い。
その他
Kabsch 法、Umeyama 法、EAR(Soukupová & Čech, 2016)、Engbert & Kliegl(2003)、Nyström & Holmqvist(2010)、サッカードの主系列(Carpenter, 1988)、One Euro Filter(Casiez ら, 2012)、POS 法(Wang ら, 2017)、脈波の SNR(de Haan & Jeanne, 2013)を用いている。可視虹彩径の個人差は Rüfer ら(2005)の値による。
実行上の注意点
- ネットワーク接続:初回は約 313 MB のダウンロードがあるため、ネットワーク接続が必要である。ダウンロードできない機能は使わずに計測を続け、次回の起動時にダウンロードし直す。ダウンロードが終わるまで、瞳孔推定は「準備中」となる(その間もほかの計測は続く)。
- 瞳孔が検出されにくい場合:主な原因は、Web カメラ画像では眼裂幅が数十 px(1280×720、水平画角 62°、距離 60 cm で約 50 px)と小さいこと(学習画像は約 160 px)と、可視光の画像では瞳孔と虹彩の明るさの差が小さい(特に虹彩の色が濃い場合)ことである。pupil_best_score を確認したうえで、次の順に試す。
- カメラに近づく
- 顔を明るく照らす
- 分類スコアのしきい値を下げる(誤検出が増える)
- GPU がない場合:瞳孔推定 1 回(両眼分)に数秒かかる。カメラでは瞳孔推定が間引かれるが、ほかの計測は続く。
- 瞳孔径の換算値 [mm]:可視虹彩径を一律に 11.7 mm と仮定しているため、個人差(約 3.6 %)の分の誤差を含む。換算値は瞳孔虹彩径比の定数倍であり、瞳孔虹彩径比を超える情報は持たない。著者は、10 s の撮影セッションの画像ごとに瞳孔虹彩径比 0.2〜0.7 の範囲外の推定を除き、瞳孔半径と虹彩半径をそれぞれ平均してその比を求めた。本プログラムはフレームごとに瞳孔虹彩径比を求め、範囲による除外もしない。
- eyeBlink 係数の左右:MediaPipe の公式の説明では、*Left・*Right は被験者の顔の左右に対応する(鏡像にした画像を入力すると逆になる)。片眼を閉じて対応を確認し、逆であれば、コードの BLINK_BS の左右を入れ替える。
- 脈拍数:参考値である。照明の変化、体の動き、映像圧縮の影響を受けやすいため、SNR が低い場合は信用してはならない。
- exe 化:
pyinstaller --onefile --clean --noconfirm --windowed --collect-all mediapipe pupil_iris.pyで作成する。モデル・デモ動画・記録は exe と同じフォルダに保存する。
exeファイルの作成手順
cd /d c:\users\user\proj\pupil_iris
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy torch torchvision tensorboard mediapipe opencv-contrib-python pillow
pyinstaller --onefile --clean --noconfirm --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python --collect-all PIL --collect-all torch --collect-all torchvision --collect-all tensorboard pupil_iris.py
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
ソースコード実行のための前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
以下を実行する。
REM インストール
set "CUDA_TAG=cu128"
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install --no-user -U numpy torch torchvision --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user mediapipe opencv-contrib-python pillow
ソースコード
保存し、Visual Studio Code などで実行する。