瞳孔・虹彩・脈波のリアルタイム計測

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

説明資料: [PDF], [PPTX] , [動画]

本資料とコードの作成にAIを使用。参考プロンプト: prompt.txt (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)

このプログラムの理念と目的

本プログラムは、Web カメラの映像または動画ファイルから、右眼と左眼それぞれの眼球運動・瞬目・瞳孔の大きさ、および頭部の姿勢を計測するツールである。結果は画面に表示し、CSV ファイルに記録する。「右眼」「左眼」は被験者から見た左右である。動作環境は Windows であり、GPU がなくても CPU だけで動作する。

眼球運動や瞳孔の計測には、通常は専用のアイトラッカーが必要である。本プログラムの目的は、一般的な Web カメラだけで、眼球運動と瞳孔反応のおおよその傾向を調べられるようにすることである。計測値の多くは仮定にもとづく推定値であるため、医療や診断には用いてはならない。時刻はすべて、計測開始(処理した最初のフレーム)からの経過時間 [s] で表す。

特徴

計測する量(目的の量)

CSV の列名の * には、右眼なら R、左眼なら L が入る。事象ファイルは、瞬目などの事象を 1 行ずつ記録する CSV(eye_events_*.csv)である。

量定義単位CSV の列
頭部姿勢角カメラ座標系に対するヨー(正は被験者の左)、ピッチ(正は上)、ロール(正は被験者の左肩側への傾き)。頭部姿勢が無効なフレームでも記録し(head_valid = 0)、画面では「参考値」と表示するdeghead_yaw_deg ほか
顔までの距離カメラの光学中心から、剛体とみなす顔の 50 点の重心までの距離。可視虹彩径を 11.7 mm と仮定し、水平画角を仮定した推定値mmhead_dist_mm
眼球回転角頭部座標系での Fick 角(水平に回してから垂直に回す順で表した角度。水平は正が被験者の左、垂直は正が上)。レンズを見つめて行う校正の前は眼球の光軸、校正の後は視軸の推定値。平滑化の前と後の両方を記録する。平滑化には One Euro Filter(変化が速いほど平滑化を弱める低域通過フィルタ)を用いるdeg*_eye_rot_h_deg ほか
虹彩の見かけの長径虹彩輪郭の 4 点の間の最大距離(*_iris_d_px は平滑化後、*_iris_d_px_raw は平滑化前)px*_iris_d_px, *_iris_d_px_raw
眼球角速さ連続フレーム間の眼球方向の角距離 ÷ 時間。平滑化前の角度から求めた値(フレーム間隔 0.1 s 以下の場合だけ求める)と、平滑化後の角度から求めた値に指数移動平均(係数 0.5)をかけた値deg/s*_eye_ang_speed_*
EAR(|p2−p6| + |p3−p5|) / (2|p1−p4|)。p1・p4 は眼角、p2・p3 は上眼瞼、p6・p5 は下眼瞼の点。顔の向きによる見かけの短縮を除くため、頭部の前額面に正射影した点で求める無次元*_ear
eyeBlink 係数MediaPipe の表情係数(0〜1)。較正された閉眼率ではない無次元*_eye_blink_bs
瞬目の開始・終了時刻EAR が「0.75 × 基準値」未満になった時刻と、「0.85 × 基準値」以上に戻った時刻(線形補間)。基準値は片眼ごとの開眼時の EAR の中央値s事象ファイル
サッカード候補の開始・終了時刻眼球の角速度から検出したサッカード(急速な眼球運動)の候補について、サッカード方向の変位が 10 %・90 % に達した時刻s事象ファイル、saccade_candidate
瞳孔検出枠の中心・幅Mask R-CNN の瞳孔検出枠(カメラ画像座標、鏡像にしない)px*_pupil_x, *_pupil_y, *_pupil_box_w_px
瞳孔虹彩径比瞳孔検出枠の幅 ÷ 虹彩検出枠の幅。虹彩の検出が採用されない場合は求めない無次元*_pupil_iris_ratio

付随して記録する量は次のとおりである。

事象ファイルでは、サッカード候補について、振幅・方向(0° は被験者の左、90° は上)・継続時間・ピーク角速さ・検出に用いた角速さの最大値・事象付近の標本化周波数も記録する。継続時間とピーク角速さは、標本化周波数が低いと正しく求まらない。そのため、継続時間は標本間隔が主系列の継続時間(振幅から決まるサッカードの継続時間。2.2 × 振幅 [deg] + 21 ms)の 1/4 以下の場合だけ、ピーク角速さは標本化周波数が 200 Hz 以上の場合だけ記録し、それ以外は空欄にする。

機能概要

処理はフレームごとに次の順序で行われる。

  1. 顔のランドマーク検出(478 点と表情係数)
  2. 頭部姿勢の推定
  3. 眼ごとの解析(EAR・瞬目・眼球回転角)
  4. サッカード候補の判定(瞬目の開始前の標本を遡って除くため、0.25 s 以上遅れて判定する)
  5. 脈波の推定
  6. 瞳孔の推定(別スレッド)
  7. 表示と記録

頭部姿勢

計測開始直後、両眼の虹彩が検出された 20 フレームで顔の基準形状を作る。この間は、顔の特徴点から直接つくった座標系で姿勢を求める。以後は、剛体とみなす顔の 50 点を Kabsch 法(2 つの点群を最小二乗で重ねる回転と平行移動を求める方法)で基準形状に当てはめる。奥行きの尺度は、基準形状の取得中は虹彩の見かけの大きさから可視虹彩径を 11.7 mm と仮定して求め、以後は基準形状に対する顔全体の見かけの尺度(Umeyama 法)から求める。

眼球回転角

半径 12 mm の球形眼球モデルを用いる。虹彩の半径を 5.85 mm(可視虹彩径 11.7 mm の半分)とすると、眼球中心から虹彩面までの距離は、三平方の定理により √(12² − 5.85²) ≈ 10.48 mm となる。眼角を結ぶ面は虹彩面の約 6 mm 後方にあると仮定し、眼球中心は左右の眼角の中点から頭部の後方へ約 4.48 mm(10.48 − 6 mm)の位置に置く。虹彩中心は、カメラから虹彩中心へ向かう光線と、眼球中心を中心とする半径 10.48 mm の球面との交点(カメラ側)として求める。眼球中心から虹彩中心への方向を頭部座標系の Fick 角で表したものが、眼球回転角である。次のいずれかに当てはまる場合は、値を求めない。

60° と 8 mm は設計値であり、実測で検証した値ではない。

瞬目

閉眼・開眼は、片眼ごとの開眼時の EAR の基準値に対する比で判定する。EAR が「0.75 × 基準値」未満になると閉眼、「0.85 × 基準値」以上に戻ると開眼と判定する。基準値は、開眼状態の直近 300 標本の EAR の中央値(10 標本ごとに更新)であり、最初の 15 標本で基準値が決まるまでは判定しない。EAR の絶対値のしきい値を用いないのは、開眼時の EAR が人と視線の上下で異なり、30 fps では瞬目の途中の部分閉眼のフレームしか得られないことが多いためである。閉眼が 0.9 s を超えて続く場合は、視線を下げたときなどの眼裂の持続的な縮小もありうるので、その標本も基準値に加えて追従させる。

閉眼から開眼までの持続時間が 0.04〜0.9 s のものを瞬目として数える。ただし、直前の瞬目の終了から 0.12 s 以内に始まったもの(不応期)は数えない。0.9 s を超える閉眼は長い閉眼(long_closure)として記録する。顔が検出されないなどで解析が 0.5 s を超えて途切れた場合、その途切れをまたぐ瞬目は数えない。

サッカード候補

Engbert & Kliegl(2003)の速度閾値法(楕円閾値)を、両眼平均の、平滑化前の眼球回転角に適用する。

  1. 角速度:各標本の前後 m 標本ずつ(計 2m + 1 標本)に当てはめた最小二乗直線の傾きを、角速度 (v_h, v_v) とする。v_h には cos(垂直角) を掛け、球面上の角速度にする。m は実測の標本化周波数から決め、窓の時間幅が 100 ms 以下になる最大の値とする。ただし、5 標本の窓が 150 ms 以下に収まる約 27 Hz 以上では 5 標本以上とする。窓の標本数は、15〜25 Hz で 3、30〜50 Hz で 5、60 Hz で 7 である。
  2. しきい値:水平・垂直の成分ごとに、直近 200 標本の角速度から中央値基準の標準偏差 √(median(v²) − median(v)²) を求め、その 6 倍(λ = 6)を楕円の半径 η とする。標準偏差は、楕円の外にある標本を除いて推定し直すことを、除く標本が変わらなくなるまで繰り返して求める(Nyström & Holmqvist, 2010)。η の下限は、振幅 2° の階段状の変位が雑音なしで与える傾きの最大値の半分(0.5 × 1.5 × 2° ÷ (窓の標本数 × 標本間隔))とする。
  3. 候補区間:(v_h/η_h)² + (v_v/η_v)² > 1 の標本を候補の標本とする。候補の標本どうしの間隔が 100 ms 未満であれば同じ区間とみなし、候補の標本を 2 個以上含む区間を候補とする。連続する 2 つのサッカードが 1 つの区間につながった場合は、角速さの谷が両側の最大値の小さい方の 0.5 倍未満になる箇所で区間を分ける。
  4. 振幅:区間の前と後のそれぞれ 100 ms の位置の中央値の間の角距離とする。

次のものは判定に用いないか、棄却する。

λ = 6 は原法の値である。それ以外の値(窓の時間幅、判定に用いない時間、最小振幅、頭部の回転角速さの上限、区間を分ける比)は設計値であり、実測で検証した値ではない。原法は、片眼ごとに検出して両眼で重なるものを採り、等間隔の 5 点差分を用い、試行全体からしきい値を求める。本プログラムは、両眼平均に 1 回適用し、不規則な標本間隔に対応する最小二乗直線の傾きを用い、しきい値を逐次求める。そのため、結果は原法と直接比較できない。速度による判定であり、サッカードの確定ではない。

合成データで確認した再現率は次のとおりである。条件は、30 fps、注視の持続時間 0.3〜0.6 s、サッカードの軌道は最小ジャーク軌道(加速と減速が滑らかな軌道)で継続時間は主系列の継続時間、片眼ごとに独立な視線雑音の標準偏差 0.7° である。再現率は、振幅 3° で約 73 %、4° 以上でほぼ 100 %、2° で約 7 %、1° でほぼ 0 % であった。雑音だけの入力での誤検出は、ほぼ 0 回/分であった。両眼に共通の雑音(頭部姿勢の誤差など)が 0.7° ある場合は、両眼平均で雑音が減らないため、再現率は振幅 3° で約 10 %、4° で約 66 %、5° で約 98 % に下がる。

瞳孔

眼領域は、著者のデータ収集アプリ FacePsy と同じ規則で切り出す。すなわち、左右の眼角と上下眼瞼縁の中央を囲む矩形に、眼裂幅の 12.5 % の余白を加えた範囲である。瞳孔と虹彩のそれぞれについて、分類スコアが最高の検出を、その分類スコアがしきい値(既定 0.90)を超えた場合だけ採用する。

脈波(参考値)

額と両頬の RGB 平均を 30 Hz に再標本化し、POS 法(肌色の時間変化から脈波を取り出す方法。窓 1.6 s)で脈波を求める。脈拍数は、観測窓 12 s のパワースペクトルの 0.7〜3.5 Hz(42〜210 bpm)にある最大ピークの周波数 f0 × 60 である。推定は、顔が連続 8 s 以上検出されてから始め、0.5 s ごとに更新する。それまでは、顔が連続して検出された秒数を表示する。顔が検出されない場合、または顔の検出が 0.5 s を超えて途切れた場合は、それまでの記録を捨てて取り直す。

SNR は、f0 ±0.1 Hz と 2f0 ±0.2 Hz の電力と、0.5〜4 Hz のうちそれ以外の電力の比 [dB] である。推定したピークを基準にするため、雑音だけでも正の値に偏る。次のいずれかに当てはまる場合は「信号品質が低い」と表示する。

取得間隔から求めた標本化周波数が 7 Hz(探索範囲の上限 3.5 Hz の 2 倍)未満の場合は、推定しない。

画面の操作項目とその意味

開始と停止(カメラ/動画ファイル/デモ動画、停止)

露出指数(選択式。「フレームレートに合わせる」、−3〜−9)

露出指数 x は、露光時間 ≈ 2^x sとなる値である(対応は機種で異なる)。自動露出は、暗いと露光時間を 1 フレーム間隔より長くしてフレームレートを下げるため用いない。既定の「フレームレートに合わせる」は、1 フレーム間隔に収まる最長の露光時間を選ぶ(x = floor(log2(1/fps))。30 fps なら −5)。設定後にフレームレートを実測し直し、元の 90 % 未満に下がる場合は 1 段ずつ短くする(最大 4 回)。数値を選ぶと、その値で固定する。画像が暗い場合は、露出を長くするより照明を明るくする。

校正(C)/校正の解除(X)

押してから終わるまで(約 2 s)、被験者はレンズを見つめる。基準形状の取り直し(20 フレーム)のあと、1.5 s 以上かつ各眼 15 標本以上から、眼ごとの回転補正を求める。注視が不安定な場合は、標本を自動的に取り直す。この補正は、光軸と視軸のずれ(κ 角)に加えて、眼球モデルの系統誤差もまとめて吸収する。1 点だけの校正なので、注視方向によって変わる誤差は補正されない。

鏡像表示

表示だけを鏡像にする項目である。計測値と記録は鏡像にしない。

負荷の大きい処理

瞳孔推定とグラフの描画は、計測中にいつでも入り切りできる。切ると処理のフレームレートが上がる。グラフの描画を切っても、計測値の計算と記録は続く。

可視化

カメラ画像の重ね描きと眼の画像の表示を入り切りできる。計算・記録・画面の保存には影響しない。

分類スコアのしきい値(0.50〜0.99、既定 0.90)

値を下げると瞳孔が検出されやすくなるが、誤検出が増える。しきい値未満でも、各クラスの分類スコアの最高値は記録する。

カメラの水平画角(40〜120°、既定 62°)

焦点距離の計算に用い、距離と角度に影響する。変更すると基準形状を取り直し、校正を解除する。対角画角 D から換算する場合(16:9)は、水平画角 = 2·atan(tan(D/2)·16/√(16²+9²)) である。

表示

標準(縦 768 画素)と 4K(画像と文字を 2 倍)を切り替える。

画面の保存

重ね描きを含むカメラ画像を、鏡像にせず PNG で eye_logs フォルダに保存する。

画面の表示

画面には「計測」「計算の内訳」「ヘルプ(説明)」の 3 つのタブがある。

グラフ(7 段、直近 10 s、右眼は橙・左眼は青)

  1. 水平回転角(−35〜+35°)
  2. 垂直回転角(−25〜+25°)
  3. 眼球角速さ(片眼ごと、平滑化前、0〜300 deg/s)。サッカード候補の判定に使う角速度(両眼平均の最小二乗直線の傾き)とは別の量なので、しきい値の線は引かない。
  4. EAR(0〜0.45)。点線は両眼それぞれの閉眼のしきい値(0.75 × 基準値)で、基準値の更新に応じて動く。
  5. eyeBlink 係数(0〜1)
  6. 瞳孔虹彩径比(0.1〜0.8、推定ごとの点)
  7. 脈波(標準化、−3〜+3、緑は品質良・灰は品質低)

瞬目は灰色、サッカード候補は赤の半透明の帯で、全段に重ねて表示する。進行中の閉眼と判定中のサッカード候補は、仮の帯として描く。

カメラ画像の重ね描き

眼の画像

Mask R-CNN に入力した眼領域に、採用された虹彩(緑)と瞳孔(桃)の分割マスク、および瞳孔の円を重ねて表示する。

計算の内訳タブ

中間結果と算出式を約 0.3 s ごとに更新する。文字を選択している間は更新を止める。

状態表示

カメラの実測フレームレート・解像度・方式・露出、処理のフレームレート、処理しなかったフレーム数、瞳孔推定とグラフの描画の状態、記録ファイル名を示す。動画では処理したフレーム数を示し、最後まで処理すると「全フレームの解析を完了」と示す(公称フレーム数より少なく終わった場合は、動画の破損などの可能性を示す)。カメラから新しいフレームが 2 s 以上届かない場合は、そのことを先頭に示す。

出力ファイル(eye_logs フォルダ、UTF-8(BOM 付き))

使用技術(AI関連)

MediaPipe Face Landmarker

478 点のランドマークと表情係数を出力するモデルである。虹彩の手法は Ablavatski ら(2020)である。初回に自動でダウンロードする。

PupilSense の Mask R-CNN

Islam & Bae(ABC 2024)による、ResNet-50-FPN の瞳孔・虹彩の領域分割モデルである。Android スマートフォンの前面カメラで撮った可視光の眼画像(2 名、909 枚)で微調整されている。学習済みパラメータは models.zip(約 313 MB、MIT License。detectron2 の COCO 学習済み重み(CC BY-SA 3.0)から微調整されている)として配布されており、初回に自動でダウンロードする。論文が報告する分割の性能(IoU 0.50〜0.95 で平均)は、瞳孔が適合率 35.1 %・再現率 43.4 %、虹彩が適合率 75 %・再現率 78.6 % であり、瞳孔の分割は虹彩より精度が低い。

その他

Kabsch 法、Umeyama 法、EAR(Soukupová & Čech, 2016)、Engbert & Kliegl(2003)、Nyström & Holmqvist(2010)、サッカードの主系列(Carpenter, 1988)、One Euro Filter(Casiez ら, 2012)、POS 法(Wang ら, 2017)、脈波の SNR(de Haan & Jeanne, 2013)を用いている。可視虹彩径の個人差は Rüfer ら(2005)の値による。

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\pupil_iris
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy torch torchvision tensorboard mediapipe opencv-contrib-python pillow
pyinstaller --onefile --clean --noconfirm  --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python --collect-all PIL --collect-all torch --collect-all torchvision --collect-all tensorboard pupil_iris.py

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM インストール
set "CUDA_TAG=cu128"
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install --no-user -U numpy torch torchvision --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user mediapipe opencv-contrib-python pillow

ソースコード

保存し、Visual Studio Code などで実行する。