AIのあたまの中 - 科学・AIミュージアム
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
コード内で使用しているソフトのライセンス文と著作権表示: LICENSE.txt, LICENSE-3RD-PARTY.txt
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
このプログラムの理念と目的
Windows PC と Webカメラ1台で動き、カメラの前に立った人の顔・手・全身をその場で解析して、結果を画面に表示する。目的は次の2つである。
- 自分の体の動きに合わせて結果が変わるのを見ることで、AIによる画像解析と3次元の情報処理の考え方を体験として理解できるようにする。
- 画面に表示する数値は、すべてその場で計測・計算した値とする。演出のために作った値は表示しない。
操作は画面に触れずに行える。待機画面でカメラが人の顔を検出すると、第1章が始まる。画面上のボタンは、人差し指の先を1.2秒間かざすと押したことになる。
特徴
- 体の動きで操作できる:ボタン操作も各章の体験も、カメラに映る顔と手の動きで行える。マウスとキーボードでも操作できる。
- 人がいなくなると自動で待機画面に戻る:カメラ入力では、顔・手、または各章で解析の対象となる人が6秒間検出されないと、待機画面に戻る。動画ファイルを入力にしたときは待機画面に戻らない。
- 起動時に計算の正しさを確かめる:答えがわかっているデータを使って、脈拍の推定、流体の計算、頭の向きの計算が正しく動くかを、起動のたびに確かめる。結果は起動画面に✓または✗で表示される。
- GPU がなくても動く:AIの推論はすべて CPU で行う。
- 映像や計測値を保存しない:カメラ映像、計測値、記録ファイルはどれもディスクに保存しない。保存するのは、公式に配布されているAIモデル、デモ動画、それらの改ざんを確かめるためのハッシュ値だけである。
- 日本語を含むフォルダでも動く:プログラムを置いたフォルダの名前や、選んだ動画ファイルの場所に日本語が含まれていても動く。
機能概要
起動すると、まず起動画面が開く。起動画面での処理は次の順で行われる。
- 答えがわかっているデータを使った自己診断(既知解テスト)を行い、結果を表示する。
- AIモデルとデモ動画をダウンロードする。すでにダウンロード済みなら、ファイルが壊れていないかを確かめるだけで済む。ネットワークにつながらなかったときは「再試行」ボタンが押せるようになる。
- 準備が終わると、入力を選ぶボタン(Webカメラ、動画ファイル、デモ動画)が押せるようになる。Webカメラは番号(0〜9)で選ぶ。選んだ入力から1フレーム読み込めることを確かめてから、本体の画面に移る。
本体は次の5章で構成され、各章の時間が過ぎると自動で次の章に進む。
- 第1章(30秒)脈拍の推定:額と両頬の皮膚の色を毎フレーム記録し、心臓の拍動にともなうわずかな色の変化から脈拍を推定する。推定は直近12秒分の記録をもとに行い、毎分42〜210拍の範囲から脈拍を探す。推定の確からしさを示す値(信号対雑音比、SNR)、周波数ごとの強さを示すグラフ(スペクトル)、拍と拍の間隔から求めた別の推定値(検算値)もあわせて表示する。次のどれかにあてはまるときは、推定の質が低いと表示する:SNR が 0 dB 以下である/見つかった脈拍が探す範囲の上限か下限にある/検算値との差が毎分10拍を超える。顔の検出が0.5秒より長く途切れると、それまでの記録は消えて最初からやり直しになる。
- 第2章(25秒)3次元の顔メッシュ:顔の478点(虹彩の10点を含む)の3次元座標を求め、3点に1点を画面に表示する。あわせて、頭の向きを3つの角度(左右の向き、上下の向き、首のかしげ)で表示する。表情の強さは52種類の値で表し、それぞれ0から1までの値をとる。この値は表情の強さの目安であって、確率ではない。
- 第3章(30秒)空中に絵を描く:人差し指の先の動きにそって線が描かれる。親指と人差し指の先をつまむように近づけると描く色が変わり、つまんだまま1.5秒たつと描いた線がすべて消える。つまんだかどうかは、2本の指先の距離を手の大きさで割った値で決まる。この値が0.35より小さくなるとつまんだとみなし、0.5より大きくなると離したとみなす。描いた点が合計約1500点を超えると、古い線から順に消える。画面に表示する手の奥行きは、手首を基準にした値である。
- 第4章(25秒)3次元の骨格:全身の33か所の関節の3次元座標をメートル単位で求め、左右の腰の中点を原点として表示する。床の格子は1目盛りが0.25メートルである。奥行き方向の値は、上下・左右の値に比べて誤差が大きい。
- 第5章(30秒)流体と粒子:カメラ映像の中の動き(オプティカルフロー)を2倍にして流体に加え、その流れに乗って約4000個の粒子が動く。背景の色は流れの回転の強さ(渦度)を表し、反時計回りは赤、時計回りは青で示す。画面中央の円(コア)に人差し指の先を入れると、粒子にはたらく力が「引力」「斥力」「渦+吸い込み」の順に切り替わる。コアはマウスでクリックしても切り替えられる。
動画ファイルを入力にしたときは、映像の左右を反転しないで表示する。この場合も、右目と左目、右手首と左手首の表示は入れかわらずに正しく出る。
画面のボタンとその操作
画面の右端には8個のボタンが縦に並んでいる。人差し指の先をボタンに1.2秒間かざすか、マウスでクリックすると押したことになる。指をかざしている間は、ボタンのまわりに円弧がのびて、押されるまでの残り時間を示す。
- 1〜5:その番号の章に移る。
- AI:AIの内部の状態を表示するかどうかを切り替える。表示されるのは、処理FPS(1秒あたりに処理したフレーム数を実際の時間で測った値)、Δt(前のフレームからの経過時間)、そのフレームでの各AIモデルの推論時間、入力の種類(カメラまたは動画)と公称のフレームレートである。あわせて、手の関節の位置と、映像の中の動きの向きを示す矢印も表示される。
- 固定:今の章に留まるかどうかを切り替える。固定している間は、章の時間が過ぎても次の章に進まない。
- ?:ヘルプ画面を開く、または閉じる。ヘルプ画面には「操作」「第1・2章」「第3〜5章」「ライセンス」「動作環境」の5つのタブがある。ヘルプ画面を開いている間も、このボタンは見えていて押せる。
キー操作
キーは大文字でも小文字でも同じようにはたらく。
- F:1366×768画素のウィンドウ表示と全画面表示を切り替える。
- V:AIの内部の状態を表示するかどうかを切り替える(「AI」ボタンと同じ)。
- 1〜5:その番号の章に移る。
- SPACE:今の章に留まるかどうかを切り替える(「固定」ボタンと同じ)。
- N:次の章に移る。待機画面で押すと章を始める。
- H:ヘルプ画面を開く、または閉じる(「?」ボタンと同じ)。
- Tab:ヘルプ画面のタブを順に切り替える。
- Esc または Q:プログラムを終了する。
使用技術(AI関連)
- MediaPipe Tasks:Google が公開しているAIによる画像解析のライブラリである。動画用のモード(VIDEO モード)で次の4つのモデルを使う。
- Face Landmarker:顔の478点の3次元座標と、52種類の表情の値を求める。第1章と第2章、および人がいるかどうかの判定に使う。
- Hand Landmarker:手の21か所の関節の3次元座標を求める。第3章の描画、第5章のコアへのタッチ、ボタン操作、および人がいるかどうかの判定に使う。
- Pose Landmarker(lite):全身の33か所の関節の3次元座標を求める。第4章に使う。
- Image Segmenter(selfie):映像の中から人の写っている部分を切り分けるモデルである。
- POS法(Wang ら, 2017):皮膚の色の赤・緑・青の3成分の変化から、脈拍による成分を取り出す方法である。第1章で使う。約1.6秒ずつの区間ごとに計算し、それらをつなぎ合わせて脈波を得る。
- 流体シミュレーション(Stam, 2001):粘りけがあり圧縮されない流体の動きを、96×54のマス目の上で計算する。流れに乗って量を運ぶ計算(セミラグランジュ法)、粘りけで流れがならされる計算、流れが圧縮されないように整える計算(ヘルムホルツ–ホッジ分解による射影)を順に行う。高速フーリエ変換(FFT)を使うため、画面の上下と左右の端はそれぞれ反対側の端とつながっているものとして扱う(周期境界)。第5章で使う。
実行上の注意点
- 動作環境:Windows。
- 初めて起動するときはインターネット接続が必要である:AIモデルとデモ動画をダウンロードするためである。つながらないときは、接続を確かめてから起動画面の「再試行」ボタンを押す。ダウンロードが途中で切れた場合は、不完全なファイルは使われず、もう一度ダウンロードし直す。2回目以降は「models」フォルダのファイルを使うので、インターネット接続はいらない。
- 利用状況の情報が Google に送られる:カメラ映像や計測値は保存しないが、MediaPipe Tasks は性能や利用状況の情報(メトリクス)を Google に送る。会場では、撮影していることとメトリクスが送られることを掲示する。AIモデルの利用条件は、各モデルの公式モデルカードで確かめる。商用で使う場合は、法務担当者などに確認する。
- カメラの性能:カメラが 1280×720画素・毎秒60フレームに対応していない場合は、カメラが対応する条件で動く。実際に処理できているフレーム数は、V キーで表示される処理FPS で確かめることができる。
- 人がいなくなると待機画面に戻るのはカメラ入力のときだけである:動画ファイルを入力にしたときは、映像に人が映っていなくても待機画面に戻らない。
exeファイルの作成手順
cd /d c:\users\user\proj\ai_museum_exhibit
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy mediapipe opencv-contrib-python pillow
pyinstaller --onefile --clean --noconfirm --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python --collect-all PIL ai_museum_exhibit.py
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
コード内で使用しているソフトのライセンス文と著作権表示: LICENSE.txt, LICENSE-3RD-PARTY.txt
ソースコード実行のための前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
以下を実行する。
REM インストール
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install -U --no-user numpy mediapipe opencv-contrib-python pillow
ソースコード
保存し、Visual Studio Code などで実行する。