からだが光と音になる3次元・魔法の鏡(AI によるモーションキャプチャの体験)(ソースコードと説明と利用ガイド)|金子邦彦研究室

からだが光と音になる3次元・魔法の鏡(AI によるモーションキャプチャの体験)

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

説明資料: [PDF], [PPTX] , [動画], 動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成

本資料とコードの作成にAIを使用。参考プロンプト: prompt.md (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)

このプログラムの理念と目的

本プログラムは、1台のWebカメラの画像から最大4人の身体の3次元姿勢をAIで推定し、身体の上下・左右・前後の動きを光の粒子と合成音にリアルタイムに変換するWindows用の体験・学習・実験プログラムである。体験者はマウスやキーボードに触れず、身体の動きとポーズだけで操作できる。

想定する利用者は、展示会場で画面の前を通りかかる子どもから大人までの来場者、ノートPCで授業や自習に使う学生・学習者、大型ディスプレイで常設展示を運用する展示管理者である。

目的は、身体を動かす楽しさを入口として、「カメラ1台の画像から、AIが身体の33か所の3次元座標を推定し、その座標と速度が光と音に変換されている」という仕組みを、体験者が画面上の図と数値から理解できるようにすることである。画面の大きな案内文と音は、手を前に突き出す、前後に踏み出す、しゃがむ、跳ぶといった、奥行きや高さを含む全身の動きを促すように作られている。

特徴

単眼カメラによる3次元姿勢推定

Google MediaPipe の Pose Landmarker を用いる。このAIは人物ごとに33点の身体ランドマーク(鼻・肩・手首・股関節・足首などの身体上の特徴点)について、画像上の位置(正規化座標)、左右の股関節の中点(以下、腰)を原点とするメートル単位の3次元座標、可視性と存在のスコアを出力する。奥行きの推定は、3次元人体モデル GHUM を2次元の点に当てはめて作った合成データで学習されている。そのため、カメラが1台でも奥行きを推定できる。ただし、この奥行きは腰を基準とした相対値の推定値であり、カメラからの距離ではない。また、モデルカードは、計量的に正確な奥行きを必要とする用途を対象外としている。

奥行きを反映する光と音

光の粒子は透視投影で描かれ、手前にあるものほど大きく明るく表示される。演出 STARDUST 3D では、手首を前に突き出すほど粒子が大きくなり、鐘の音が大きくなる。体験者の骨格の線は、腰を基準とした奥行きに応じて色が変わる。腰よりカメラ側に0.5 m以上出た部分は赤、奥側に0.5 m以上下がった部分は青、その間は緑や黄の中間色で描かれる。

AIの推定結果と根拠を常時表示

人物を検出している間は、切り替え操作をしなくても、画面右側と画面下部に解説を常に表示する。右側の4つの図は、①推定結果(3次元骨格)、②根拠(手首の前方距離の時間変化)、③確からしさ(可視性と存在のスコア)、④意味(推定値が光と音にどう変換されたか)を示す。それぞれの図には、読み方を1〜2行で添えている。解説の対象とする人物は、身体ジェスチャーかキー操作で切り替えられる。

カメラからの距離の概算

推定した3次元座標と画像上の位置の対応から、ピンホールカメラモデルに基づく最小二乗法で、腰がカメラから光軸方向にどれだけ離れているかを概算する。この値は人物の頭上に「約○m」と表示され、ジャンプとしゃがみの判定にも使われる。概算には、起動画面で設定するカメラの水平画角を用いる。

揺れと遅れを抑える平滑化

推定座標には One Euro フィルタ(Casiez ら, 2012)をかけている。このフィルタは動きの速さに応じて平滑化の強さを変える。そのため、静止時の細かな揺れを抑えつつ、速い動きに対する表示の遅れも小さくできる。

人物領域の強調と複数人での合奏

AIが出力する人物領域のマスク(セグメンテーションマスク)を使い、体験者の姿だけを明るく残して背景を暗く沈める。人物番号ごとに音域が異なり、P1を基準に、P2は完全5度上、P3は完全4度下、P4は長3度上の音域が割り当てられる。そのため、複数人が同時に音を鳴らすと和音になる。

音声ファイルが不要

効果音と環境音は、すべてプログラム内で波形を計算して生成する。

撮影時刻に基づく計算と記録

速度は、カメラ画像を取得した直後の時刻の差から計算する。3次元座標は、撮影日時やフレーム番号とともにCSVファイルへ記録できる。

機能概要

起動から体験開始までは、次の順序で進む。

  1. 起動画面:接続されているカメラ(番号0〜4)を自動で検出して一覧に表示する。利用者はカメラ、姿勢推定モデル、カメラの水平画角、全画面で開始するかどうかを選び、「開始」を押す。
  2. モデルの準備:選んだモデルが未取得の場合は、Googleの公式配布元から自動でダウンロードする。ダウンロード中は、進み具合をバーで表示する。
  3. 待機画面:人物を検出していない間は、漂う光と環境音の中に「鏡の前に立つと 3次元の魔法がはじまる」という大きな案内文を表示する。その下には「手を前に突き出してみて!」などの動作の誘いが、3秒ごとに切り替わって表示される。人物を5秒間検出しないと、この画面に戻る。待機画面では解説を表示しない。
  4. ようこそ演出:人物を検出すると、その人の全身から人物番号ごとの色の光が広がり、歓迎の和音が鳴り、「ようこそ! AIがあなたの姿勢を3次元で推定しています」と表示される。体験の途中から加わった人には、音量を小さくした同じ光と和音の演出が行われる。

4つの演出モード

演出モードは約12秒ごとに自動で切り替わる。画面上部には、モード名、動きを促す2行の案内文、残り時間を示すバーが表示される。どのモードでも、可視性が0.3未満の手首は演出に使わない。

骨格の線は、カメラに近い部分ほど太く描かれ、線の色は腰を基準とした奥行きを表す。

全モード共通の身体ジェスチャー

判定にはAIの推定値を用いる。そのため、推定誤差によって反応しないことや、意図せず反応することがある。

解説の対象を切り替えると、確認の音が鳴り、「解説の対象を P○ に切り替えました」と表示される。ジャンプとしゃがむの判定には、カメラからの距離の概算値を使う。この値は、可視性が0.5を超える身体ランドマークが8点以上あるときだけ算出されるため、全身が映っていないとジャンプとしゃがむは反応しない。

3方向チャレンジ

体験中は、画面左に左右(X)・上下(Y)・前後(Z)の3本のゲージを表示する。ゲージの値は、両手首の速度の大きさを方向別に時間で積算した移動距離の概算値であり、推定値の揺れも加算される。目標値は左右4 m、上下4 m、前後2 mである。この値は腰を基準とした手首の動きから計算するため、体全体の移動は含まれない。画面に映っている全員の動きが合算される。3本すべてが目標に達すると、全員から光が広がり、「3方向コンプリート!」と表示される。ゲージは、待機画面から体験が再開されたときに0に戻る。

人物番号

検出された人物には、その時点で使われていない最小の番号が割り当てられ、頭上に P1、P2 のように表示される。通常は P1〜P4 であるが、人物を一時的に見失って再び検出したときは、別の番号になることがある。

3次元座標のCSV記録

Rキーで記録の開始・停止を切り替える。推論が行われたフレームごとに、検出された人物1人につき1行が記録される。人物が検出されなかったフレームは記録されない。各行には、撮影日時、撮影時刻(秒)、取得フレームの通し番号、直前の推論から推論されなかったフレームの数、カメラ側で欠落したと推定されるフレーム数の累計、推論時間、人物番号、カメラからの位置の概算値(m)、33点それぞれの3次元座標(m)・可視性・存在スコアが含まれる。

画面の構成と見方

起動画面の項目

メイン画面の構成

解説表示の見方

右側の図は、解説の対象とする1人(頭上に「(解説中)」と表示される人物)の値を示す。解説の対象として選んだ番号の人物がいない場合は、その時点で最初に検出された人物を表示する。左右は、体験者自身の左右で表記している。

キー操作

キー操作は、展示の管理者とノートPCで学習する人向けである。

使用技術

MediaPipe Pose Landmarker(Google MediaPipe Tasks API)

画像から人物の身体ランドマークを推定するAIである。推論は2段階で行われる。まず人物検出モデルが人物を見つけ、次にランドマーク推定モデルが、その領域から33点の3次元ランドマークを推定する。本プログラムでは、最大4人の同時推定と人物領域マスクの出力を有効にしている。推論はCPUで行われる。

BlazePose GHUM 3D(学習済みモデル)

Pose Landmarker が使う学習済みモデルで、MobileNetV2 に類似した畳み込みニューラルネットワークである。人物の領域を256×256画素に変換して入力する。lite・full・heavy の3種類があり、ファイルサイズはそれぞれ約3 MB・6 MB・26 MBである。本プログラムでは full か heavy を選べる。奥行きの値は、3次元人体モデル GHUM を2次元の点に当てはめて得た合成データで学習されている。モデルカードは1人の人物を対象とするモデルとして記述されており、1枚の画像に複数人が写る場合を想定用途外としている。モデルは初回の利用時に、Googleの公式配布元から自動でダウンロードされる(モデルカード)。

One Euro フィルタ

推定座標の時系列を平滑化する手法である。動きが速いときは平滑化を弱め、遅いときは強める。これにより、静止時の揺れと移動時の遅れを両方小さくする。本プログラムでは、平滑化と同時に求めた時間微分を各関節の速度として使う。

カメラからの位置の推定

各関節の3次元座標(腰が原点)と画像上の位置が、ピンホールカメラモデルで対応するという条件から、腰のカメラ座標系での位置を、可視性が0.5を超える関節を用いた線形最小二乗法で求める。カメラの水平画角を仮定するため、結果は概算値である。可視性が0.5を超える点が8点未満の場合は、計算を行わない。

音の合成

NumPy で、正弦波、倍音、雑音、減衰の包絡線を毎回計算し、sounddevice(PortAudio)で再生する。持続する和音、低域だけを残した雑音による風の音、鐘の音、音高が上がっていく音を生成する。鐘の音などの効果音には、約0.23秒の遅延で左右に交差して返る残響が加わる。

描画

光の粒子は透視投影で描画し、ガウスぼかしを重ねて光の広がりを表現する。日本語の文字は Pillow で Windows 付属のフォントを使って描き、画面全体は Panda3D(OpenGL)で表示する。

ライセンスと利用条件

大学の授業・教育・研究では、各ライセンスの範囲で無償で利用・改変できる。成果を発表する際は、モデルカードに引用文献として記載されている BlazePose と GHUM の論文を引用することが望ましい。上記のライセンスはいずれも商用利用を認めているが、再配布する際はライセンス文と NOTICE を同梱する必要がある。モデルファイル(.task)単体の商用利用と再配布の条件については、2026年9月にGoogleの公式フォーラムへ質問が投稿されているが、2026年10月時点で公式の回答は確認できない。商用で使う場合は、Googleの規定を確認してから利用する。

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\3dmagic_mirror
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy mediapipe opencv-contrib-python pillow panda3d sounddevice
pyinstaller --onefile --clean --noconfirm  --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python --collect-all PIL --collect-all panda3d --collect-all sounddevice 3dmagic_mirror.py

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM MediaPipe 標準機能のインストール
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install -U --no-user numpy mediapipe opencv-contrib-python pillow panda3d sounddevice

ソースコード

保存し、Visual Studio Code などで実行する。