からだが光と音になる3次元・魔法の鏡(AI によるモーションキャプチャの体験)
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明資料: [PDF], [PPTX] , [動画], 動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
本資料とコードの作成にAIを使用。参考プロンプト: prompt.md (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)
このプログラムの理念と目的
本プログラムは、1台のWebカメラの画像から最大4人の身体の3次元姿勢をAIで推定し、身体の上下・左右・前後の動きを光の粒子と合成音にリアルタイムに変換するWindows用の体験・学習・実験プログラムである。体験者はマウスやキーボードに触れず、身体の動きとポーズだけで操作できる。
想定する利用者は、展示会場で画面の前を通りかかる子どもから大人までの来場者、ノートPCで授業や自習に使う学生・学習者、大型ディスプレイで常設展示を運用する展示管理者である。
目的は、身体を動かす楽しさを入口として、「カメラ1台の画像から、AIが身体の33か所の3次元座標を推定し、その座標と速度が光と音に変換されている」という仕組みを、体験者が画面上の図と数値から理解できるようにすることである。画面の大きな案内文と音は、手を前に突き出す、前後に踏み出す、しゃがむ、跳ぶといった、奥行きや高さを含む全身の動きを促すように作られている。
特徴
単眼カメラによる3次元姿勢推定
Google MediaPipe の Pose Landmarker を用いる。このAIは人物ごとに33点の身体ランドマーク(鼻・肩・手首・股関節・足首などの身体上の特徴点)について、画像上の位置(正規化座標)、左右の股関節の中点(以下、腰)を原点とするメートル単位の3次元座標、可視性と存在のスコアを出力する。奥行きの推定は、3次元人体モデル GHUM を2次元の点に当てはめて作った合成データで学習されている。そのため、カメラが1台でも奥行きを推定できる。ただし、この奥行きは腰を基準とした相対値の推定値であり、カメラからの距離ではない。また、モデルカードは、計量的に正確な奥行きを必要とする用途を対象外としている。
奥行きを反映する光と音
光の粒子は透視投影で描かれ、手前にあるものほど大きく明るく表示される。演出 STARDUST 3D では、手首を前に突き出すほど粒子が大きくなり、鐘の音が大きくなる。体験者の骨格の線は、腰を基準とした奥行きに応じて色が変わる。腰よりカメラ側に0.5 m以上出た部分は赤、奥側に0.5 m以上下がった部分は青、その間は緑や黄の中間色で描かれる。
AIの推定結果と根拠を常時表示
人物を検出している間は、切り替え操作をしなくても、画面右側と画面下部に解説を常に表示する。右側の4つの図は、①推定結果(3次元骨格)、②根拠(手首の前方距離の時間変化)、③確からしさ(可視性と存在のスコア)、④意味(推定値が光と音にどう変換されたか)を示す。それぞれの図には、読み方を1〜2行で添えている。解説の対象とする人物は、身体ジェスチャーかキー操作で切り替えられる。
カメラからの距離の概算
推定した3次元座標と画像上の位置の対応から、ピンホールカメラモデルに基づく最小二乗法で、腰がカメラから光軸方向にどれだけ離れているかを概算する。この値は人物の頭上に「約○m」と表示され、ジャンプとしゃがみの判定にも使われる。概算には、起動画面で設定するカメラの水平画角を用いる。
揺れと遅れを抑える平滑化
推定座標には One Euro フィルタ(Casiez ら, 2012)をかけている。このフィルタは動きの速さに応じて平滑化の強さを変える。そのため、静止時の細かな揺れを抑えつつ、速い動きに対する表示の遅れも小さくできる。
人物領域の強調と複数人での合奏
AIが出力する人物領域のマスク(セグメンテーションマスク)を使い、体験者の姿だけを明るく残して背景を暗く沈める。人物番号ごとに音域が異なり、P1を基準に、P2は完全5度上、P3は完全4度下、P4は長3度上の音域が割り当てられる。そのため、複数人が同時に音を鳴らすと和音になる。
音声ファイルが不要
効果音と環境音は、すべてプログラム内で波形を計算して生成する。
撮影時刻に基づく計算と記録
速度は、カメラ画像を取得した直後の時刻の差から計算する。3次元座標は、撮影日時やフレーム番号とともにCSVファイルへ記録できる。
機能概要
起動から体験開始までは、次の順序で進む。
- 起動画面:接続されているカメラ(番号0〜4)を自動で検出して一覧に表示する。利用者はカメラ、姿勢推定モデル、カメラの水平画角、全画面で開始するかどうかを選び、「開始」を押す。
- モデルの準備:選んだモデルが未取得の場合は、Googleの公式配布元から自動でダウンロードする。ダウンロード中は、進み具合をバーで表示する。
- 待機画面:人物を検出していない間は、漂う光と環境音の中に「鏡の前に立つと 3次元の魔法がはじまる」という大きな案内文を表示する。その下には「手を前に突き出してみて!」などの動作の誘いが、3秒ごとに切り替わって表示される。人物を5秒間検出しないと、この画面に戻る。待機画面では解説を表示しない。
- ようこそ演出:人物を検出すると、その人の全身から人物番号ごとの色の光が広がり、歓迎の和音が鳴り、「ようこそ! AIがあなたの姿勢を3次元で推定しています」と表示される。体験の途中から加わった人には、音量を小さくした同じ光と和音の演出が行われる。
4つの演出モード
演出モードは約12秒ごとに自動で切り替わる。画面上部には、モード名、動きを促す2行の案内文、残り時間を示すバーが表示される。どのモードでも、可視性が0.3未満の手首は演出に使わない。
- STARDUST 3D:手首から星くずが生まれる。速く動かすほど数が増え、前に突き出すほど大きく明るくなる。手首を速く動かすか、肩より約0.4 m前に出すと、鐘の音が鳴る。音の高さは手首の画像上の高さで決まり(五音音階)、前に突き出したときは完全5度高くなる。手首の画像上の左右の位置が、音の左右の聞こえる位置(定位)になる。
- FIREFLIES 3D:約1,400個のホタルが、各人の両手首・鼻・股関節の3次元位置へ集まる。手首の動きが速いほど、持続する和音が大きくなる。
- VORTEX 3D:肩を中心として、画面に平行な面で腕を回すと、その回転の向きと強さで光の渦の回転が変わる。後ろへ下がると奥への吸い込みが強まり、前へ出ると弱まる。腕の回転が強く、手首の動きが速いほど、風の音が大きくなる。後ろへ速く下がっている間は、持続和音が長3度上がる。
- CONSTELLATION 3D:骨格の線が脈動する。肩・手首・腰・足首をほぼ止めたまま1.5秒保つと骨格が強く光り、AIが推定した本人の3次元骨格が画面中央で約4秒間回転表示される。手首を速く動かすと柔らかい音が鳴る。静止したときは和音が鳴り、全身の前後の広がりが0.5 mを超えるポーズでは完全5度高い和音になる。
骨格の線は、カメラに近い部分ほど太く描かれ、線の色は腰を基準とした奥行きを表す。
全モード共通の身体ジェスチャー
判定にはAIの推定値を用いる。そのため、推定誤差によって反応しないことや、意図せず反応することがある。
- 両手をそろえてカメラへ突き出す:両手首が肩より0.30 m以上前方にあり、左右の手首が近いと推定されたとき、エネルギー波が発生する。白い光がカメラ方向へ飛び、上昇音と和音が鳴り、「エネルギー波!」と表示される。2秒以内には再発動しない。
- 両手首を頭上で交差して1秒保つ:解説の対象とする人物を、画面に映っている次の人物へ切り替える。保っている間は、頭部の周りに進み具合を示す円が描かれる。
- 右上の「解説の人物」ボタンに人差し指をかざす:人差し指の付け根の点がボタンの範囲に1.2秒重なると、解説の対象を次の人物へ切り替える。ボタンの下端に進み具合が表示される。
- ジャンプ:腰の上向きの速度が約1 m/sを超えると、星の噴水が出て和音が鳴る。
- しゃがむ:腰が普段の高さから0.15 m以上下がると、紫系の光が出て低音が鳴る。
解説の対象を切り替えると、確認の音が鳴り、「解説の対象を P○ に切り替えました」と表示される。ジャンプとしゃがむの判定には、カメラからの距離の概算値を使う。この値は、可視性が0.5を超える身体ランドマークが8点以上あるときだけ算出されるため、全身が映っていないとジャンプとしゃがむは反応しない。
3方向チャレンジ
体験中は、画面左に左右(X)・上下(Y)・前後(Z)の3本のゲージを表示する。ゲージの値は、両手首の速度の大きさを方向別に時間で積算した移動距離の概算値であり、推定値の揺れも加算される。目標値は左右4 m、上下4 m、前後2 mである。この値は腰を基準とした手首の動きから計算するため、体全体の移動は含まれない。画面に映っている全員の動きが合算される。3本すべてが目標に達すると、全員から光が広がり、「3方向コンプリート!」と表示される。ゲージは、待機画面から体験が再開されたときに0に戻る。
人物番号
検出された人物には、その時点で使われていない最小の番号が割り当てられ、頭上に P1、P2 のように表示される。通常は P1〜P4 であるが、人物を一時的に見失って再び検出したときは、別の番号になることがある。
3次元座標のCSV記録
Rキーで記録の開始・停止を切り替える。推論が行われたフレームごとに、検出された人物1人につき1行が記録される。人物が検出されなかったフレームは記録されない。各行には、撮影日時、撮影時刻(秒)、取得フレームの通し番号、直前の推論から推論されなかったフレームの数、カメラ側で欠落したと推定されるフレーム数の累計、推論時間、人物番号、カメラからの位置の概算値(m)、33点それぞれの3次元座標(m)・可視性・存在スコアが含まれる。
- 座標は、平滑化を行う前のAIの出力値である。
- 人物番号は、そのフレームの中での検出順(0始まり)であり、画面の P 番号とは一致しない。
- 列名の L00〜L32 は、MediaPipe のランドマーク番号である。入力画像を鏡像にしているため、MediaPipe で「左」とされる番号(例:L15=左手首)は、体験者自身の右に当たる。
- カメラ側の欠落フレーム数は、最新の撮影間隔が直近60回の撮影間隔の中央値の何倍に伸びたかから推定した値である。
画面の構成と見方
起動画面の項目
- カメラ:映像を取得できたカメラだけが「カメラ 0(DirectShow)」の形式で表示される。
- 姿勢推定モデル:「標準(full)」は約6 MBで、通常はこちらを選ぶ。「高精度(heavy)」は約26 MBで精度が高いが、計算量が大きいため、高性能なCPUで使う。
- カメラの水平画角[度]:40〜120度の範囲で設定する(初期値70度)。カメラからの距離の概算に使う値であり、カメラの仕様に記載された水平画角を入力すると、距離の精度が上がる。
- 全画面(大型・4K展示用)で開始:チェックを入れると、全画面表示で起動する。
メイン画面の構成
- 画面上部:演出モード名、動きを促す案内文、モードの残り時間を示すバーを表示する。
- 画面左:3方向チャレンジのゲージを表示する。
- 画面右上:「解説の人物」ボタンを表示する。人差し指をかざすか、マウスでクリックすると、解説の対象が次の人物に切り替わる。
- 画面右側:解説の対象とする人物について、①〜④の4つの図を縦に並べて表示する。
- ④の図の下:状態表示として、描画 fps(1秒あたりの画面の更新回数)、推論 回/秒(1秒あたりのAI推論回数)、推論時間(ms)を表示する。CSV記録中は「●記録中」、消音中または音声出力装置がないときは「消音」と表示する。推論回数は、カメラのフレームレートより少なくなることがある。
- 各人物の頭上:人物番号と、カメラからの距離の概算値「約○m」を表示する。解説の対象の人物には「(解説中)」が付く。
- 各人物の両手首と鼻:速度ベクトルの矢印と、腰に対する奥行き方向の速度 vz を表示する。
- 画面下部:処理の流れの図、矢印の読み方、奥行きの色の凡例、6秒ごとに切り替わる解説文を表示する。
解説表示の見方
右側の図は、解説の対象とする1人(頭上に「(解説中)」と表示される人物)の値を示す。解説の対象として選んだ番号の人物がいない場合は、その時点で最初に検出された人物を表示する。左右は、体験者自身の左右で表記している。
- ① 推定結果:3次元骨格:腰を原点とする推定3次元座標を、2つの図で示す。左の図は、画面に映っている全員の骨格を鉛直軸まわりに自動回転させたものであり、軸は X(左右)、−Y(上)、Z(奥行き)である。右の図は、解説の対象の人物を真横から見た側面図であり、横方向が奥行きZ(左がカメラ側)、中央の縦線が腰の位置を表す。側面図で骨格が左右にずれて見える部分が、AIが人体形状の事前知識から推定した奥行きである。
- ② 根拠:手首の前方距離[m](直近4秒):手首が肩よりどれだけカメラ側に出ているかの推定値を、グラフで示す。右手首は橙色、左手首は水色の線であり、右上に現在値を表示する。縦軸は−0.2〜+0.6 mである。点線は0.30 mを示し、左右の手首が近い状態で両方がこの線を超えると、エネルギー波が発生する。
- ③ 確からしさ:可視性(棒)と存在(白線):鼻・右手首・左手首・右股関節・左股関節・右足首・左足首の7部位について、AIが出力したスコアを0〜1で示す。棒の高さは可視性(画面内にあり、他の部位や物体に隠れていない確率)であり、0.5以上は緑、0.5未満は赤で描かれる。白い横線の高さは存在(隠れているかは問わず、画面内にある確率)である。部位名の下の数値は、腰を基準とした奥行きZ[m]であり、骨格と同じ奥行きの色で表示される。可視性が0.5未満の部位は、隠れているか画面外にある確率のほうが高く、座標の誤差が大きい可能性がある。可視性が0.3未満の手首は演出に使われず、可視性が0.5を超える部位が8点未満の人物はカメラからの距離が算出されない。
- ④ 意味:推定値 → 光と音(右手首):右手首の推定値と、それが何に使われているかを示す。
- 高さ:画像上の高さ(下端0〜上端1)と、そこから決まる五音音階の音高[Hz]を示す。音高を使うのは STARDUST 3D と CONSTELLATION 3D であり、ほかのモードでは「この演出では音高に未使用」と表示される。表示値には人物番号ごとの音域の違いが反映されているが、STARDUST 3D で前に突き出したときの完全5度の上昇は含まれない。
- 前方:手首が肩より前に出た量[m]であり、STARDUST 3D の星の大きさに使われる。
- 速さ:腰を基準とした3次元座標での手首の速さ[m/s]である。この値は参考値であり、粒子の量と発音の判定には、画像上の位置と推定奥行きから求めた速さが使われる。
- 左右:画像上の左右位置(左端−1〜右端+1)であり、音の定位に使われる。
- 距離:カメラから腰までの光軸方向の距離の概算値[m]であり、演出空間での奥行きに使われる。可視性が0.5を超える点が8点未満の場合は計算されず、「算出せず」と表示される。
- 処理の流れ(画面下部):①カメラ画像 → ②3次元姿勢推定 → ③平滑化・速度計算 → ④光と音の生成、の4段階を図で示す。各段階には、推論回数、推論時間、人数×33点、粒子数が表示される。
- 奥行きの色の凡例(画面右下):骨格の線の色と、腰を基準とした奥行きZの対応を示す。−0.5 m(カメラ側)が赤、+0.5 m(奥側)が青である。
- 速度ベクトル:画面に映っている全員の両手首と鼻に、矢印を表示する。矢印は画像面内の速度を0.15秒間の移動量で表す。vz は腰に対する奥行き方向の速度[m/s]であり、負のときはカメラ側へ動いていることを示し、矢印は赤系の色になる。正のときは青系の色になる。体全体で前後に移動しても、腰に対する位置が変わらない部位の vz はほぼ0である。
- 解説文(画面下部の最下行):6秒ごとに切り替わる。内容は、推定している人数と点数、解説対象の人物の右手首の奥行きの現在値、速度の計算方法と用途(音の高さは手の高さで決まること)、奥行き推定の原理、人物ごとの音域の違い、明るく残る人物領域がAIの出力したマスクであること、頭上の「約○m」の求め方の7種類である。
キー操作
キー操作は、展示の管理者とノートPCで学習する人向けである。
- ESC または Q を押すと終了する。CSV記録中の場合は、ファイルを閉じてから終了する。
- F または F11 を押すと、全画面表示とウィンドウ表示(1366×768)を切り替える。全画面では、1920×1080で描画した画像を画面全体に拡大表示する。
- H または F1 を押すと、ヘルプ画面を表示する。押すたびに「操作方法」「使用技術」「ライセンスと利用条件」の3ページを順に表示し、4回目で閉じる。
- V を押すか、マウスで右上のボタンをクリックすると、解説の対象とする人物を、画面に映っている次の人物へ切り替える。
- M を押すと、消音とその解除を切り替える。
- SPACE を押すと、次の演出モードへ切り替える。
- 1〜4 を押すと、演出モードを直接選ぶ(1:STARDUST 3D、2:FIREFLIES 3D、3:VORTEX 3D、4:CONSTELLATION 3D)。
- R を押すと、CSV記録の開始・停止を切り替える。保存先は、プログラムと同じフォルダ内の records フォルダである。
使用技術
MediaPipe Pose Landmarker(Google MediaPipe Tasks API)
画像から人物の身体ランドマークを推定するAIである。推論は2段階で行われる。まず人物検出モデルが人物を見つけ、次にランドマーク推定モデルが、その領域から33点の3次元ランドマークを推定する。本プログラムでは、最大4人の同時推定と人物領域マスクの出力を有効にしている。推論はCPUで行われる。
BlazePose GHUM 3D(学習済みモデル)
Pose Landmarker が使う学習済みモデルで、MobileNetV2 に類似した畳み込みニューラルネットワークである。人物の領域を256×256画素に変換して入力する。lite・full・heavy の3種類があり、ファイルサイズはそれぞれ約3 MB・6 MB・26 MBである。本プログラムでは full か heavy を選べる。奥行きの値は、3次元人体モデル GHUM を2次元の点に当てはめて得た合成データで学習されている。モデルカードは1人の人物を対象とするモデルとして記述されており、1枚の画像に複数人が写る場合を想定用途外としている。モデルは初回の利用時に、Googleの公式配布元から自動でダウンロードされる(モデルカード)。
One Euro フィルタ
推定座標の時系列を平滑化する手法である。動きが速いときは平滑化を弱め、遅いときは強める。これにより、静止時の揺れと移動時の遅れを両方小さくする。本プログラムでは、平滑化と同時に求めた時間微分を各関節の速度として使う。
カメラからの位置の推定
各関節の3次元座標(腰が原点)と画像上の位置が、ピンホールカメラモデルで対応するという条件から、腰のカメラ座標系での位置を、可視性が0.5を超える関節を用いた線形最小二乗法で求める。カメラの水平画角を仮定するため、結果は概算値である。可視性が0.5を超える点が8点未満の場合は、計算を行わない。
音の合成
NumPy で、正弦波、倍音、雑音、減衰の包絡線を毎回計算し、sounddevice(PortAudio)で再生する。持続する和音、低域だけを残した雑音による風の音、鐘の音、音高が上がっていく音を生成する。鐘の音などの効果音には、約0.23秒の遅延で左右に交差して返る残響が加わる。
描画
光の粒子は透視投影で描画し、ガウスぼかしを重ねて光の広がりを表現する。日本語の文字は Pillow で Windows 付属のフォントを使って描き、画面全体は Panda3D(OpenGL)で表示する。
ライセンスと利用条件
- MediaPipe:Apache License 2.0
- 姿勢推定モデル:モデルカードに Apache License 2.0 と記載されている。
- OpenCV:Apache 2.0、NumPy:BSD-3-Clause、Pillow:MIT-CMU、Panda3D:修正BSD、sounddevice:MIT
大学の授業・教育・研究では、各ライセンスの範囲で無償で利用・改変できる。成果を発表する際は、モデルカードに引用文献として記載されている BlazePose と GHUM の論文を引用することが望ましい。上記のライセンスはいずれも商用利用を認めているが、再配布する際はライセンス文と NOTICE を同梱する必要がある。モデルファイル(.task)単体の商用利用と再配布の条件については、2026年9月にGoogleの公式フォーラムへ質問が投稿されているが、2026年10月時点で公式の回答は確認できない。商用で使う場合は、Googleの規定を確認してから利用する。
実行上の注意点
- 動作環境は、Windows 10/11(64bit)、Webカメラ、スピーカーまたはヘッドホンである。
- 初回の起動時は、モデルのダウンロード(full は約6 MB、heavy は約26 MB)のためにネットワーク接続が必要である。モデルはプログラム(exe化した場合はexe)と同じフォルダの models フォルダに保存され、2回目以降はネットワークに接続していなくても動作する。ダウンロードが進まない場合は、接続を確認してから起動し直す。ネットワークに接続できないPCでは、https://storage.googleapis.com/mediapipe-models/pose_landmarker/pose_landmarker_full/float16/latest/pose_landmarker_full.task から取得したファイルを、models フォルダに pose_landmarker_full.task という名前で置く。
- カメラが見つからない場合は、起動画面にその旨が表示される。カメラを接続してから起動し直す。他のアプリケーションがカメラを使用していると一覧に表示されないことがあるため、そのアプリケーションを終了してから起動し直す。実際の解像度とフレームレートは、カメラの性能によって決まる。
- モデルカードは、カメラから約4 mより遠い人物、頭が映っていない場合、複数人が写った画像を想定外としている。本プログラムは最大4人を同時に推定するが、複数人のときは精度が下がる可能性がある。体験者には、カメラから4 m以内で、頭から足先までが映る位置に立ってもらう。複数人で体験する場合は、互いに重ならないように並んでもらう。逆光も精度を下げるため、避ける。
- 全身が映っていないと、カメラからの距離が算出されず、ジャンプとしゃがむが反応しない。反応しない場合は、カメラから離れて全身が映る位置に立ってもらう。
- 画面右側の解説図は、画面の右端に重ねて表示される。体験者には画面の中央から左寄りに立ってもらうと、姿が解説図に隠れない。
- しゃがみの判定に使う「普段の腰の高さ」は、数秒かけて現在の姿勢に追従する。そのため、反応するのはしゃがみ始めであり、しゃがんだ姿勢を続けても繰り返しは反応しない。
- 頭上の「約○m」、解説図④の距離、CSVの位置は、起動画面で設定した水平画角を仮定した概算値である。実測した距離と表示が大きく異なる場合は、カメラの仕様の水平画角を確認して設定し直す。
- 全画面では、1920×1080で描画した画像を拡大表示する。そのため、4Kディスプレイでも4K相当の精細さにはならない。縦横比が16:9でないディスプレイでは表示が伸びるため、16:9のディスプレイを使う。解説図の小さな文字はノートPCの画面(縦768画素)では読みにくい場合があるため、授業で離れた位置から読む場合は、大型ディスプレイで全画面表示にする。
- 音声出力装置の有無は、起動時にだけ確認する。起動後にスピーカーを接続しても音は出ないため、接続してから起動し直す。
- 映像はPC内で処理され、本プログラムは映像を保存・送信しない。CSVに記録されるのは座標などの数値だけである。ただし、MediaPipe Tasks API は性能と利用状況の指標をGoogleに送信し、その処理について利用者の同意を得る責任はアプリケーションの提供者にある旨が、PyPI に記載されている。展示で使う場合は、カメラで撮影・処理していることと、この指標の送信があることを掲示し、来場者の了解を得る。
- 推定値には誤差があり、モデルカードも人命に関わる判断を想定用途外としている。医療や安全確保など、人に影響する判断には用いない。
exeファイルの作成手順
cd /d c:\users\user\proj\3dmagic_mirror
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy mediapipe opencv-contrib-python pillow panda3d sounddevice
pyinstaller --onefile --clean --noconfirm --collect-all numpy --collect-all mediapipe --collect-all opencv-contrib-python --collect-all PIL --collect-all panda3d --collect-all sounddevice 3dmagic_mirror.py
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
ソースコード実行のための前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
以下を実行する。
REM MediaPipe 標準機能のインストール
pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install -U --no-user numpy mediapipe opencv-contrib-python pillow panda3d sounddevice
ソースコード
保存し、Visual Studio Code などで実行する。