![[kaneko lab.]](https://www.kkaneko.jp/info/logo_png.png){kind=logo}
MMPose のインストールと動作確認（姿勢推定，関節角度の推定）（PyTorch，Python を使用）（Windows 上）
前準備
Build Tools for Visual Studio 2022 のインストール（Windows 上）
Build Tools for Visual Studio は，Visual Studio の IDE を含まない C/C++ コンパイラ，ライブラリ，ビルドツール等のコマンドライン向け開発ツールセットである。
以下のコマンドを管理者権限のコマンドプロンプトで実行する
（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。
REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"
REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
winget install --id Microsoft.VisualStudio.2022.BuildTools --accept-source-agreements --accept-package-agreements ^
--override "--passive --wait --norestart --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.ComponentGroup.ClangCL --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.Windows11SDK.26100"--add で追加されるコンポーネント
上記のコマンドでは，まず Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし，次に setup.exe を用いて以下のコンポーネントを追加している。
VCTools：C++ デスクトップ開発ワークロード（--includeRecommendedにより、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる）VC.Llvm.Clang：Windows 向け C++ Clang コンパイラClangCL：clang-cl ツールセットを含むコンポーネントグループ（MSBuild から Clang を使用するために必要）VC.CMake.Project：Windows 向け C++ CMake ツールWindows11SDK.26100：Windows 11 SDK（ビルド 10.0.26100）
インストール完了の確認
winget list Microsoft.VisualStudio.2022.BuildTools上記以外の追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。
Visual Studio の機能を必要とする場合は、追加インストールできる。
Python 3.12 のインストール（Windows 上） [クリックして展開]
以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。
方法1：winget によるインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。
方法2：インストーラーによるインストール
- Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --versionバージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Git のインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"
【関連する外部ページ】
- Git の公式ページ: https://git-scm.com/
Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN 8.9.7 のインストール（Windows 上）
【サイト内の関連ページ】 NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．
- Windows での Build Tools for Visual Studio 2022 のインストール: 別ページ »で説明
- Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.9.7 のインストール手順: 別ページ »で説明
【関連する外部ページ】
- Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
- NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
- NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
- NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
PyTorch のインストール（Windows 上）
- 以下の手順を管理者権限のコマンドプロンプトで実行する
（手順：Windowsキーまたはスタートメニュー →
cmdと入力 → 右クリック → 「管理者として実行」）。 - PyTorch のページを確認
- 次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドを使う）．
次のコマンドを実行することにより， PyTorch 2.3 （NVIDIA CUDA 11.8 用）がインストールされる． 但し，Anaconda3を使いたい場合には別手順になる．
事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする）．
PyTorch で，GPU が動作している場合には，「torch.cuda.is_available()」により，True が表示される．
python -m pip install -U --ignore-installed pip python -m pip uninstall -y torch torchvision torchaudio torchtext xformers python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
Anaconda3を使いたい場合には， Anaconda プロンプト (Anaconda Prompt) を管理者として実行し， 次のコマンドを実行する． （PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため，Anaconda3を使わないことも検討して欲しい）．conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia py -c "import torch; print(torch.__version__, torch.cuda.is_available())"【サイト内の関連ページ】
【関連する外部ページ】
MMPose のインストール（Windows 上）
インストールの方法は複数ある． ここでは， NVIDIA CUDA ツールキットを使うことも考え， インストールしやすい方法として，ソースコードからビルドしてインストールする方法を案内している．
- 以下の手順を管理者権限のコマンドプロンプトで実行する
（手順：Windowsキーまたはスタートメニュー →
cmdと入力 → 右クリック → 「管理者として実行」）。 - PyTorch がインストールできていることを確認するために，PyTorch のバージョンを表示
python -c "import torch; TORCH_VERSION = '.'.join(torch.__version__.split('.')[:2]); print(TORCH_VERSION)"
- PyTorch が NVIDIA CUDA ツールキットを認識できていることを確認するために，
PyTorch が認識しているNVIDIA CUDA ツールキット のバージョンを表示
このとき，実際には 11.8 をインストールしているのに，「cu117」のように古いバージョンが表示されることがある．このような場合は，気にせずに続行する．
python -c "import torch; CUDA_VERSION = torch.__version__.split('+')[-1]; print(CUDA_VERSION)"
- MIM，MMPose のインストール
インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による
python -m pip install -U --ignore-installed pip python -m pip uninstall -y openmim mmcv mmcv-full opencv-python opencv-python-headless python -m pip install -U openmim opencv-python cd /d c:%HOMEPATH% rmdir /s /q mmpose git clone https://github.com/open-mmlab/mmpose.git cd mmpose mim uninstall -y mmpose pip install -r requirements.txt mim install -e . mim list
- MOT evaluation のインストール
python -m pip install git+https://github.com/JonathonLuiten/TrackEval.git
MMPose の動作確認（Windows 上）
- 次のコマンドを実行
cd /d c:%HOMEPATH% cd mmpose python demo\topdown_demo_with_mmdet.py ^ demo\mmdetection_cfg\faster_rcnn_r50_fpn_coco.py ^ https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth ^ configs/body_2d_keypoint/topdown_heatmap/coco/td-hm_hrnet-w48_8xb32-210e_coco-256x192.py ^ https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth ^ --input tests\data\coco\000000000785.jpg ^ --output-root vis_results
- vis_results の下に結果が保存されるので確認
ビデオファイルから３次元の姿勢推定を行ってみる（MMPose，学習済みモデルを使用）
- 以下の手順を管理者権限のコマンドプロンプトで実行する
（手順：Windowsキーまたはスタートメニュー →
cmdと入力 → 右クリック → 「管理者として実行」）。 - MMPose のソースコード等のファイルをダウンロード
cd /d c:%HOMEPATH% rmdir /s /q mmpose git clone https://github.com/open-mmlab/mmpose.git cd mmpose python -m pip install -r requirements.txt python setup.py develop - 使用するプログラムの準備
MMPose の機能を利用．
公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/3d_human_pose_demo.md で説明されているプログラムを使用．
３次元の座標値を表示するように， 次のように， ファイル名: body3d_two_stage_video_demo.py のファイルの 475 行目に，print(pose_lift_results_vis) の 1行を追加．字下げも正しく．
書き換えが終わったら上書き保存
cd /d c:%HOMEPATH% cd mmpose cd demo notepad body3d_two_stage_video_demo.py
- 姿勢推定の実行
処理するビデオファイル名は， ここでは，demo/resources/demo.mp4 にしている．自分が処理したいものを設定すること．
cd /d c:%HOMEPATH% cd mmpose python demo/body3d_two_stage_video_demo.py ^ demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py ^ https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth ^ configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py ^ https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth ^ configs/body/3d_kpt_sview_rgb_vid/video_pose_lift/h36m/videopose3d_h36m_243frames_fullconv_supervised_cpn_ft.py ^ https://download.openmmlab.com/mmpose/body3d/videopose/videopose_h36m_243frames_fullconv_supervised_cpn_ft-88f5abbb_20210527.pth ^ --video-path demo/resources/demo.mp4 ^ --out-video-root vis_results ^ --rebase-keypoint-height
- 関節角度の計算
関節角度の計算は，次の手順になる．
- 3つの関節を選択
3つの関節が必要．13, 8, 16 を選択
- 関節間のベクトルを計算
import math
vector1 = (x13 - x8, y13 - y8, z13 - z8)
length1 = math.sqrt(vector1[0]**2 + vector1[1]**2 + vector1[2]**2)
vector2 = (x16 - x8, y16 - y8, z16 - z8)
length2 = math.sqrt(vector2[0]**2 + vector2[1]**2 + vector2[2]**2)
(x13, y13, z13)は13番目の関節の座標であり、(x8, y8, z8)は8番目の関節の座標であり， (x16, y16, z16)は16番目の関節の座標
- ２つのベクトルの内積を計算
dot_product = vector1[0] * vector2[0] + vector1[1] * vector2[1] + vector1[2] * vector2[2]
- 内積から角度を計算
angle = math.acos(dot_product / (length1 * length2))
ここで、length1とlength2は、前の手順で計算した2つのベクトルの大きさです。
関節角度の計算を行うために， まず，先ほどのプログラムをエディタで開く．
cd /d c:%HOMEPATH% cd mmpose cd demo notepad body3d_two_stage_video_demo.py先ほどのプログラムを次のように書き換える．書き換えが終わったら上書き保存
- 11行目に次の１行を追加
import math - 475行目のところに，次を追加
if pose_lift_results_vis: first_obj = pose_lift_results_vis[0] keypoints = first_obj['keypoints'] keypoints_3d = first_obj['keypoints_3d'] vector1 = (keypoints_3d[13][0] - keypoints_3d[8][0], keypoints_3d[13][1] - keypoints_3d[8][1], keypoints_3d[13][2] - keypoints_3d[8][2]) length1 = math.sqrt(vector1[0]**2 + vector1[1]**2 + vector1[2]**2) vector2 = (keypoints_3d[16][0] - keypoints_3d[8][0], keypoints_3d[16][1] - keypoints_3d[8][1], keypoints_3d[16][2] - keypoints_3d[8][2]) length2 = math.sqrt(vector2[0]**2 + vector2[1]**2 + vector2[2]**2) dot_product = vector1[0] * vector2[0] + vector1[1] * vector2[1] + vector1[2] * vector2[2] angle = math.acos(dot_product / (length1 * length2)) degree = angle * 180 / math.pi print("degree = ", round(degree, 1))
- 3つの関節を選択
- 姿勢推定の実行
先ほどと同じプログラムを，同じオプションで実行
処理するビデオファイル名は， ここでは，demo/resources/demo.mp4 にしている．自分が処理したいものを設定すること．
cd /d c:%HOMEPATH% cd mmpose python demo/body3d_two_stage_video_demo.py ^ demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py ^ https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth ^ configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py ^ https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth ^ configs/body/3d_kpt_sview_rgb_vid/video_pose_lift/h36m/videopose3d_h36m_243frames_fullconv_supervised_cpn_ft.py ^ https://download.openmmlab.com/mmpose/body3d/videopose/videopose_h36m_243frames_fullconv_supervised_cpn_ft-88f5abbb_20210527.pth ^ --video-path demo/resources/demo.mp4 ^ --out-video-root vis_results ^ --rebase-keypoint-height
- 元のビデオの確認
demo\resources\demo.mp4
- 結果の確認
vis_results\vis_demo.mp4
- 以下の手順を管理者権限のコマンドプロンプトで実行する
（手順：Windowsキーまたはスタートメニュー →