YOLO11による2次元姿勢推定

概要

YOLO11-poseを使用して、カメラから人体17箇所のキーポイント(鼻、目、耳、肩、肘、手首、腰、膝、足首)をリアルタイム検出。Nano・Small・Medium・Large・Extra-Largeの5種類のモデルサイズで精度と処理速度のトレードオフを比較実験可能。Windows環境での実行手順、プログラムコード、実験アイデアを含む。

目次

概要

技術名: YOLO11-pose(You Only Look Once version 11 - Pose Estimation)

発表: 2024年9月27日、Ultralytics YOLO Vision 2024(YV24)にて発表された。

新規性・特徴: YOLO11-poseは、改良されたバックボーンネック設計を採用した姿勢推定技術である。Ultralyticsが公開しているベンチマークによれば、Mediumモデル(YOLO11m-pose)はYOLOv8m-poseと比較して22%少ないパラメータで同等以上の精度(mAP)を達成している。人体の17箇所のキーポイント(関節位置)の検出と対象人物の検出を、単一ネットワークによる1回の推論で同時に行う。エッジデバイスからクラウドプラットフォームまで幅広い環境で動作可能である。

技術革新:

アプリケーション例: スポーツ動作解析、リハビリテーション支援、フィットネスアプリ、モーションキャプチャ、姿勢矯正システム、建設現場安全監視

体験価値: カメラの前で様々なポーズを取ることで、人体の関節位置をAIが検出する過程を確認できる。異なるモデルサイズ間での精度と処理速度のトレードオフを比較することで、モデルサイズと性能の関係を把握できる。

事前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

インストールコマンドの実行方法

管理者権限コマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

インストールコマンドの実行方法

管理者権限コマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なパッケージのインストール

管理者権限コマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。以下のコマンドを実行する:

REM PyTorch をインストール(GPU対応版)
set "CUDA_TAG=cu128"
set "PYTHON_PATH=C:\Program Files\Python312"
"%PYTHON_PATH%\Scripts\pip" install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install --no-user -U ultralytics opencv-python pillow

プログラムコード

概要

本プログラムは、YOLO11を用いて動画から人体の姿勢をリアルタイムで推定するシステムである。Ultralyticsが提供するYOLO11の姿勢推定モデル[1]を使用し、動画の各フレームから人体の17箇所のキーポイントを検出する。入力源として動画ファイル、ウェブカメラ、サンプル動画の3種類に対応し、検出結果をリアルタイムで可視化する。

主要技術

YOLO11 (You Only Look Once version 11)

YOLO11は、Ultralyticsが2024年に発表した物体検出・姿勢推定モデルである[1]。YOLOv8の後継として、改良された特徴抽出機構と最適化された計算効率を実現している。本プログラムでは、yolo11n-pose.ptモデル(2.9Mパラメータ)を使用し、COCOデータセット[2]で定義された17個のキーポイント形式で人体姿勢を検出する。

COCO Keypoint形式

Microsoft COCOデータセット[2]で標準化された人体姿勢表現形式である。鼻、左右の目、耳、肩、肘、手首、腰、膝、足首の計17箇所を定義している。この形式は姿勢推定分野で広く採用されており、モデル間の互換性と評価の標準化を実現している。

技術的特徴

本実装には、以下の技術的特徴がある:

実装の特色

本実装には以下の機能が含まれる:

性能と制約

yolo11n-poseモデルは軽量版(nano)であり、2.9Mパラメータという小規模なモデルサイズでリアルタイム処理を実現している[1]。信頼度閾値は0.5に設定されており、この値を調整することで検出感度と精度のバランスを制御できる。低い閾値設定では検出数が増加するが、誤検出のリスクも上昇する。

参考文献

[1] Ultralytics. (2024). YOLO11. GitHub Repository. https://github.com/ultralytics/ultralytics

[2] Lin, T. Y., et al. (2014). Microsoft COCO: Common Objects in Context. European Conference on Computer Vision (ECCV), pp. 740-755. https://arxiv.org/abs/1405.0312

ソースコード

# プログラム名: YOLO11姿勢推定プログラム
# 特徴技術名: YOLO11 (You Only Look Once version 11)
# 出典: Ultralytics. (2024). YOLO11. https://github.com/ultralytics/ultralytics
# 特徴機能: Ultralyticsライブラリによる姿勢推定機能を利用
# 学習済みモデル: yolo11n-pose.pt(COCOデータセット17キーポイント学習済み、2.9Mパラメータ)URL: Ultralyticsライブラリが自動ダウンロード
# 方式設計:
#   - 関連利用技術: OpenCV(画像処理・表示)、NumPy(数値計算)、Pillow(日本語フォント描画)、PyTorch(GPU/CPU自動選択)
#   - 入力と出力: 入力: 動画(ユーザは「0:動画ファイル,1:カメラ,2:サンプル動画」のメニューで選択.0:動画ファイルの場合はtkinterでファイル選択.1の場合はOpenCVでカメラが開く.2の場合はhttps://raw.githubusercontent.com/opencv/opencv/master/samples/data/vtest.aviを使用)、出力: OpenCV画面でリアルタイム表示(検出された姿勢とキーポイント座標)、各フレームごとにprint()による処理結果表示、終了時にresult.txtファイルへ保存
#   - 処理手順: 1.動画フレーム取得、2.YOLO11推論、3.キーポイント抽出、4.可視化、5.結果表示
#   - 前処理、後処理: 前処理:適切なバックエンドによる低遅延フレーム取得、バッファサイズ1設定。後処理:信頼度0.5以上のキーポイントのみ表示、キーポイント名と座標の日本語フォント描画
#   - 調整を必要とする設定値: CONF_THRESHOLD(キーポイント検出の信頼度閾値、デフォルト0.5、低くすると検出数増加but誤検出も増加)
# 将来方策: 検出されたキーポイント数の時系列変化を監視し、安定して検出されるキーポイントの割合からCONF_THRESHOLDを動的に調整する機能の実装
# その他の重要事項: Windows環境専用(メイリオフォントによる日本語表示、DirectShowバックエンドを使用)、COCO形式17キーポイント(鼻、目、耳、肩、肘、手首、腰、膝、足首)
# 前準備: pip install ultralytics opencv-python pillow torch

import cv2
import numpy as np
from ultralytics import YOLO
import tkinter as tk
from tkinter import filedialog
import time
import urllib.request
from PIL import Image, ImageDraw, ImageFont
from datetime import datetime
import torch

# GPU/CPU自動選択
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'デバイス: {str(device)}')
# GPU使用時の最適化
if device.type == 'cuda':
    torch.backends.cudnn.benchmark = True

# 定数定義
MODEL_NAME = 'yolo11n-pose.pt'
CONF_THRESHOLD = 0.5  # キーポイント検出の信頼度閾値(0.0-1.0)
TEXT_COLOR_RGB = (0, 255, 0)  # PIL用RGB形式

# 人体17箇所キーポイント名称(COCO形式)
KEYPOINT_NAMES = [
    'nose', 'left_eye', 'right_eye', 'left_ear', 'right_ear',
    'left_shoulder', 'right_shoulder', 'left_elbow', 'right_elbow',
    'left_wrist', 'right_wrist', 'left_hip', 'right_hip',
    'left_knee', 'right_knee', 'left_ankle', 'right_ankle'
]

# 日本語キーポイント名称
KEYPOINT_NAMES_JP = [
    '鼻', '左目', '右目', '左耳', '右耳',
    '左肩', '右肩', '左肘', '右肘',
    '左手首', '右手首', '左腰', '右腰',
    '左膝', '右膝', '左足首', '右足首'
]

# キーポイント数定義と整合性チェック
NUM_KEYPOINTS = len(KEYPOINT_NAMES)
assert NUM_KEYPOINTS == len(KEYPOINT_NAMES_JP), "KEYPOINT_NAMESとKEYPOINT_NAMES_JPの長さが不一致である"

# プログラム開始時の説明
print('='*60)
print('YOLO11姿勢推定プログラム')
print('='*60)
print('概要説明:')
print('  動画から人体の17箇所のキーポイントを検出し、リアルタイム表示します')
print()
print('操作方法:')
print('  - メニューから入力ソースを選択(0:ファイル, 1:カメラ, 2:サンプル)')
print('  - qキー: プログラムを終了')
print()
print('注意事項:')
print('  - 検出結果は各フレームごとにコンソール表示')
print('  - 終了時にresult.txtへ自動保存')
print('='*60)
print()

# YOLO11モデルのロード
print('YOLO11モデルをロード中...')
model = YOLO(MODEL_NAME)
model.to(device)
model.eval()
print(f"モデル '{MODEL_NAME}' のロードが完了しました")
print()

# フォント設定
FONT_PATH = 'C:/Windows/Fonts/meiryo.ttc'
FONT_SIZE = 16
try:
    font = ImageFont.truetype(FONT_PATH, FONT_SIZE)
except:
    font = None
    print('警告: 日本語フォントの読み込みに失敗しました')

# 結果記録用
frame_count = 0
results_log = []

def video_frame_processing(frame):
    global frame_count
    current_time = time.time()
    frame_count += 1

    # YOLO11による姿勢推定実行
    result = model(frame)[0]
    processed_frame = result.plot()

    # キーポイント処理(複数人物対応)
    keypoint_count = 0
    person_count = 0

    keypoints = result.keypoints
    if keypoints is not None:
        keypoints_data = keypoints.data.detach().cpu().numpy()

        if keypoints_data.ndim == 3 and keypoints_data.shape[1] == NUM_KEYPOINTS:
            # 人数を一括取得
            person_count = int(keypoints_data.shape[0])

            # 1フレームにつき1回だけBGR↔RGB変換してPILで描画
            if font is not None:
                img_pil = Image.fromarray(cv2.cvtColor(processed_frame, cv2.COLOR_BGR2RGB))
                draw = ImageDraw.Draw(img_pil)

            for person_idx in range(person_count):
                for i in range(NUM_KEYPOINTS):
                    keypoint = keypoints_data[person_idx, i]
                    if len(keypoint) >= 3:
                        x, y, conf = keypoint[:3]
                        if conf > CONF_THRESHOLD:
                            if font is not None:
                                text = f'P{person_idx}:{KEYPOINT_NAMES_JP[i]}({x:.0f},{y:.0f})'
                                draw.text((int(x), int(y)), text, font=font, fill=TEXT_COLOR_RGB)
                            keypoint_count += 1

            if font is not None:
                processed_frame = cv2.cvtColor(np.array(img_pil), cv2.COLOR_RGB2BGR)

    # 結果の整形
    if person_count > 0:
        result_str = f'検出人数:{person_count}, キーポイント数:{keypoint_count}'
    else:
        result_str = '人物未検出'

    return processed_frame, result_str, current_time

print('入力ソースを選択してください:')
print('0: 動画ファイル')
print('1: カメラ')
print('2: サンプル動画')

choice = input('選択: ')

if choice == '0':
    root = tk.Tk()
    root.withdraw()
    path = filedialog.askopenfilename()
    if not path:
        exit()
    cap = cv2.VideoCapture(path)
elif choice == '1':
    cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
    if not cap.isOpened():
        cap = cv2.VideoCapture(0)
    cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
else:
    # サンプル動画ダウンロード・処理
    SAMPLE_URL = 'https://raw.githubusercontent.com/opencv/opencv/master/samples/data/vtest.avi'
    SAMPLE_FILE = 'vtest.avi'
    urllib.request.urlretrieve(SAMPLE_URL, SAMPLE_FILE)
    cap = cv2.VideoCapture(SAMPLE_FILE)

if not cap.isOpened():
    print('動画ファイル・カメラを開けませんでした')
    exit()

# メイン処理
print('\n=== 動画処理開始 ===')
print('操作方法:')
print('  q キー: プログラム終了')

MAIN_FUNC_DESC = "YOLO11姿勢推定"

try:
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        processed_frame, result_str, current_time = video_frame_processing(frame)
        cv2.imshow(MAIN_FUNC_DESC, processed_frame)
        if choice == '1':  # カメラの場合
            print(datetime.fromtimestamp(current_time).strftime("%Y-%m-%d %H:%M:%S.%f")[:-3], result_str)
        else:  # 動画ファイルの場合
            print(frame_count, result_str)
        results_log.append(result_str)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
finally:
    print('\n=== プログラム終了 ===')
    cap.release()
    cv2.destroyAllWindows()
    if results_log:
        with open('result.txt', 'w', encoding='utf-8') as f:
            f.write('=== 結果 ===\n')
            f.write(f'処理フレーム数: {frame_count}\n')
            f.write(f'使用デバイス: {str(device).upper()}\n')
            if device.type == 'cuda':
                f.write(f'GPU: {torch.cuda.get_device_name(0)}\n')
            f.write('\n')
            f.write('\n'.join(results_log))
        print(f'\n処理結果をresult.txtに保存しました')

使用方法

  1. プログラムを実行すると、入力ソース(0:動画ファイル、1:カメラ、2:サンプル動画)を選択するプロンプトが表示される
  2. 入力ソースを選択すると、映像の再生または撮影が開始され、リアルタイムで姿勢推定が行われる
  3. 人物に向かって様々なポーズを取ると、17箇所のキーポイントが検出・表示される
  4. 各キーポイントには人物番号、キーポイント名称、座標(ピクセル単位)が表示される
  5. 'q'キーを押すとプログラムが終了する

実験・探求のアイデア

YOLO11モデル選択実験

プログラム冒頭のMODEL_NAMEを変更することで、異なるYOLO11モデルを比較できる:

Enhanced Feature Extraction検証実験

YOLO11の改良された特徴抽出能力を検証:

検出閾値調整実験

CONF_THRESHOLDの値(0.0-1.0)を変更することで、検出感度を調整できる:

体験・実験・探求のアイデア

精度と効率性の比較実験: 異なるYOLO11モデル(n, s, m, l, x)で同じ動作を行い、モデルサイズによる精度と処理速度の違いを比較する

環境適応性実験:

高度なポーズ検出実験:

リアルタイム応用実験: リアルタイム処理性能を活かした応用アイデアの検討

複数人同時検出: 複数人が同時に映る場面でのキーポイント検出精度と処理速度を確認する

建設現場安全監視シミュレーション: 危険姿勢(しゃがみ、前屈等)の自動検出実験