RT-DETRv2による物体検出

REM Python をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent
REM Python のパス設定
set "PYTHON_PATH=C:\Program Files\Python312"
set "PYTHON_SCRIPTS_PATH=C:\Program Files\Python312\Scripts"
echo "%PATH%" | find /i "%PYTHON_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_PATH%" /M >nul
echo "%PATH%" | find /i "%PYTHON_SCRIPTS_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_SCRIPTS_PATH%" /M >nul

winget install --scope machine Codeium.Windsurf -e --silent

# プログラム名: RT-DETRv2物体検出プログラム
# 特徴技術名: RT-DETRv2 (Real-Time Detection Transformer version 2)
# 出典: W. Lv, Y. Zhao, Q. Chang, K. Huang, G. Wang, and Y. Liu, "RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer," arXiv preprint arXiv:2407.17140, 2024.
# 特徴機能: Bag-of-Freebiesによる改良ベースラインと選択的マルチスケール特徴抽出による物体検出
# 学習済みモデル: PekingU/rtdetr_v2_r50vd（RT-DETRv2 ResNet-50ベース、Hugging Face Transformers、URL: https://huggingface.co/PekingU/rtdetr_v2_r50vd）
# 方式設計:
#   - 関連利用技術:
#     - PyTorch: 深層学習フレームワーク、CUDA対応によるGPU加速
#     - Transformers: Hugging Face Transformersライブラリ
#     - OpenCV: 画像処理、カメラ制御、描画処理、動画入出力管理
#   - 入力と出力: 入力: 動画（ユーザは「0:動画ファイル，1:カメラ，2:サンプル動画」のメニューで選択．0:動画ファイルの場合はtkinterでファイル選択．1の場合はOpenCVでカメラが開く．2の場合はhttps://github.com/opencv/opencv/raw/master/samples/data/vtest.aviを使用）、出力: OpenCV画面でリアルタイム表示（検出したオブジェクトをバウンディングボックスで表示）、1秒間隔でprint()による処理結果表示、プログラム終了時にresult.txtファイルに保存
#   - 処理手順: 1.フレーム取得、2.RT-DETRv2推論実行、3.COCO 80クラス全体の検出、4.信頼度閾値による選別、5.バウンディングボックス描画
#   - 前処理、後処理: 前処理：PIL Imageへの変換、プロセッサによる画像処理。後処理：プロセッサのpost_process_object_detection()による結果処理。信頼度による閾値フィルタリングのみ実施
#   - 追加処理: CUDA/CPU自動検出機能により、GPU搭載環境では自動的に処理速度向上。検出結果の信頼度降順ソートにより重要な検出を優先表示
#   - 調整を必要とする設定値: CONF_THRESHOLD（オブジェクト検出信頼度閾値、デフォルト0.25）- 値を上げると誤検出が減少するが検出漏れが増加
# 将来方策: CONF_THRESHOLDの動的調整機能。フレーム毎の検出数を監視し、検出数が閾値を超えた場合は信頼度を上げ、検出数が少ない場合は下げる適応的制御の実装
# その他の重要事項: Windows環境専用設計、CUDA対応GPU推奨（自動検出・CPUフォールバック機能付き）、初回実行時は学習済みモデルの自動ダウンロード
# 設定値
# MODEL_NAME = 'PekingU/rtdetr_v2_r50vd' # モデル選択: RT-DETRv2 ResNet-50ベースモデル
# CONF_THRESHOLD = 0.25 # 信頼度閾値: 検出感度調整（0.1～0.9、低い値=多検出・誤検出増、高い値=確実な検出のみ、推奨範囲0.2～0.5）
# SAMPLE_VIDEO_URL = 'https://github.com/opencv/opencv/raw/master/samples/data/vtest.avi' # サンプル動画URL（OpenCV公式テスト動画）
# SAMPLE_VIDEO_FILE = 'vtest.avi' # ダウンロードファイル名
# def video_processing(frame):
#     frame_pil = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
#     inputs = processor(images=frame_pil, return_tensors='pt').to(device)
#     with torch.no_grad():
#         outputs = model(**inputs)
#     target_sizes = torch.tensor([frame.shape[:2]]).to(device)
#     results = processor.post_process_object_detection(outputs, target_sizes=target_sizes, threshold=CONF_THRESHOLD)[0]
#     return results
# 前準備:
#   - pip install -U torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
#   - pip install transformers opencv-python numpy pillow

import cv2
import tkinter as tk
from tkinter import filedialog
import os
import torch
import numpy as np
from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor
from PIL import Image
import warnings
import time
import urllib.request

warnings.filterwarnings('ignore')

# ===== 設定・定数管理 =====
# RT-DETRv2モデル設定
MODEL_NAME = 'PekingU/rtdetr_v2_r50vd'

# モデル情報
MODEL_INFO = {
    'name': 'RT-DETRv2 ResNet-50',
    'desc': 'COCO事前学習済みモデル'
}

# COCO 80クラス名
COCO_CLASSES = [
    'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus', 'train', 'truck', 'boat', 'traffic light',
    'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
    'elephant', 'bear', 'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie', 'suitcase', 'frisbee',
    'skis', 'snowboard', 'sports ball', 'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard',
    'tennis racket', 'bottle', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple',
    'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza', 'donut', 'cake', 'chair', 'couch',
    'potted plant', 'bed', 'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
    'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors', 'teddy bear',
    'hair drier', 'toothbrush'
]

# クラスごとの色生成（HSVからBGRに変換）
def generate_colors(num_classes):
    colors = []
    for i in range(num_classes):
        hue = int(180.0 * i / num_classes)
        hsv = np.uint8([[[hue, 255, 255]]])
        bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)[0][0]
        colors.append((int(bgr[0]), int(bgr[1]), int(bgr[2])))
    return colors

CLASS_COLORS = generate_colors(len(COCO_CLASSES))

SAMPLE_VIDEO_URL = 'https://github.com/opencv/opencv/raw/master/samples/data/vtest.avi'
SAMPLE_VIDEO_FILE = 'vtest.avi'
RESULT_FILE = 'result.txt'

# カメラ設定
WINDOW_WIDTH = 1280  # カメラ解像度幅
WINDOW_HEIGHT = 720  # カメラ解像度高さ
FPS = 30  # フレームレート

# 検出パラメータ（調整可能）
CONF_THRESHOLD = 0.25  # オブジェクト検出信頼度閾値（0.0-1.0）

# 表示設定
PRINT_INTERVAL = 1.0  # 結果出力間隔（秒）


# プログラム概要表示
print('=== RT-DETRv2オブジェクト検出プログラム ===')
print('概要: リアルタイムでオブジェクトを検出し、バウンディングボックスで表示します')
print('機能: RT-DETRv2によるオブジェクト検出（COCOデータセット80クラス）')
print('操作: qキーで終了')
print('出力: 1秒間隔での処理結果表示、終了時にresult.txt保存')
print()

# システム初期化
print('システム初期化中...')
start_time = time.time()

# GPU/CPU自動選択
if torch.cuda.is_available():
    device = 'cuda'
    print(f'GPU検出: {torch.cuda.get_device_name(0)}')
    print(f'CUDA バージョン: {torch.version.cuda}')
else:
    device = 'cpu'
    print('GPUが利用できません。CPUモードで実行します')

# RT-DETRv2モデル初期化
try:
    print(f'RT-DETRv2モデルを初期化中...')
    model = RTDetrV2ForObjectDetection.from_pretrained(MODEL_NAME)
    processor = RTDetrImageProcessor.from_pretrained(MODEL_NAME)
    # デバイスにモデルを移動
    model.to(device)
    print(f'RT-DETRv2モデルの初期化が完了しました')
    print(f'モデル: {MODEL_INFO["name"]} ({MODEL_INFO["desc"]})')
except Exception as e:
    print(f'RT-DETRv2モデルの初期化に失敗しました')
    print(f'エラー: {e}')
    exit()

print(f'{device.upper()}使用モード')
print('初期化完了')
print()

# グローバル変数
frame_count = 0
last_print_time = time.time()
results_log = []


def video_processing(frame):
    """フレーム処理メイン関数"""
    global frame_count, last_print_time, results_log

    frame_count += 1

    # 画像前処理
    frame_pil = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    inputs = processor(images=frame_pil, return_tensors='pt').to(device)

    # 物体検出の実行
    with torch.no_grad():
        outputs = model(**inputs)

    # 結果処理
    target_sizes = torch.tensor([frame.shape[:2]]).to(device)
    results = processor.post_process_object_detection(outputs, target_sizes=target_sizes, threshold=CONF_THRESHOLD)[0]

    objects = []

    if len(results['boxes']) > 0:
        boxes = results['boxes'].cpu().numpy()
        scores = results['scores'].cpu().numpy()
        labels = results['labels'].cpu().numpy()

        # 信頼度でソート（降順）
        sorted_indices = np.argsort(scores)[::-1]
        boxes = boxes[sorted_indices]
        scores = scores[sorted_indices]
        labels = labels[sorted_indices]

        # 各オブジェクトの処理
        for i, (box, score, label) in enumerate(zip(boxes, scores, labels)):
            if score > CONF_THRESHOLD:
                x1, y1, x2, y2 = map(int, box)
                class_id = int(label)
                object_data = {
                    'box': (x1, y1, x2, y2),
                    'detection_conf': score,
                    'class_id': class_id,
                    'class_name': COCO_CLASSES[class_id]
                }
                objects.append(object_data)

    # 1秒間隔での出力
    current_time = time.time()
    if objects and current_time - last_print_time >= PRINT_INTERVAL:
        # クラス別検出数をカウント
        class_counts = {}
        for obj in objects:
            class_name = obj['class_name']
            class_counts[class_name] = class_counts.get(class_name, 0) + 1

        output = f'フレーム {frame_count}: {len(objects)}個検出'
        for class_name, count in class_counts.items():
            output += f' | {class_name}: {count}個'
        print(output)

        results_log.append(output)
        last_print_time = current_time

    # 描画処理
    for i, obj in enumerate(objects):
        x1, y1, x2, y2 = obj['box']
        class_id = obj['class_id']
        class_name = obj['class_name']
        color = CLASS_COLORS[class_id]

        # バウンディングボックス
        cv2.rectangle(frame, (x1, y1), (x2, y2), color, 2)

        # ラベル表示
        label1 = f'{class_name}'
        label2 = f'Conf:{obj["detection_conf"]:.1%}'

        cv2.putText(frame, label1, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.7, color, 2)
        cv2.putText(frame, label2, (x1, y2+15), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (255, 255, 255), 1)

    # システム情報表示
    info1 = f'RT-DETRv2 ({device.upper()}) | Frame: {frame_count} | Objects: {len(objects)}'
    info2 = 'Press: q=Quit'

    cv2.putText(frame, info1, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 255, 255), 2)
    cv2.putText(frame, info2, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 0), 1)

    return frame


# 入力選択
print('0: 動画ファイル')
print('1: カメラ')
print('2: サンプル動画')

choice = input('選択: ')
temp_file = None

if choice == '0':
    root = tk.Tk()
    root.withdraw()
    path = filedialog.askopenfilename()
    if not path:
        exit()
    cap = cv2.VideoCapture(path)
    if not cap.isOpened():
        print(f'動画ファイルを開けませんでした: {path}')
        exit()
elif choice == '1':
    cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
    cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
    cap.set(cv2.CAP_PROP_FRAME_WIDTH, WINDOW_WIDTH)
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, WINDOW_HEIGHT)
    cap.set(cv2.CAP_PROP_FPS, FPS)
    if not cap.isOpened():
        print('カメラを開けませんでした')
        exit()
elif choice == '2':
    # サンプル動画ダウンロード・処理
    try:
        urllib.request.urlretrieve(SAMPLE_VIDEO_URL, SAMPLE_VIDEO_FILE)
        temp_file = SAMPLE_VIDEO_FILE
        cap = cv2.VideoCapture(SAMPLE_VIDEO_FILE)
        if not cap.isOpened():
            print(f'サンプル動画を開けませんでした: {SAMPLE_VIDEO_FILE}')
            exit()
        print('サンプル動画のダウンロードが完了しました')
    except Exception as e:
        print(f'動画のダウンロードに失敗しました: {SAMPLE_VIDEO_URL}')
        print(f'エラー: {e}')
        exit()
else:
    print('無効な選択です')
    exit()

# 動画処理開始メッセージ
print('\n=== 動画処理開始 ===')
print('操作方法:')
print('  q キー: プログラム終了')
print()

# メイン処理
try:
    while True:
        cap.grab()
        ret, frame = cap.retrieve()
        if not ret:
            break

        processed_frame = video_processing(frame)
        cv2.imshow('RT-DETRv2 Object Detection', processed_frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
finally:
    cap.release()
    cv2.destroyAllWindows()

    # 結果保存
    if results_log:
        with open(RESULT_FILE, 'w', encoding='utf-8') as f:
            f.write('=== RT-DETRv2オブジェクト検出結果 ===\n')
            f.write(f'処理フレーム数: {frame_count}\n')
            f.write(f'使用デバイス: {device.upper()}\n')
            if device == 'cuda':
                f.write(f'GPU: {torch.cuda.get_device_name(0)}\n')
            f.write('\n')
            f.write('\n'.join(results_log))

        print(f'\n処理結果を{RESULT_FILE}に保存しました')

    if temp_file and os.path.exists(temp_file):
        os.remove(temp_file)

print('\n=== プログラム終了 ===')