BiRefNet による動画用オブジェクト顕著性検出(ソースコードと実行結果)
【概要】
動画の各フレームから、人の視覚的注意を引く領域(顕著性領域)を検出するPythonプログラムを扱う。顕著性検出にはBiRefNetを用いる。BiRefNetは、高解像度の入力に対して物体の境界を細かく捉える二方向参照(Bilateral Reference)の仕組みを持ち、顕著性物体検出(SOD)を含む複数のタスクで高い精度を示す。学習済みモデルはHugging Face Hubから自動で取得されるため、手作業でのモデル配置は不要である。検出結果はカラーマップで色付けして表示し、フレーム間の指数移動平均によって表示のちらつきを抑える。
【目次】
- 第1章 Python開発環境,ライブラリ類
- 第2章 Python 3.12 のインストール
- 第3章 Python の開発環境 Visual Studio Code のインストールと Python 用の設定
- 第4章 BiRefNet による動画用オブジェクト顕著性検出プログラム
【関連する外部ページ】
- BiRefNet の学習済みモデル(Hugging Face): https://huggingface.co/ZhengPeng7/BiRefNet_lite
- BiRefNet の公式リポジトリ: https://github.com/ZhengPeng7/BiRefNet
- BiRefNet の論文: https://arxiv.org/abs/2401.03407
【サイト内の関連情報】
第1章 Python開発環境,ライブラリ類
ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.html で解説している。
第2章 Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
第3章 Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
起動したコマンドプロンプトで次を実行する。--no-user は、ユーザ領域ではなくシステム領域へインストールするオプションである。timm、einops、kornia は、BiRefNetのモデル定義が読み込む部品である。
REM PyTorch をインストール(GPU対応版)
set "CUDA_TAG=cu128"
set "PYTHON_PATH=C:\Program Files\Python312"
"%PYTHON_PATH%\Scripts\pip" install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/%CUDA_TAG%
"%PYTHON_PATH%\Scripts\pip" install --no-user -U transformers timm einops kornia opencv-python pillow
学習済みモデルの取得
学習済みモデル ZhengPeng7/BiRefNet_lite(約178MB)は、プログラムの初回実行時にHugging Face Hubから自動でダウンロードされ、以後はキャッシュが使われる。手作業でのダウンロードや配置は不要である。モデルの詳細は https://huggingface.co/ZhengPeng7/BiRefNet_lite で公開されている。
第4章 BiRefNet による動画用オブジェクト顕著性検出プログラム
概要
動画の各フレームから人の視覚的注意を引く領域を検出する。BiRefNetの学習済みモデルにより、物体の境界を細かく認識し、背景から主要な物体を分離する。時間的フィルタリングにより、フレーム間の一貫性を保ちながら動画全体で安定した顕著性検出を実現する。
主要技術
- BiRefNet(Bilateral Reference Network)
二方向参照(Bilateral Reference)を用いた高解像度向けの物体分割手法である[1]。局所参照(元画像の細部を復元時に参照する仕組み)と内在参照(勾配情報を手がかりに境界へ注意を向ける仕組み)を組み合わせることで、細い構造や複雑な輪郭を保ったまま分割する。1024×1024の入力を前提として設計されており、DIS(二値分割)、HRSOD(高解像度顕著性物体検出)、COD(カモフラージュ物体検出)の各タスクで高い精度が報告されている。ここでは軽量版の
BiRefNet_liteを用いる。 - 時間的フィルタリング
指数移動平均(Exponential Moving Average、直前の結果と現在の結果を重み付けして平均する処理)を用いて連続するフレーム間の顕著性マップを平滑化する。現在フレームと前フレームの顕著性マップを重み付き平均することで、動画における急激な変化を抑制し、視覚的に安定した出力を生成する。
参考文献
[1] Zheng, P., Gao, D., Fan, D.-P., Liu, L., Laaksonen, J., Ouyang, W., & Sebe, N. (2024). Bilateral Reference for High-Resolution Dichotomous Image Segmentation. CAAI Artificial Intelligence Research, 3, 9150038.
[2] Borji, A., Cheng, M. M., Jiang, H., & Li, J. (2015). Salient object detection: A benchmark. IEEE Transactions on Image Processing, 24(12), 5706-5722.
ソースコード
# プログラム名: BiRefNet による動画用オブジェクト顕著性検出プログラム
# 特徴技術名: BiRefNet (Bilateral Reference Network)
# 出典: Zheng, P., Gao, D., Fan, D.-P., Liu, L., Laaksonen, J., Ouyang, W., & Sebe, N. (2024). Bilateral Reference for High-Resolution Dichotomous Image Segmentation. CAAI Artificial Intelligence Research, 3, 9150038
# 特徴機能: 局所参照と内在参照を組み合わせた二方向参照により、1024x1024の高解像度入力で物体の細部と境界を保ったまま前景を分割。DIS・HRSOD・CODの各タスクで高精度を達成
# 学習済みモデル: ZhengPeng7/BiRefNet_lite(約178MB、Swin Transformer Tinyを特徴抽出器とする軽量版、Hugging Face Hubから自動ダウンロード)、https://huggingface.co/ZhengPeng7/BiRefNet_lite
# 方式設計:
# 関連利用技術: OpenCV(動画処理・表示、BGR形式画像処理)、PyTorch(深層学習推論エンジン)、torchvision(入力画像の変換)、PIL(画像形式変換、日本語フォント描画)、NumPy(配列演算)
# 入力と出力: 入力: 動画(ユーザは「0:動画ファイル,1:カメラ,2:サンプル動画」のメニューで選択.0:動画ファイルの場合はtkinterでファイル選択.1の場合はOpenCVでカメラが開く.2の場合はhttps://github.com/opencv/opencv/blob/master/samples/data/vtest.aviを使用)、出力: 処理結果が画像化できる場合にはOpenCV画面でリアルタイムに表示.OpenCV画面内に処理結果をテキストで表示.さらに,各フレームごとに,print()で処理結果を表示.プログラム終了時にprint()で表示した処理結果をresult.txtファイルに保存し,「result.txtに保存」したことをprint()で表示.プログラム開始時に,プログラムの概要,ユーザが行う必要がある操作(もしあれば)をprint()で表示
# 処理手順: フレーム取得→前処理(1024x1024リサイズ・ImageNet統計で正規化)→BiRefNet推論→後処理(Sigmoid活性化・最大最小値正規化)→顕著性マップ生成→カラーマップ適用→表示
# 前処理、後処理: 前処理: 1024x1024固定サイズリサイズ・ImageNet統計での正規化、後処理: Sigmoid活性化・最大最小値正規化・カラーマップ適用
# 追加処理: フレーム間の時間的一貫性を保つための指数移動平均フィルタリング(α=0.7)
# 調整を必要とする設定値: CONFIDENCE_THRESHOLD(顕著性閾値、0.0-1.0、デフォルト0.5)
# 将来方策: Otsuの閾値法による自動閾値決定機能の実装
# その他の重要事項: GPU使用時は半精度(float16)で推論する。BiRefNetは1024x1024で推論するため、GPUの利用を推奨する
# 前準備: pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
# pip install --no-user -U transformers timm einops kornia opencv-python pillow
import sys
import io
import cv2
import torch
import numpy as np
import tkinter as tk
from tkinter import filedialog
from PIL import Image, ImageDraw, ImageFont
from torchvision import transforms
from transformers import AutoModelForImageSegmentation
import time
import urllib.request
from datetime import datetime
# 設定値(利用者が調整可能)
CONFIDENCE_THRESHOLD = 0.5 # 顕著性閾値(0.0-1.0)- 物体検出の感度調整
COLOR_MAP = cv2.COLORMAP_JET # カラーマップ(JET, HOT, COOL等)- 顕著性の可視化色
FILTER_ALPHA = 0.7 # 時間的フィルタリング強度(0.0-1.0)- 値が大きいほど現在フレームの影響が強い
MODEL_ID = 'ZhengPeng7/BiRefNet_lite' # 学習済みモデル
INPUT_SIZE = 1024 # BiRefNetの入力サイズ(モデルの設計値)
# Windows文字エンコーディング設定
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8', line_buffering=True)
# GPU/CPU自動選択
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'デバイス: {str(device)}')
# GPU使用時の最適化
if device.type == 'cuda':
torch.backends.cudnn.benchmark = True
# GPU使用時は半精度で推論する
MODEL_DTYPE = torch.float16 if device.type == 'cuda' else torch.float32
# 入力画像の変換(BiRefNetの公式手順と同じ設定)
transform_image = transforms.Compose([
transforms.Resize((INPUT_SIZE, INPUT_SIZE)),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),
])
def normPRED(d):
"""予測結果の正規化"""
ma = torch.max(d)
mi = torch.min(d)
dn = (d - mi) / (ma - mi)
return dn
def preprocess_frame(frame):
"""フレーム前処理"""
image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
return transform_image(Image.fromarray(image_rgb)).unsqueeze(0)
def postprocess_saliency(saliency_map, original_shape):
"""顕著性マップ後処理"""
# CPU、NumPy変換
sal_map = saliency_map.squeeze().float().cpu().numpy()
# 元のサイズにリサイズ
sal_map_resized = cv2.resize(sal_map, (original_shape[1], original_shape[0]))
# 平均顕著性を計算(閾値適用前の全体的な顕著性)
mean_saliency = np.mean(sal_map_resized)
# 閾値適用
sal_map_thresholded = np.where(sal_map_resized > CONFIDENCE_THRESHOLD,
sal_map_resized, 0)
# 0-255スケール変換
sal_map_scaled = (sal_map_thresholded * 255).astype(np.uint8)
# カラーマップ適用
sal_map_colored = cv2.applyColorMap(sal_map_scaled, COLOR_MAP)
return sal_map_colored, mean_saliency
def draw_japanese_text(img, text, position, font_size=20, color=(255, 255, 255)):
"""OpenCV画像に日本語テキストを描画"""
FONT_PATH = 'C:/Windows/Fonts/meiryo.ttc'
# フォント設定
font = ImageFont.truetype(FONT_PATH, font_size)
# OpenCV画像をPIL画像に変換
img_pil = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
draw = ImageDraw.Draw(img_pil)
# テキスト描画
draw.text(position, text, font=font, fill=color)
# PIL画像をOpenCV画像に戻す
img_with_text = cv2.cvtColor(np.array(img_pil), cv2.COLOR_RGB2BGR)
return img_with_text
frame_count = 0
results_log = []
prev_saliency = None
def video_frame_processing(frame):
"""動画フレーム処理関数"""
global frame_count, prev_saliency
current_time = time.time()
frame_count += 1
# 前処理
input_tensor = preprocess_frame(frame).to(device=device, dtype=MODEL_DTYPE)
# 推論
with torch.no_grad():
pred = model(input_tensor)[-1].sigmoid()
pred = normPRED(pred)
# 後処理
saliency_colored, mean_saliency = postprocess_saliency(pred, frame.shape)
# 時間的フィルタリング処理(初期フレームの場合はフィルタリングをスキップ)
if prev_saliency is not None:
saliency_colored = cv2.addWeighted(
saliency_colored, FILTER_ALPHA,
prev_saliency, 1 - FILTER_ALPHA, 0
)
prev_saliency = saliency_colored.copy()
# 統計情報を画像に追加
elapsed_time = current_time - start_time
fps = frame_count / elapsed_time if elapsed_time > 0 else 0
info_text = f'FPS: {fps:.1f} | 平均顕著性: {mean_saliency:.3f}'
processed_frame = draw_japanese_text(saliency_colored, info_text, (10, 30))
result = f'フレーム: {frame_count}, FPS: {fps:.1f}, 平均顕著性: {mean_saliency:.3f}'
return processed_frame, result, current_time
# プログラム開始時の概要表示
print('=' * 60)
print('BiRefNet動画用オブジェクト顕著性検出プログラム')
print('=' * 60)
print('【概要】')
print('BiRefNetの学習済みモデルを使用して、')
print('動画中の顕著なオブジェクトをリアルタイムで検出します。')
print('')
print('【操作方法】')
print('1. 入力ソース選択メニューから選択')
print('2. 処理中の操作:')
print(' - qキー: プログラム終了')
print('3. 処理結果の表示:')
print(' - BiRefNet顕著性検出: 顕著性マップ(赤色が顕著な領域)')
print('')
print('【注意事項】')
print('- 初回実行時は学習済みモデル(約178MB)が自動でダウンロードされます')
print('- GPUがある場合は自動的にGPU処理を行います')
print('=' * 60)
# メイン処理
print('モデルをロード中です。しばらくお待ちください...')
model = AutoModelForImageSegmentation.from_pretrained(MODEL_ID, trust_remote_code=True)
model.to(device=device, dtype=MODEL_DTYPE)
model.eval()
print('モデルのロードが完了しました。')
print('0: 動画ファイル')
print('1: カメラ')
print('2: サンプル動画')
choice = input('選択: ')
if choice == '0':
root = tk.Tk()
root.withdraw()
path = filedialog.askopenfilename()
if not path:
exit()
cap = cv2.VideoCapture(path)
elif choice == '1':
cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
else:
# サンプル動画ダウンロード・処理
SAMPLE_URL = 'https://raw.githubusercontent.com/opencv/opencv/master/samples/data/vtest.avi'
SAMPLE_FILE = 'vtest.avi'
urllib.request.urlretrieve(SAMPLE_URL, SAMPLE_FILE)
cap = cv2.VideoCapture(SAMPLE_FILE)
if not cap.isOpened():
print('動画ファイル・カメラを開けませんでした')
exit()
# 処理統計用変数
start_time = time.time()
# メイン処理
print('\n=== 動画処理開始 ===')
print('操作方法:')
print(' q キー: プログラム終了')
MAIN_FUNC_DESC = 'BiRefNet顕著性検出'
try:
while True:
ret, frame = cap.read()
if not ret:
break
processed_frame, result, current_time = video_frame_processing(frame)
cv2.imshow(MAIN_FUNC_DESC, processed_frame)
if choice == '1': # カメラの場合
print(datetime.fromtimestamp(current_time).strftime('%Y-%m-%d %H:%M:%S.%f')[:-3], result)
else: # 動画ファイルの場合
print(frame_count, result)
results_log.append(result)
key = cv2.waitKey(1) & 0xFF
if key == ord('q'):
break
finally:
print('\n=== プログラム終了 ===')
cap.release()
cv2.destroyAllWindows()
if results_log:
with open('result.txt', 'w', encoding='utf-8') as f:
f.write('=== 結果 ===\n')
f.write(f'処理フレーム数: {frame_count}\n')
f.write(f'使用デバイス: {str(device).upper()}\n')
if device.type == 'cuda':
f.write(f'GPU: {torch.cuda.get_device_name(0)}\n')
f.write('\n')
f.write('\n'.join(results_log))
print('処理結果をresult.txtに保存しました')
使い方
プログラムを実行すると、学習済みモデルの読み込みの後、入力ソースの選択メニューが表示される。0 を入力するとファイル選択ダイアログが開き、手元の動画ファイルを指定できる。1 はパソコンに接続されたカメラ、2 はサンプル動画を使う。処理中は顕著性マップが表示され、画面左上に処理速度(FPS)と平均顕著性が表示される。qキーで終了し、各フレームの処理結果がresult.txtに保存される。