静止画分類器と動画分類器によるフェイク動画判定の比較(ViT / SigLIP / VideoMAE を同一動画に同時適用する探究用ガイド)
【概要】
1枚の静止画だけを見る2つのフェイク画像分類器(ViTベースとSigLIPベース)と、16フレームの時間変化をまとめて見る動画分類器(VideoMAEベース)を、同一動画の同一顔領域に同時に適用し、動画1本ごとの最終判定を突き合わせるプログラムである。あわせてオプティカルフロー、顔ランドマークの変位、輝度の左右差・上下差という低次画像特徴量を計測し、各分類器の出力確率との相関を確認する。判定の一致・不一致がどこから生じるかを、数値で検証することを目的とする。
【目次】
1. 目的と前提
入力が動画であっても、多くの公開フェイク検出モデルはフレーム単位の静止画分類器であり、時間方向の情報を使っていない。本プログラムはこの差を確認するため、静止画分類器2種(ViT系・SigLIP系)と、時空間Transformerである動画分類器1種(VideoMAE系)を同時に動かし、同じ顔クロップ列に対する判定を比較する。静止画分類器はサンプリングされたフレームごとに偽側クラスの確率を出力し、動画分類器は連続16フレームのクリップごとに偽側クラスの確率を出力する。いずれも動画全体で平均を取り、しきい値と比較して「この動画は偽か実写か」という1本の結論を出す。窓単位・フレーム単位の値は、その結論に至る途中経過として記録・観察する。 前提として、3モデルとも顔領域を224×224に切り出した画像列のみを入力とし、音声・メタデータ・圧縮痕跡は使わない。低次特徴量は説明変数の候補として計測するだけで、分類器には入力しない。したがって相関係数は「分類器の判断が単純な動き量や輝度の偏りで説明できるか」を測る指標であり、因果関係を示すものではない。またVideoMAEの微調整データは公開されていないため、その精度は本プログラムでは未知量として扱う。
2. 手法候補の一覧
本プログラムが実装している手法(No.1〜No.5)と、比較対象となる2024年以降の代表的手法(No.6〜No.11)を示す。
| No. | 名称 | 出典 / 入手先 | 概要 | 実装 |
|---|---|---|---|---|
| 1 | ViT系フェイク画像分類器prithivMLmods/Deep-Fake-Detector-v2-Model |
アーキテクチャ: Dosovitskiy et al., ICLR 2021(ViT) 基盤重み: google/vit-base-patch16-224-in21k(ImageNet-21k 事前学習)https://huggingface.co/prithivMLmods/Deep-Fake-Detector-v2-Model |
静止画1枚を2クラスに分類する。モデルカード記載の評価は56,001枚でaccuracy 0.9212。微調整データの詳細は非公開。 | あり |
| 2 | SigLIP系フェイク画像分類器prithivMLmods/deepfake-detector-model-v1 |
アーキテクチャ: Zhai et al., ICCV 2023(SigLIP) 微調整データ: prithivMLmods/OpenDeepfake-Previewhttps://huggingface.co/prithivMLmods/deepfake-detector-model-v1 |
視覚言語事前学習モデルの画像側エンコーダを転用した静止画2クラス分類器。モデルカード記載の評価は19,999枚でaccuracy 0.9444。モデルカードには experimental(実験的)と明記されている。 | あり |
| 3 | VideoMAE系フェイク動画分類器Ammar2k/videomae-base-finetuned-deepfake-subset |
アーキテクチャ: Tong et al., NeurIPS 2022(VideoMAE) 基盤重み: MCG-NJU/videomae-base(Kinetics-400 で自己教師あり事前学習)https://huggingface.co/Ammar2k/videomae-base-finetuned-deepfake-subset |
連続16フレームを時空間パッチ(tubelet)に分割して処理する動画分類器。時間方向の情報を直接扱う。モデルカードの説明文が無く、微調整データ・精度は非公開である。 | あり |
| 4 | MediaPipe Face Landmarker | Lugaresi et al., arXiv:1906.08172, 2019 / Kartynnik et al., CVPRW 2019 https://storage.googleapis.com/mediapipe-models/face_landmarker/face_landmarker/float16/1/face_landmarker.task |
単眼RGB画像から顔ランドマークを推定する。本プログラムでは顔領域の切り出しと、ランドマーク変位の計測に用いる。判定そのものは行わない。 | あり (前処理) |
| 5 | Farnebäck 法による密なオプティカルフロー | Farnebäck, SCIA 2003(学習を伴わない古典的アルゴリズム、OpenCV 実装) | 連続する顔クロップ間の画素移動量を推定する。本プログラムでは説明変数の候補として平均移動量のみを利用する。 | あり (補助指標) |
| 6 | NPR(Neighboring Pixel Relationships) | Tan et al., CVPR 2024 https://github.com/chuangchuangtan/NPR-DeepfakeDetection |
生成器のアップサンプリング処理が残す近傍画素間の関係の歪みを特徴量化し、未知の生成器へ汎化させる手法。 | なし |
| 7 | AIDE(AI-generated Image DEtector) | Yan et al., ICLR 2025 https://github.com/shilinyan99/AIDE |
低次のパッチ統計と高次の意味特徴を統合し、生成画像検出のベンチマークを健全化する立場から提案された検出器。 | なし |
| 8 | Effort(直交部分空間分解) | Yan et al., ICML 2025 / arXiv:2411.15633 | 基盤モデルの重みを特異値分解し、意味を保持する部分空間と偽造痕跡を学習する部分空間を直交させることで汎化性能を高める手法。 | なし |
| 9 | Community Forensics | Park & Owens, CVPR 2025 / arXiv:2411.04125 | 4,803種の生成器から集めた270万枚規模のデータで検出器を訓練し、未知生成器への汎化を狙う「データ側」からの解法。 | なし |
| 10 | UNITE(Universal Network for Identifying Tampered and synthEtic videos) | CVPR 2025 https://cvpr.thecvf.com/virtual/2025/poster/33909 |
顔だけでなく背景や全画面生成動画も対象とする汎用の合成動画検出器。顔中心の検出器の限界に対する直接の後継にあたる。 | なし |
| 11 | M2F2-Det(多モーダル解釈可能検出器) | CVPR 2025 https://cvpr.thecvf.com/virtual/2025/poster/32709 |
大規模言語モデルと結合し、判定に加えて自然言語による根拠説明を出力する検出器。6つのデータセットで高い性能を報告している。 | なし |
参考ベンチマーク: Deepfake-Eval-2024(2024年に実際に流通したディープフェイクを収集した実環境ベンチマーク。動画44時間・音声56.5時間・画像1,975枚)。既存検出器の実環境性能が論文中の値より大きく低下することを示している。https://github.com/nuriachandra/deepfake-eval-2024
3. 本コードが実装している手法と、候補との比較・限界
3.1 実装している3つの判定モデル
| 役割 | モデルID | 入力 | config.json の id2label | 本コードが偽側とする確率 |
|---|---|---|---|---|
| 静止画分類器A | prithivMLmods/Deep-Fake-Detector-v2-Model | 224×224 の顔クロップ1枚 | 0 = Realism / 1 = Deepfake | Deepfake(index 1)の確率 |
| 静止画分類器B | prithivMLmods/deepfake-detector-model-v1 | 224×224 の顔クロップ1枚 | 0 = Fake / 1 = Real | Fake(index 0)の確率 |
| 動画分類器 | Ammar2k/videomae-base-finetuned-deepfake-subset | 224×224 の顔クロップ16枚 | 0 = fake / 1 = real | fake(index 0)の確率 |
Realism / Deepfake、v1(SigLIP)は Fake / Real、VideoMAE は fake / real であり、3モデルで名称も並び順も異なる。v2 は index 1 が偽側、v1 と VideoMAE は index 0 が偽側である。コードは「ラベル名に fake という文字列を含む方を偽側とする」規則で自動的に対応付け、起動時にログへ実際の id2label を表示する。3.2 候補手法との比較
No.1・No.2 は静止画検出の系譜に属し、フレーム間の不整合(まばたきの不自然さ、輪郭のちらつき、フレーム間の色ずれ)を原理的に扱えない。No.3 の VideoMAE は時空間の自己注意により時間方向の情報を扱えるが、微調整データが非公開であるため、どのような偽造手法に対応できるかが不明である。 一方 No.6〜No.9 は「未知の生成器への汎化」を主題としており、本プログラムの3モデルよりも新しい問題設定に立っている。No.10 の UNITE は顔領域に限定しない点で、顔クロップを前提とする本プログラムの構造的な限界をそのまま指摘する立場にある。No.11 は判定根拠の言語化を扱っており、本プログラムが相関係数という間接的な方法で行っている「根拠の推定」を、モデル側から直接出力させる方向の研究である。
3.3 本プログラムで確認できること/できないこと
| 確認できること | このコードでは確認できないこと |
|---|---|
|
・同じ顔クロップ列に対して3モデルが出す動画レベル判定の一致/不一致 ・静止画分類器の確率がフレームごとにどれだけ揺れるか ・動画分類器の確率が窓ごとにどれだけ揺れるか ・偽側確率と低次特徴量(フロー・変位・輝度差)との線形相関の強さ ・パラメータ(サンプリング間隔、余白率、しきい値など)が結論に与える影響 |
・各モデルの真の検出精度(正解ラベル付きの十分な数の動画がないため) ・VideoMAE がどの偽造手法で学習されたか(非公開) ・判定根拠の内部的な説明(本コードは注意重みや顕著性マップを出力しない) ・音声・圧縮痕跡・メタデータに基づく判定 ・複数人物が映る動画での判定(顔は1人分のみ処理する) |
4. プログラムの概要と実行手順
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Build Tools・CUDA Toolkit・PyTorch のインストール
本章では、C++ ビルドツール、NVIDIA CUDA Toolkit、PyTorch のインストールを行い、GPU を活用した機械学習プログラムを実行する環境を整える。扱う環境は、Windows 搭載パソコンである。
[Build Tools・CUDA Toolkit・PyTorch のインストール手順を見るには、ここをクリック]
Windows での Build Tools for Visual Studio 2026 のインストール
Build Tools for Visual Studio 2026 は、C++ ソースコードを Windows 用バイナリにコンパイルするための開発ツール群である。unsloth 等の一部 Python パッケージは、インストール時に C++ コードのビルドを必要とするため、これらのツールが必須となる。
以下のコマンドは、Build Tools が未インストールの場合は winget で新規インストールし、インストール済みの場合は setup.exe modify でコンポーネントを追加する(バージョンは変更しない)。
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
REM ============================================================
REM Visual C++ 再頒布可能パッケージ (VCRedist 2015-)
REM ============================================================
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo VCRedist のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM ============================================================
REM Visual Studio Build Tools + Desktop development with C++
REM (VCTools、MSBuildTools、CMake連携、Clang、Windows 11 SDK)
REM ============================================================
REM 進行中のインストーラーを停止(ロック競合回避。対象プロセスが存在しない場合は
REM taskkillがエラーを返すが、これは想定内であるため出力のみ抑制する)
taskkill /F /IM vs_setup.exe /T >nul 2>&1
taskkill /F /IM vs_installer.exe /T >nul 2>&1
taskkill /F /IM vs_installerservice.exe /T >nul 2>&1
taskkill /F /IM msiexec.exe /T >nul 2>&1
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM BuildTools のインストールパスを vswhere.exe で取得(メジャーバージョンに依存しない)
set "VSWHERE=C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe"
set "BT_PATH="
for /f "usebackq delims=" %P in (`"%VSWHERE%" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do set "BT_PATH=%P"
if not defined BT_PATH ( color 0c & echo Build Tools のインストールパスを取得できませんでした & ping 127.0.0.1 -n 6 >nul & color )
REM 破損時の修復(任意、動作がおかしくなった場合)
REM if defined BT_PATH "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" repair --installPath "%BT_PATH%" --quiet --norestart
REM 導入確認(インストールパスが表示されれば正常)
"%VSWHERE%" -products * -requires Microsoft.VisualStudio.Workload.VCTools -property installationPath
上記のコマンドでは、Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし、続いて以下のコンポーネントを追加している。
- VCTools:C++ デスクトップ開発ワークロード(
--includeRecommendedにより、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる) - MSBuildTools:MSBuild によるビルドツールのワークロード
- VC.CMake.Project:Windows 向け C++ CMake ツール
- VC.Llvm.Clang:Windows 向け C++ Clang コンパイラ
- VC.Llvm.ClangToolset:MSBuild から Clang を使用するための clang-cl ツールセット
- Windows11SDK.26100:Windows 11 SDK(ビルド 10.0.26100)
追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。
Windows での NVIDIA CUDA Toolkit のインストール
NVIDIA CUDA Toolkit は、NVIDIA GPU 上で計算を行うためのコンパイラ・ライブラリ群である。PyTorch や vLLM 等が GPU を利用するために必要となる。GPU を使用しない場合、この手順は不要である。
前提条件:NVIDIA GPU、NVIDIA ドライバ、Build Tools for Visual Studio もしくは Visual Studio が必要である。
インストール中の注意:他のウインドウは閉じておくこと。
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
REM ============================================================
REM CUDA 12.8
REM ============================================================
winget install --scope machine --id Nvidia.CUDA --version 12.8 -e --silent --disable-interactivity --force --uninstall-previous --accept-source-agreements --accept-package-agreements --override "-s -n"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo CUDA のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM 統合用ファイルのコピー
if exist "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\" (
xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "c:\Program Files\Microsoft Visual Studio\18\Community\MSBuild\Microsoft\VC\v180\BuildCustomizations\" /Y
xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools\MSBuild\Microsoft\VC\v180\BuildCustomizations\" /Y
xcopy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.8\extras\visual_studio_integration\MSBuildExtensions\*.*" "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools\MSBuild\Microsoft\VC\v170\BuildCustomizations\" /Y /I
) else (
echo CUDA v12.8 のディレクトリが存在しません。
ping 127.0.0.1 -n 6 >nul
)
REM 環境変数TEMP, TMPの設定(一時ファイルの保存先を短いパスに変更)
set "TEMP=C:\TEMP"
set "TMP=C:\TEMP"
powershell -NoProfile -Command "$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); foreach($n in @('TEMP','TMP')){ $t=[Microsoft.Win32.RegistryValueKind]::ExpandString; if($k.GetValueNames() -contains $n){ $t=$k.GetValueKind($n) }; $k.SetValue($n,'C:\TEMP',$t) }; $k.Close()"
reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v TEMP
reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v TMP
環境変数 TEMP および TMP を C:\TEMP に変更しているのは、後続のインストール処理で長いパス名や空白を含むパス名がエラーの原因となる場合があるためである。
Windows での PyTorch のインストール
https://pytorch.org のインストールガイドに従い、自環境の CUDA バージョンに対応したコマンドを取得して実行する。CUDA バージョンは以下で確認できる。
nvcc --version
管理者権限でコマンドプロンプトを起動し、以下を実行する。cu128 は CUDA 12.8 用のタグである。CUDA バージョンが異なる場合は、上記公式サイトで該当するタグを確認し、URL 末尾の cu128 を置き換えること。
REM numpy と PyTorch(CUDA 12.8 対応 wheel)、pip キャッシュを全削除
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/%CUDA_TAG%
if not "%ERRORLEVEL%"=="0" ( color 0c & echo numpy / PyTorch のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
Python プログラム実行手順
[Windows での Python プログラム実行手順を見るには、ここをクリック]
Windows での Python 実行手順(Visual Studio Codeを使用)
プログラムファイルの作成と保存
- 左サイドバーの「エクスプローラー」アイコン(
Ctrl+Shift+E)をクリックする
- 「NO FOLDER OPENED」(作業対象フォルダが未選択の状態)と表示される場合は,「Open Folder」をクリックし,プログラムを保存するフォルダを選択する
続いて「フォルダを信用するか」を確認する画面(フォルダ内のコードを実行してよいか確認する VS Code の仕組み)が表示されるので,チェックして Yes を選択する
- フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
- ファイル名(例:
aitask.py.ファイル名は何でも良い)を入力しEnterを押す.拡張子は.py(Python ファイルを示す拡張子)とする
- 実行したいコードを選択し,
Ctrl+Cでコピーする.VS Code のエディタ領域にCtrl+Vで貼り付ける Ctrl+Sで保存する
プログラムの実行
- エディタ右上の三角形「▷」アイコン(Run Python File:現在開いている Python ファイルを実行するボタン)をクリックする.または,エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
- VS Code 下部のターミナル(コマンドの入出力を表示する画面)に,実行結果(
print関数の出力等)が表示される
- tkinter(Python 標準の GUI ライブラリ)のファイル選択ダイアログを使うプログラムを実行した場合は,ダイアログが開くので対象画像を選択する
- VS Code 下部のターミナルで実行結果を確認する.OpenCV ウィンドウ(OpenCV が画像を表示するために開く専用ウィンドウ)が開いた場合はそちらも確認する.OpenCV ウィンドウは,マウスクリックでウィンドウをアクティブ(操作対象の状態)にしてからキーを押すと終了する
必要なライブラリのインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
次のコマンドを実行し、関連ライブラリをインストールする。
pip install -U --no-user transformers torch pillow opencv-python numpy mediapipe huggingface_hub
※ SigLIP 系モデルの読み込みには新しい transformers が必要であるため、-U を付けて最新版へ更新する。
概要
- 単一の Python ファイルで動作する。GUI は Tkinter で構成し、映像表示・パラメータ調整・ログ表示を1つのウィンドウにまとめている。
- 学習済みモデル(3種)は Hugging Face Hub から初回実行時に自動ダウンロードされ、2回目以降はローカルキャッシュが使われる。合計およそ1GB程度の通信が発生する。
- MediaPipe の
face_landmarker.taskも未取得なら自動ダウンロードし、プログラムファイルと同じディレクトリに保存する。 - 解析結果(フレーム単位CSV・クリップ単位CSV・要約テキスト)は、カレントディレクトリではなくプログラムファイルのあるディレクトリ直下の
results/に保存する。 - [解析開始]ボタンで取り込み・処理・表示の繰り返しが始まり、[解析停止]ボタン、または動画の終端で停止して最終判定を出力する。
処理の流れ
- 1フレーム読み込み → MediaPipe で顔ランドマークを検出する。
- ランドマークの外接矩形に余白率を掛けて拡張し、その領域を224×224に整形して顔クロップとする(画面には緑の矩形で表示する)。
- 顔クロップをクリップバッファに追加し、16枚たまったら VideoMAE に渡して偽側確率を1つ得る。同時に、窓内から等間隔に選んだ数枚を ViT と SigLIP にも渡し、同一時間区間での静止画分類器の平均値を得る。バッファは空にし、次の窓へ進む(窓の間隔=ストライドは GUI で調整できる)。顔が検出されなかったフレームがあれば、その時点でバッファを破棄する。
- サンプリング間隔ごとに、同じ顔クロップを ViT と SigLIP に渡して偽側確率を得る。顔が検出できた連続フレーム間では、これとは別にオプティカルフロー・ランドマーク変位・輝度差を毎回計算する。
- 停止時、静止画分類器は全サンプルの平均、動画分類器は全窓の平均を取り、しきい値と比較して動画1本につき3つの最終判定を出力する。併せて相関係数と一致状況を表示・保存する。
実行手順
- スクリプトを保存して実行する。コンソールに使用デバイス(cuda / cpu)とモデル読み込みの進行が表示される。初回は数分かかる。
- ウィンドウ上部のログに表示される3モデルの id2label を書き写す(第3章の表と照合する)。
- 入力を選ぶ。データセットを選ぶ場合は
video/1.mp4(実写側)とdeepfake/1.mp4(加工側)のように、同じ番号の対で実験すると比較しやすい。 - [解析開始]を押す。緑の矩形が顔を正しく囲んでいるかを確認する。囲めていない場合は一度停止し、余白率か顔検出の最小信頼度を調整して再実行する。
- [解析停止]を押す(またはファイル末尾まで待つ)。ログに最終判定が出力され、
results/に3つのファイルが保存される。
5. GUI で調整できるパラメータ
| GUI 表示名 | 既定値 | 範囲(刻み) | 説明と影響 |
|---|---|---|---|
| 静止画分類のサンプリング間隔[フレーム] | 10 | 1〜60(1) | ViT と SigLIP に画像を渡す間隔。小さくすると標本数が増えて平均が安定するが処理は遅くなる。 |
| 顔クロップの余白率 | 0.35 | 0.00〜1.00(0.05) | ランドマーク外接矩形を上下左右に何割拡張するか。0に近いと顔の輪郭が切れ、大きいと背景が多く入り、背景の情報が判定に混入する。 |
| 偽側と判定するしきい値 | 0.50 | 0.10〜0.90(0.05) | 動画全体の平均確率をこの値と比較して最終判定を決める。0.5 は便宜的な値であり、モデルの較正が保証された値ではない。 |
| クリップ構成のフレーム間引き幅 | 1 | 1〜4(1) | VideoMAE 用の16枚を何フレームおきに集めるか。1なら16連続フレーム(約0.5秒相当)、4なら64フレーム分の時間幅を16枚で表現する。窓が覆う時間長が変わる。 |
| 窓のストライド[フレーム] | 16 | 1〜16(1) | VideoMAE のクリップ窓を何フレームおきに更新するか。既定値の16は窓の重なりが無い設定であり、動画全体を1回ずつ覆う。値を小さくすると窓の数は増えるが、隣り合う窓の内容が重なるため、窓ごとの値は互いに独立ではなくなる。 |
| 窓内で静止画分類する枚数 | 3 | 1〜8(1) | クリップ窓の内部から等間隔に選び、ViT と SigLIP に渡す枚数。VideoMAE の判定と同じ時間区間における静止画分類器の平均値として、章6・章8の比較表に使う。 |
| Farnebäck の窓サイズ | 15 | 5〜45(2) | オプティカルフロー推定の平均化窓。小さいと細かい動きに敏感、大きいと滑らかで頑健になる。 |
| 顔検出の最小信頼度 | 0.50 | 0.10〜0.90(0.05) | MediaPipe が顔と認めるしきい値。高くすると検出漏れが増え、クリップ窓が作られにくくなる。この値は[解析開始]時に反映される。 |
| カメラ番号 | 0 | 0〜3(1) | カメラ入力を選んだときに使用するデバイス番号。 |
config.json(num_frames: 16, tubelet_size: 2, image_size: 224)および画像分類器2種の preprocessor_config.json が要求する仕様であり、変更するとモデルが動作しないため定数としている。
6. 出力される数値の定義
| 名称 | 定義 | 単位 |
|---|---|---|
| ViT の Deepfake 確率 | 顔クロップ1枚に対する softmax 出力のうち Deepfake クラスの値 | 0〜1 |
| SigLIP の Fake 確率 | 顔クロップ1枚に対する softmax 出力のうち Fake クラスの値 | 0〜1 |
| VideoMAE の fake 確率 | 顔クロップ16枚のクリップに対する softmax 出力のうち fake クラスの値 | 0〜1 |
| オプティカルフロー平均 | 顔が検出できた連続フレーム間の224×224顔クロップ(グレースケール)に Farnebäck 法を適用し、全画素の移動量の大きさを平均した値 | 画素/フレーム |
| ランドマーク変位 | 顔が検出できた連続フレーム間で、顔矩形の中心位置の移動距離を平均した値 | 画素/フレーム |
| 輝度左右差 | 顔クロップのグレースケール画像における、左半分の平均輝度と右半分の平均輝度の差の絶対値 | 0〜255 |
| 輝度上下差 | 同じく上半分と下半分の平均輝度の差の絶対値 | 0〜255 |
フローと変位は、顔が検出できたフレームが1枚欠けても計測できないため、間引きなしの動画では毎フレーム、途中の検出漏れがある動画ではその前後で値が欠ける。静止画分類のサンプリング間隔とは独立に計算される点に注意する。
7. 実装上の注意点と限界
- 各系列の最初の1点にはフローとランドマーク変位が存在しない(比較対象が無いため)。CSVでは空欄、画面では
----と表示され、相関計算からは除外される。 - オプティカルフローは顔クロップ同士で計算しているため、被写体の動きだけでなく切り出し矩形の位置・大きさの変化そのものも値に含まれる。頭部が大きく動くと値が跳ね上がる。
- 顔が検出できなかったフレームが1枚でもあると、その時点で作りかけのクリップ窓は破棄される。動画が短い、または顔検出が不安定だと窓が1つも作られず、VideoMAE の判定が「判定不可」になることがある。
- 処理対象の顔は常に1人分(
num_faces=1)である。複数人が映る動画では最も検出しやすい1人だけが解析される。 - VideoMAE の推論は CPU では1窓あたり1〜3秒程度かかる。カメラ入力ではフレーム落ちが生じるため、精密な比較には動画ファイルを用いる。
- データセットのファイル名は
video/5.MOVが大文字、deepfake/5.movが小文字である。手入力する場合は大文字小文字を取り違えないこと(コードには正しい名前を列挙してある)。 - データセットの利用条件はリポジトリのライセンス表記に従うこと。
video/が元動画、deepfake/が加工動画という対応はデータセットの CSV の構成から読み取れるが、正解ラベルとして扱う前に内容を確認する必要がある。 - SigLIP 系モデルは、モデルカードの記載と
config.jsonの設定が一致していない(カードは基盤モデルとして 512 画素系のgoogle/siglip-base-patch16-512を挙げているが、リポジトリの前処理設定は 224×224 である)。本コードはリポジトリの前処理設定に従う。
8. プログラムコード
9. ヒント・実験のバリエーション・考察のポイント
9.1 実験を始める前のヒント
- 起動直後にログへ表示される3モデルの id2label を必ず書き写す。
Deepfakeが index 1、Fakeとfakeが index 0 であることを確認してから実験に入る。 - まず
deepfake/1.mp4(加工側)とvideo/1.mp4(元動画側)を同じパラメータで1回ずつ実行し、平均確率が期待どおりの向きに動くかを確かめる。向きが逆なら、そのモデルはこの映像に対して有効でないという貴重な観察結果である。 - 緑の矩形が顔を正しく囲んでいるかを最初の数秒で目視する。囲めていない状態のデータは解析しても意味がない。
- ログ末尾の「窓」の個数を確認する。窓が数個しかないときは VideoMAE の平均が不安定なので、間引き幅を1に戻すか、より長い動画を使う。
- 結果は
results/に時刻付きで保存される。パラメータをメモに残し、どのファイルがどの条件かを対応づけておく。
9.2 実験のバリエーション
- サンプリング間隔を 5 / 10 / 30 と変える。静止画分類器の平均確率と最終判定が変わるか、標本数が減ると結論がぶれるかを見る。
- 顔クロップの余白率を 0.05 / 0.35 / 0.80 と変える。背景が多く入ると判定がどう動くか。背景の情報が判定に影響しているなら、それは顔の偽造痕跡以外を見ている証拠になる。
- クリップ構成のフレーム間引き幅を 1 と 4 で比較する。同じ16枚でも、覆う時間長が4倍になると VideoMAE の確率が変わるかを確かめる。
- しきい値を 0.3 / 0.5 / 0.7 と変え、結論が反転する境界を探す。平均確率が 0.5 付近の動画ほど結論が脆いことを確認する。
- カメラ入力で自分の顔を撮影する(実写であることが確実な入力)。3モデルが実写側に判定するか、照明を暗くしたり手で顔を半分隠したりすると判定が崩れるかを観察する。
9.3 考察のポイント
- 3手法の判定が一致した場合と食い違った場合で、フレーム単位・窓単位の確率の揺れ方に違いはあるか。平均だけでなくばらつきを見て論じること。
- 静止画分類器は時間情報を持たないのに、動画1本の平均を取れば動画判定になる。これで十分な場合と不十分な場合はどのような偽造手法のときか。
- 相関係数がほぼ0なら、その分類器の判断はフローや輝度差といった低次量では説明できない。では何を見ている可能性があるか、モデルの入力(224×224の顔クロップのみ)という制約から推論せよ。
- VideoMAE は学習データが非公開である。精度が不明なモデルの出力を、他の2モデルと同列に扱ってよいか。研究倫理・再現性の観点から論じること。
- 本プログラムは顔領域だけを見ている。第2章 No.10 の UNITE のように背景や全画面生成を対象とする手法が必要になるのはどのような場面か、実際の偽情報の流通形態と結びつけて考えること。