SHAP説明可能性

【概要】

技術名： SHAP (SHapley Additive exPlanations)

出典： Lundberg, S. M., and Lee, S. I., "A Unified Approach to Interpreting Model Predictions," Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 4765-4774.

新規性・特徴： ゲーム理論のシャプレイ値（協力ゲームで各参加者の貢献度を公平に配分する指標）を用いて、機械学習モデルの予測に対する各特徴量の貢献度を定量化する手法である。決定木系モデルに対しては、TreeExplainer がシャプレイ値を厳密かつ高速に計算する。

応用例： 医療診断支援、金融審査、画像分類における判断根拠の説明

学習目標： 機械学習モデルの予測において、どの特徴量がどの程度影響するかを数値で確認する。


【目次】

1. 事前準備

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.html で解説しているので、必要に応じて参照する。

2. Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映（システムPATHを再取得して連結）
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2：インストーラーによるインストール

  1. Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

3. Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加（バージョンは変更しない）
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成（自動更新オフ、Python、Claude Code 設定）
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー（settings.json に加えて、レジストリ側でも明示的にオフ）
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．

  1. コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（Ctrl+Shift+P）
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から，使用する Python（例：C:\Program Files\Python312\python.exe）を選択する．

必要なライブラリのインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

その後、次のコマンドを実行する。

pip install -U --no-user shap scikit-learn numpy

4. プログラムコード

# プログラム名: SHAP機械学習説明可能性デモプログラム
# 特徴技術名: SHAP (SHapley Additive exPlanations)
# 出典: Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems 30 (pp. 4765-4774).
# 特徴機能: ゲーム理論のシャプレイ値に基づく局所的な特徴重要度の計算。各特徴量が予測結果に与える貢献度を定量的に算出し、機械学習モデルの判断根拠を数値として可視化
# 学習済みモデル: 使用なし（プログラム内でRandomForestClassifierを学習）
# 方式設計:
#   - 関連利用技術: scikit-learn (RandomForestClassifier - アンサンブル学習手法), NumPy (数値計算)
#   - 入力と出力: 入力: Irisデータセット（プログラム内で自動読み込み）、出力: コンソールとファイルへのSHAP値と予測根拠の詳細表示
#   - 処理手順: 1)Irisデータセット読み込み 2)データ分割 3)RandomForestClassifierの学習 4)TreeExplainerでSHAP値計算 5)全クラスの特徴量貢献度を数値表示
#   - 前処理、後処理: 前処理: train_test_splitによるデータ分割、後処理: SHAP値の解釈ガイド表示
#   - 追加処理: 予測確率分布の表示により、モデルの確信度を可視化。全クラスのSHAP値比較分析
#   - 調整を必要とする設定値: SAMPLE_IDX (解析対象サンプルのインデックス、0から始まる整数値)
# 将来方策: 全テストデータに対してSHAP値を計算し、予測精度が低いサンプルのSHAP値の傾向を自動分析する機能
# その他の重要事項: TreeExplainerは決定木系モデル専用。他のモデルではKernelExplainerを使用する
# 前準備: pip install -U --no-user shap scikit-learn numpy

import numpy as np
import shap
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 定数定義
RANDOM_SEED = 42  # 再現性のための乱数シード
N_ESTIMATORS = 10  # RandomForestの決定木数
MAX_DEPTH = 5  # 決定木の最大深度
TEST_SIZE = 0.5  # テストデータの割合
SAMPLE_IDX = 0  # 解析対象サンプルのインデックス
RESULT_FILE = 'result.txt'  # 結果を保存するファイル名
IRIS_CLASS_NAMES = ['setosa', 'versicolor', 'virginica']  # Irisデータセットのクラス名

# 出力内容を保存するリスト
output_lines = []


def print_and_save(text=''):
    print(text)
    output_lines.append(text)


# プログラム概要表示
print_and_save('=== SHAP機械学習説明可能性デモプログラム ===')
print_and_save('概要: 機械学習モデルの予測根拠をSHAP値で分析します')
print_and_save('ユーザ操作: 不要（自動実行されます）')
print_and_save('注意事項: TreeExplainerは決定木系モデル専用です')
print_and_save()
print_and_save(f'SHAP バージョン: {shap.__version__}')
print_and_save()

# データ準備
iris = load_iris()
X, y = iris.data, iris.target
feature_names = iris.feature_names
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=TEST_SIZE, random_state=RANDOM_SEED, stratify=y
)

# モデル学習
model = RandomForestClassifier(
    n_estimators=N_ESTIMATORS, max_depth=MAX_DEPTH, random_state=RANDOM_SEED
)
model.fit(X_train, y_train)

# SHAP値の計算
# explainer(X) は Explanation オブジェクトを返す
#   values      形状: (サンプル数, 特徴量数, クラス数)
#   base_values 形状: (サンプル数, クラス数)
explainer = shap.TreeExplainer(model)
X_sample = X_test[SAMPLE_IDX:SAMPLE_IDX + 1]
explanation = explainer(X_sample)
shap_values = explanation.values[0]
base_values = explanation.base_values[0]

# 予測結果
pred_class = model.predict(X_sample)[0]
pred_proba = model.predict_proba(X_sample)[0]

print_and_save('=== モデル基本性能 ===')
print_and_save(f'使用パラメータ: 木の数={N_ESTIMATORS}, 最大深度={MAX_DEPTH}')
print_and_save(f'学習データ精度: {model.score(X_train, y_train):.3f}')
print_and_save(f'テストデータ精度: {model.score(X_test, y_test):.3f}')
print_and_save(f'学習データサイズ: {len(X_train)}件')
print_and_save(f'テストデータサイズ: {len(X_test)}件')

print_and_save()
print_and_save('=== 対象サンプルの分析 ===')
print_and_save(f'サンプルインデックス: {SAMPLE_IDX}')
print_and_save(f'実際のクラス: {y_test[SAMPLE_IDX]} ({IRIS_CLASS_NAMES[y_test[SAMPLE_IDX]]})')
print_and_save(f'予測クラス: {pred_class} ({IRIS_CLASS_NAMES[pred_class]})')

print_and_save('予測確率分布:')
for i, (class_name, prob) in enumerate(zip(IRIS_CLASS_NAMES, pred_proba)):
    marker = ' ← 予測' if i == pred_class else ''
    print_and_save(f'  {class_name}: {prob:.4f}{marker}')

result = '正解' if y_test[SAMPLE_IDX] == pred_class else '不正解'
print_and_save(f'予測結果: {result}')

print_and_save()
print_and_save('入力特徴値:')
for feature_name, value in zip(feature_names, X_sample[0]):
    print_and_save(f'  {feature_name}: {value:.2f}')

print_and_save()
print_and_save(f'=== 予測クラス ({IRIS_CLASS_NAMES[pred_class]}) のSHAP値詳細 ===')
for i, feature_name in enumerate(feature_names):
    shap_val = shap_values[i, pred_class]
    impact = '正の寄与' if shap_val > 0 else '負の寄与' if shap_val < 0 else '中立'
    print_and_save(f'{feature_name}: 値={X_sample[0, i]:.2f}, SHAP値={shap_val:.4f} ({impact})')

print_and_save()
print_and_save('=== 全クラスのSHAP値比較分析 ===')
for i, feature_name in enumerate(feature_names):
    print_and_save(f'【{feature_name}】')
    for j, class_name in enumerate(IRIS_CLASS_NAMES):
        shap_val = shap_values[i, j]
        impact = '正の寄与' if shap_val > 0 else '負の寄与' if shap_val < 0 else '中立'
        print_and_save(f'  {class_name}: {shap_val:.4f} ({impact})')

print_and_save()
print_and_save('=== クラス別最重要特徴量 ===')
for j, class_name in enumerate(IRIS_CLASS_NAMES):
    class_shap = shap_values[:, j]
    most_important_idx = int(np.argmax(np.abs(class_shap)))
    most_important_value = class_shap[most_important_idx]
    impact = '正の寄与' if most_important_value > 0 else '負の寄与'
    print_and_save(f'{class_name}: {feature_names[most_important_idx]} = {most_important_value:.4f} ({impact})')

print_and_save()
print_and_save('=== SHAP値加法性検証 ===')
expected_value = base_values[pred_class]
shap_sum = shap_values[:, pred_class].sum()
calculated_prediction = expected_value + shap_sum
actual_prediction = pred_proba[pred_class]
difference = abs(calculated_prediction - actual_prediction)
print_and_save(f'期待値（ベースライン）: {expected_value:.6f}')
print_and_save(f'SHAP値の合計: {shap_sum:.6f}')
print_and_save(f'計算値（期待値 + SHAP合計）: {calculated_prediction:.6f}')
print_and_save(f'実際の予測確率: {actual_prediction:.6f}')
print_and_save(f'差分: {difference:.6f}')
print_and_save(f'加法性検証: {"合格" if difference < 0.001 else "不合格"}（判定基準: 差分 < 0.001）')

print_and_save()
print_and_save('=== SHAP値の解釈ガイド ===')
print_and_save('・SHAP値が正の場合：その特徴量が該当クラスの予測を支持')
print_and_save('・SHAP値が負の場合：その特徴量が該当クラスの予測に反対')
print_and_save('・SHAP値の絶対値が大きいほど影響が強い')
print_and_save('・全クラスの比較により、特徴量がどのクラスを支持するかが分析可能')
print_and_save('・SHAP値の合計 + 期待値 = 予測確率（加法性の原理）')

# 結果をファイルに保存
with open(RESULT_FILE, 'w', encoding='utf-8') as f:
    f.write('\n'.join(output_lines))
print()
print(f'{RESULT_FILE}に保存しました')

5. 使用方法

  1. 上記のプログラムコードを実行する
  2. 実行結果を確認する。各特徴量のSHAP値が表示され、正の値は予測クラスを支持し、負の値は反対することを示す

実行結果はコンソールに表示され、同じ内容が result.txt にも保存される。

6. 実験・探求のアイデア

AIモデルを変えて追加実験：

追加実験：

体験・実験・探求のアイデア：