転移学習での特徴抽出器（ImageNet で学習済みの ResNet50 による転移学習）（Windows あるいは Ubuntu 上）

1. Google Colaboratory での実行

Google Colaboratory のノートブックを新規作成して実行する場合の手順を説明する．

パソコンを使う場合は，下の「2. Windows での実行」で説明している．

1. Google Colaboratory の Web ページを開く

   https://colab.research.google.com

   Google Colaboratory はオンラインの Python 開発環境である． 使用するには Google アカウントが必要．
2. 「ファイル」で，「ノートブックを新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

2. Windows での実行

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

python --version

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

TensorFlow，Keras のインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

次のコマンドを実行することにより，TensorFlow（Keras を含む）と tensorflow_datasets がインストール（インストール済みのときは最新版に更新）される． 1行目は，以前の版が残っているときに競合しないように取り除くためのものである．

python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-intel tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U --no-user tensorflow tensorflow_datasets

Graphviz のインストール

Windows での Graphviz のインストール: 別ページ »で説明

numpy，matplotlib，seaborn，scikit-learn，pandas，pydot のインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

次のコマンドを実行する．

python -m pip install -U --no-user numpy matplotlib seaborn scikit-learn pandas pydot

3. 特徴抽出を行う画像データの準備

import os
import tensorflow as tf

# 追加データである画像の画像サイズを IMG_SIZE に設定すること
IMG_SIZE = (160, 160)
IMG_SHAPE = IMG_SIZE + (3,)
# TensorFlow の API で処理するときのバッチサイズの設定
BATCH_SIZE = 32
# URL によりダウンロード
_URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip'
path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True)
PATH = os.path.join(path_to_zip, 'cats_and_dogs_filtered')

train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')
train_dataset = tf.keras.utils.image_dataset_from_directory(train_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
validation_dataset = tf.keras.utils.image_dataset_from_directory(validation_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
val_batches = validation_dataset.cardinality()
# validation_dataset を test_dataset と validation_dataset に振り分け
test_dataset = validation_dataset.take(val_batches // 5)
validation_dataset = validation_dataset.skip(val_batches // 5)
# プリフェッチの設定（読み込み高速化のため）
AUTOTUNE = tf.data.AUTOTUNE
train_dataset = train_dataset.prefetch(buffer_size=AUTOTUNE)
validation_dataset = validation_dataset.prefetch(buffer_size=AUTOTUNE)
test_dataset = test_dataset.prefetch(buffer_size=AUTOTUNE)

4. ImageNet で学習済みの ResNet50 をベースモデルとして，特徴抽出器を作成

ImageNet で学習済みの ResNet50 をベースモデルとして使用する．

1. ベースモデルの作成

   次の Python プログラムを実行する．

   import tensorflow as tf
   import numpy as np
   tf.keras.backend.clear_session()
   
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Matplotlib の警告メッセージを表示しない
   
   from tensorflow.keras.applications.resnet50 import ResNet50
   from tensorflow.keras.models import Model
   from tensorflow.keras.layers import GlobalAveragePooling2D
   
   # include_top=False により分類層を含まないようにする
   base_model = ResNet50(weights='imagenet', input_shape=IMG_SHAPE, include_top=False)
   # 学習中に結合の重みが更新されないようにする
   base_model.trainable = False
   base_model.summary()
   

   
2. ベースモデルと画像データの事前確認のため，ベースモデルを用いて画像データを処理してみる

   エラーメッセージが出ないことを確認する．ここの結果をあとで使うことはない．

   image_batch, label_batch = next(iter(train_dataset))
   feature_batch = base_model(image_batch)
   print(feature_batch.shape)
   

   
3. ベースモデルを用いて，特徴抽出器のモデルの作成

   inputs = tf.keras.Input(IMG_SHAPE)
   x = base_model(inputs, training=False)
   x = GlobalAveragePooling2D()(x)
   m = Model(inputs=inputs, outputs=x)
   m.summary()
   

   
4. 別データを，特徴抽出器により処理し結果を得る

   特徴抽出器による処理結果は，feature_batch_all に格納する． それは，長さ 2048 の数値ベクトル，2000個になる．

   feature_batch_all = None
   label_batch_all = None
   for image_batch, label_batch in train_dataset:
       if feature_batch_all is None:
           feature_batch_all = m(image_batch).numpy()
           label_batch_all = label_batch.numpy()
       else:
           feature_batch_all = np.vstack((feature_batch_all, m(image_batch).numpy()))
           label_batch_all = np.append(label_batch_all, label_batch.numpy())
   
   print(feature_batch_all.shape)
   print(label_batch_all.shape)
   

   
5. データのプロット

   主成分分析（PCA。多数の数値を，情報の損失が少なくなるように少数の数値にまとめる方法）による．

   import pandas as pd
   features = [str(i) for i in range(feature_batch_all.shape[1])]
   df = pd.DataFrame(feature_batch_all, columns=features)
   df['label'] = label_batch_all
   # 主成分分析
   import sklearn.decomposition
   pca = sklearn.decomposition.PCA(n_components=2)
   pca_result = pca.fit_transform(df[features].to_numpy())
   df['pca1'] = pca_result[:, 0]
   df['pca2'] = pca_result[:, 1]
   # プロット
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Matplotlib の警告メッセージを表示しない
   import seaborn as sns
   plt.style.use('default')
   plt.figure(figsize=(10, 10))
   # 2クラスなので，パレット数は 2
   sns.scatterplot(
       x="pca1", y="pca2",
       hue="label",
       palette=sns.color_palette("hls", 2),
       data=df,
       legend="full",
       alpha=0.4
   )
   

   
6. データのプロット

   6次元に次元削減ののち，SOM（自己組織化マップ。高次元のデータを 2次元の平面上に配置して可視化する方法）を作り，SOM をプロットする．

   前準備として，次のコマンドを実行しておく．

   管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

   python -m pip install -U --no-user minisom
   

   import pandas as pd
   features = [str(i) for i in range(feature_batch_all.shape[1])]
   df = pd.DataFrame(feature_batch_all, columns=features)
   df['label'] = label_batch_all
   # まず，主成分分析により，次元削減する．結果は X へ．
   import sklearn.decomposition
   DIM = 6
   pca = sklearn.decomposition.PCA(n_components=DIM)
   pca_result = pca.fit_transform(df[features].values)
   df['pca1'] = pca_result[:, 0]
   df['pca2'] = pca_result[:, 1]
   df['pca3'] = pca_result[:, 2]
   df['pca4'] = pca_result[:, 3]
   df['pca5'] = pca_result[:, 4]
   df['pca6'] = pca_result[:, 5]
   X = df[['pca1', 'pca2', 'pca3', 'pca4', 'pca5', 'pca6']].to_numpy()
   
   # see https://github.com/JustGlowing/minisom/blob/master/examples/BasicUsage.ipynb
   # マーカーと色は 2種類を設定（2クラスなので），label_batch_all に入っている 0, 1 の値に応じて選択．
   markers = ['o', 's']
   colors = ['C0', 'C1']
   
   from minisom import MiniSom
   som = MiniSom(20, 20, DIM, sigma=0.3, learning_rate=0.5) # 20x20 の SOM を初期化
   som.train(X, 100000) # 100000 回の繰り返しで SOM を学習
   
   plt.figure(figsize=(10, 10))
   plt.pcolor(som.distance_map().T, cmap='bone_r')
   plt.colorbar()
   for cnt, xx in enumerate(X):
       w = som.winner(xx)
       plt.plot(w[0]+.5, w[1]+.5, markers[label_batch_all[cnt]], markersize=12, markeredgewidth=2, markerfacecolor='None', markeredgecolor=colors[label_batch_all[cnt]])
   
   plt.show()