転移学習での特徴抽出器（ImageNet で学習済みの ResNet50 による転移学習）（Windows あるいは Ubuntu 上）

1. Google Colaboratory での実行

自分で，Google Colaboratory のノートブックを新規作成する場合（上のリンクを使わない）のため，手順を説明する．

パソコンを使う場合は，下に「前準備（パソコンを使う場合）」で説明している．

1. Google Colaboratory のWebページを開く

   https://colab.research.google.com

   Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要
2. 「ファイル」で、「ノートブックを新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

2. Windows での実行

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

python --version

winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"

TensorFlow，tensorflow_datasets，numpy，matplotlib, seaborn, scikit-learn のインストール

Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。

python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U tensorflow tensorflow_datasets numpy matplotlib seaborn scikit-learn scikit-learn-intelex

GraphViz のインストール

• Windows での GraphViz のインストール: 別ページ »で説明

特徴抽出を行う画像データの準備

import os
from tensorflow.keras.preprocessing import image_dataset_from_directory

# 追加データである画像の画像サイズを IMG_SIZE に設定すること
IMG_SIZE = (160, 160)
IMG_SHAPE = IMG_SIZE + (3,)
# TensorFlow の API で処理するときのバッチサイズの設定
BATCH_SIZE = 32
# URL によりダウンロード
_URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip'
path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True)
PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered')

train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')
train_dataset = image_dataset_from_directory(train_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
validation_dataset = image_dataset_from_directory(validation_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
val_batches = tf.data.experimental.cardinality(validation_dataset)
# validation_dataset を test_dataset とvalidation_dataset に振り分け
test_dataset = validation_dataset.take(val_batches // 5)
validation_dataset = validation_dataset.skip(val_batches // 5)
# プリフェッチの設定（読み込み高速化のため）
AUTOTUNE = tf.data.AUTOTUNE
train_dataset = train_dataset.prefetch(buffer_size=AUTOTUNE)
validation_dataset = validation_dataset.prefetch(buffer_size=AUTOTUNE)
test_dataset = test_dataset.prefetch(buffer_size=AUTOTUNE)

ImageNet で学習済みの ResNet50 をベースモデルとして，特徴抽出器を作成

ImageNet で学習済みの ResNet50 をベースモデルとして使用．

1. ベースモデルの作成

   次の Python プログラムを実行

   from __future__ import absolute_import, division, print_function, unicode_literals
   import tensorflow.compat.v2 as tf
   import tensorflow_datasets as tfds
   from tensorflow.keras.preprocessing import image
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   tf.enable_v2_behavior()
   from tensorflow.keras import backend as K
   K.clear_session()
   
   from tensorflow.keras.applications.resnet50 import ResNet50
   from tensorflow.keras.applications.resnet50 import preprocess_input, decode_predictions
   from tensorflow.keras.models import Model
   from tensorflow.keras.layers import Dense, Dropout, GlobalAveragePooling2D
   
   # include_top=False により分類層を含まないようにする
   base_model = ResNet50(weights='imagenet', input_shape=IMG_SHAPE, include_top=False)
   # 学習中に結合の重みが更新されないようにする
   base_model.trainable = False
   base_model.summary()
   

   
2. ベースモデルと画像データの事前確認のため，ベースモデルを用いて画像データを処理してみる

   エラーメッセージが出ないことを確認．ここの結果をあとで使うことはない．

   image_batch, label_batch = iter(train_dataset).get_next()
   feature_batch = base_model(image_batch)
   print(feature_batch.shape)
   

   
3. ベースモデルを用いて，特徴抽出器のモデルの作成

   inputs = tf.keras.Input(IMG_SHAPE)
   x = base_model(inputs, training=False)
   x = GlobalAveragePooling2D()(x)
   m = Model(inputs=inputs, outputs=x)
   m.summary()
   

   
4. 別データを，特徴抽出器により処理し結果を得る

   特徴抽出器による処理結果は，feature_batch_all に格納する． それは，長さ 2048 の数値ベクトル，2000個になる．

   feature_batch_all = None
   label_batch_all = None
   it = iter(train_dataset)
   while True:
       try:
           image_batch, label_batch = it.get_next()
       except tf.errors.OutOfRangeError:
           break
       if feature_batch_all is None:
           feature_batch_all = m(image_batch).numpy()
           label_batch_all = label_batch.numpy()
       else:
           feature_batch_all = np.vstack((feature_batch_all, m(image_batch).numpy()))
           label_batch_all = np.append(label_batch_all, label_batch.numpy())
   
   print(feature_batch_all.shape)
   print(label_batch_all.shape)
   

   
5. データのプロット

   主成分分析（PCA）による

   import pandas as pd
   features = [str(i) for i in range(feature_batch_all.shape[1])]
   df = pd.DataFrame(feature_batch_all, columns=features)
   df['label'] = label_batch_all
   df.shape
   # 主成分分析
   import sklearn
   pca = sklearn.decomposition.PCA(n_components=2)
   pca_result = pca.fit_transform(df[features].to_numpy())
   df['pca1'] = pca_result[:,0]
   df['pca2'] = pca_result[:,1]
   # プロット
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import seaborn as sns
   plt.style.use('default')
   plt.figure(figsize=(10,10))
   # 2クラスなので，パレット数は2
   sns.scatterplot(
       x="pca1", y="pca2",
       hue="label",
       palette=sns.color_palette("hls", 2),
       data=df,
       legend="full",
       alpha=0.4
   )
   

   
6. データのプロット

   6次元に次元削減ののち，SOM を作り，SOM をプロット．前準備として「pip install minisom」を実行しておくこと．

   import pandas as pd
   features = [str(i) for i in range(feature_batch_all.shape[1])]
   df = pd.DataFrame(feature_batch_all, columns=features)
   df['label'] = label_batch_all
   df.shape
   # まず，主成分分析により，次元削減する．結果は X へ．
   import sklearn
   DIM = 6
   pca = sklearn.decomposition.PCA(n_components=DIM)
   pca_result = pca.fit_transform(df[features].values)
   df['pca1'] = pca_result[:,0]
   df['pca2'] = pca_result[:,1]
   df['pca3'] = pca_result[:,2]
   df['pca4'] = pca_result[:,3]
   df['pca5'] = pca_result[:,4]
   df['pca6'] = pca_result[:,5]
   X = df[['pca1', 'pca2', 'pca3', 'pca4', 'pca5', 'pca6']].to_numpy()
   
   # see https://github.com/JustGlowing/minisom/blob/master/examples/BasicUsage.ipynb
   # マーカーと色は２種類を設定（２クラスなので），label_batch_all に入っっている 0, 1 の値に応じて選択．
   markers = ['o', 's']
   colors = ['C0', 'C1']
   
   from minisom import MiniSom
   som = MiniSom(20, 20, DIM, sigma=0.3, learning_rate=0.5) # initialization of 20x20 SOM
   som.train(X, 100000) # trains the SOM with 50000 iterations
   
   plt.figure(figsize=(10, 10))
   plt.pcolor(som.distance_map().T, cmap='bone_r')
   plt.colorbar()
   for cnt, xx in enumerate(X):
       w = som.winner(xx)
       print(w, cnt, xx)
       plt.plot(w[0]+.5, w[1]+.5, markers[label_batch_all[cnt]], markersize=12, markeredgewidth=2, markerfacecolor='None', markeredgecolor=colors[label_batch_all[cnt]])
   
   plt.show()