転移学習での特徴抽出器（ImageNet で学習済みの ResNet50 による転移学習）（Windows あるいは Ubuntu 上）

1. Google Colaboratory へのリンク

このページに掲載のソースコードは，Google Colaboratory でも実行できる．

このページに掲載のソースコードが入った Google Colaboratory のノートブック（Google ドライブ内）は，次の URL である．

https://colab.research.google.com/drive/1c0uJaZB7B6SDTnxS_5FJukKd9FbYg4-e?usp=sharing

2. 前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

python --version

TensorFlow，Keras のインストール

Windows での TensorFlow，Keras のインストール: 別ページ »で説明

（このページで，Build Tools for Visual Studio 2022，NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNNのインストールも説明している．）

numpy，matplotlib, seaborn, scikit-learn, pandas, pydot のインストール

1. 次のコマンドを実行する．

   管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

   python -m pip install -U --no-user numpy matplotlib seaborn scikit-learn pandas pydot
   

Graphviz のインストール

• Windows での Graphviz のインストール: 別ページ »で説明
• Ubuntu での Graphviz のインストール

  sudo apt -y install graphviz python3-graphviz libgraphviz-dev
  

3. 特徴抽出を行う画像データの準備

import os
import tensorflow as tf
from tensorflow.keras.preprocessing import image_dataset_from_directory

# 追加データである画像の画像サイズを IMG_SIZE に設定すること
IMG_SIZE = (160, 160)
IMG_SHAPE = IMG_SIZE + (3,)
# TensorFlow の API で処理するときのバッチサイズの設定
BATCH_SIZE = 32
# URL によりダウンロード
_URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip'
path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True)
PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered')

train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')
train_dataset = image_dataset_from_directory(train_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
validation_dataset = image_dataset_from_directory(validation_dir, shuffle=True, batch_size=BATCH_SIZE, image_size=IMG_SIZE)
val_batches = tf.data.experimental.cardinality(validation_dataset)
# validation_dataset を test_dataset とvalidation_dataset に振り分け
test_dataset = validation_dataset.take(val_batches // 5)
validation_dataset = validation_dataset.skip(val_batches // 5)
# プリフェッチの設定（読み込み高速化のため）
AUTOTUNE = tf.data.AUTOTUNE
train_dataset = train_dataset.prefetch(buffer_size=AUTOTUNE)
validation_dataset = validation_dataset.prefetch(buffer_size=AUTOTUNE)
test_dataset = test_dataset.prefetch(buffer_size=AUTOTUNE)

4. ImageNet で学習済みの ResNet50 をベースモデルとして，特徴抽出器を作成

ImageNet で学習済みの ResNet50 をベースモデルとして使用．

1. ベースモデルの作成

   次の Python プログラムを実行

   Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

   import tensorflow as tf
   from tensorflow.keras.applications.resnet50 import ResNet50
   from tensorflow.keras.preprocessing import image
   from tensorflow.keras.applications.resnet50 import preprocess_input, decode_predictions
   from tensorflow.keras.models import Model
   from tensorflow.keras.layers import Dense, Dropout, GlobalAveragePooling2D
   import numpy as np
   
   # include_top=False により分類層を含まないようにする
   base_model = ResNet50(weights='imagenet', input_shape=IMG_SHAPE, include_top=False)
   # 学習中に結合の重みが更新されないようにする
   base_model.trainable = False
   base_model.summary()
   

   
2. ベースモデルと画像データの事前確認のため，ベースモデルを用いて画像データを処理してみる

   エラーメッセージが出ないことを確認．ここの結果をあとで使うことはない．

   image_batch, label_batch = iter(train_dataset).get_next()
   feature_batch = base_model(image_batch)
   print(feature_batch.shape)
   

   
3. ベースモデルを用いて，特徴抽出器のモデルの作成

   inputs = tf.keras.Input(IMG_SHAPE)
   x = base_model(inputs, training=False)
   x = GlobalAveragePooling2D()(x)
   m = Model(inputs=inputs, outputs=x)
   m.summary()
   

   
4. 別データを，特徴抽出器により処理し結果を得る

   結果は，feature_batch_all に得る 結果として，長さ 2048 の数値ベクトルが 2000個得られる．

   feature_batch_all = None
   it = iter(train_dataset)
   while True:
       try:
           image_batch, label_batch = it.get_next()
       except tf.errors.OutOfRangeError:
           break
       if feature_batch_all is None:
           feature_batch_all = m(image_batch).numpy()
       else:
           feature_batch_all = np.vstack((feature_batch_all, m(image_batch).numpy()))
   
   print(feature_batch_all.shape)
   

   
5. ベースモデルを用いて，画像分類のモデルの作成

   inputs = tf.keras.Input(IMG_SHAPE)
   x = base_model(inputs, training=False)
   x = GlobalAveragePooling2D()(x)
   x = Dropout(0.2)(x)
   x = Dense(1)(x)
   m = Model(inputs=inputs, outputs=x)
   

   
6. 画像分類の実行
   「C:/image/fruits.jpg」のところには，画像ファイル名を指定すること．

   from matplotlib import pyplot as plt
   %matplotlib inline
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import PIL
   
   img_path = 'C:/image/fruits.jpg'
   img = image.load_img(img_path, target_size=IMG_SIZE)
   x = image.img_to_array(img)
   x = np.expand_dims(x, axis=0)
   x = preprocess_input(x)
   
   features = m.predict(x)
   print(np.shape(features))
   

7. 結果が表示されるので確認する
   
   Google Colaboratory でも，同じ手順で，同様の結果を得ることができる．

   
8. 別の画像 home.jpg で画像分類の実行

   from matplotlib import pyplot as plt
   %matplotlib inline
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   
   img_path = 'C:/image/home.jpg'
   img = image.load_img(img_path, target_size=(224, 224))
   x = image.img_to_array(img)
   x = np.expand_dims(x, axis=0)
   x = preprocess_input(x)
   
   # decode the results into a list of tuples (class, description, probability)
   # (one such list for each sample in the batch)
   plt.imshow(img)
   print('Predicted:', decode_predictions(m.predict(x), top=3)[0])
   

9. 結果が表示されるので確認する
   

USB 接続ビデオカメラの表示例

USB接続できるビデオカメラを準備し，パソコンに接続しておく．

OpenCV による動画表示を行う．

import cv2
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, f = v.read()
    if ( r == False ):
        break
    img = cv2.resize(f, (224, 224))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)
    preds = m.predict(x)
    cv2.imshow("", img)
    print('Predicted:', decode_predictions(preds, top=3)[0])
    # Press Q to exit
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v.release()
cv2.destroyAllWindows()

分類結果が表示されるので確認する

* 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる