CIFAR-100 データセット（Python を使用）

1. 前準備

Python の準備（Windows，Ubuntu 上）

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール（winget を使用しないインストール）: 別ページ »で説明
• Ubuntu では，システム Pythonを使うことができる．Python3 開発用ファイル，pip, setuptools のインストール: 別ページ »で説明

【サイト内の関連ページ】

• Python のまとめ: 別ページ »にまとめ
• Google Colaboratory の使い方など: 別ページ »で説明

【関連する外部ページ】 Python の公式ページ: https://www.python.org/

TensorFlow, TensorFlow データセット, Keras, numpy, matplotlib のインストール

Windows の場合

Windows では，コマンドプロンプトを管理者として実行し， 次のコマンドを実行する．

python -m pip install -U tensorflow-gpu tensorflow_datasets keras numpy matplotlib

Ubuntu の場合

Ubuntu では，次のコマンドを実行．

sudo apt -y update
sudo apt -y install python3-numpy python3-matplotlib
sudo pip3 install -U tensorflow-gpu tensorflow_datasets keras

2. CIFAR-100 データセットのロード

1. Windows で，コマンドプロンプトを実行．
2. jupyter qtconsole の起動

   これ以降の操作は，jupyter qtconsole で行う．

   jupyter qtconsole
   

   Python 開発環境として，Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール

   Windows で，コマンドプロンプトを管理者として実行し，次のコマンドを実行する．

   次のコマンドを実行することにより，pipとsetuptoolsを更新する，Jupyter Notebook，PyQt5、Spyderなどの主要なPython環境がインストールされる．

   python -m pip install -U pip setuptools requests notebook==6.5.7 jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
   

3. パッケージのインポート，TensorFlow のバージョン確認など

   import tensorflow as tf
   import numpy as np
   import tensorflow_datasets as tfds
   
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   

   
4. TensorFlow データセット から CIFAR-100 データセット をロード
   • x_train: サイズ 32 × 32 の50000枚のカラー画像
   • y_train: 50000枚のカラー画像それぞれの,種類番号(0 から 9 のどれか)
   • x_test: サイズ 32 × 32 の 10000枚のカラー画像
   • y_test: 10000枚のカラー画像それぞれの,種類番号(0 から 9 のどれか)

   結果は，TensorFlow の Tensor である．

   type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

   tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

   cifar100, cifar100_metadata = tfds.load('cifar100', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
   x_train, y_train, x_test, y_test = cifar100['train'][0], cifar100['train'][1], cifar100['test'][0], cifar100['test'][1]
   print(cifar100_metadata)
   

   

3. CIFAR-100 データセットの確認

• データセットの中の画像を表示

  MatplotLib を用いて，0 番目の画像を表示する

  NUM = 0
  plt.figure()
  plt.imshow(x_train[NUM,:,:,0], cmap='gray')
  plt.colorbar()
  plt.gca().grid(False)
  plt.show()
  

  
• データセットの情報を表示

  print(cifar100_metadata)
  print(cifar100_metadata.features["label"].num_classes)
  print(cifar100_metadata.features["label"].names)
  

  
• データの確認表示

  MatplotLib を用いて，複数の画像を並べて表示する．

  plt.style.use('default')
  plt.figure(figsize=(10,10))
  for i in range(25):
      plt.subplot(5,5,i+1)
      plt.xticks([])
      plt.yticks([])
      plt.grid(False)
      plt.imshow(x_train[i], cmap=plt.cm.binary)
  
  plt.show()
  

  
• train, test を得る

  train = cifar100['train']
  test = cifar100['test']
  print(train)
  print(test)