CIFAR-10 データセット（Python を使用）

1. 前準備

Python の準備（Windows，Ubuntu 上）

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
• Ubuntu では，システム Pythonを使うことができる．Python3 開発用ファイル，pip, setuptools のインストール: 別ページ »で説明している．

【サイト内の関連ページ】

• Python のまとめ: 別ページ »にまとめ
• Google Colaboratory の使い方など: 別ページ »で説明している．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

TensorFlow, TensorFlow データセット, Keras, numpy, matplotlib のインストール

Windows の場合

Windows では，コマンドプロン プトを管理者として実行し， 次のコマンドを実行する．

python -m pip install -U tensorflow-gpu tensorflow_datasets keras numpy matplotlib

Ubuntu の場合

Ubuntu では，次のコマンドを実行．

sudo apt -y update
sudo apt -y install python3-numpy python3-matplotlib
sudo pip3 install -U tensorflow-gpu tensorflow_datasets keras 

2. CIFAR-10 データセットのロード

1. Windows で，コマンドプロンプトを実行．
2. jupyter qtconsole の起動

   これ以降の操作は，jupyter qtconsole で行う．

   jupyter qtconsole
   

   Python 開発環境として，Python コンソール（Jupyter Qt Console）, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール

   Windows で，コマンドプロンプトを管理者として実行し，次のコマンドを実行する．

   python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
   

3. パッケージのインポート，TensorFlow のバージョン確認など

   import tensorflow as tf
   import numpy as np
   import tensorflow_datasets as tfds
   
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   

   
4. TensorFlow データセット から CIFAR-10 データセット をロード
   • x_train: サイズ 32 × 32 の50000枚のカラー画像
   • y_train: 50000枚のカラー画像それぞれの,種類番号(0 から 9 のどれか)
   • x_test: サイズ 32 × 32 の 10000枚のカラー画像
   • y_test: 10000枚のカラー画像それぞれの,種類番号(0 から 9 のどれか)

   結果は，TensorFlow の Tensor である．

   type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

   tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

   cifar10, cifar10_metadata = tfds.load('cifar10', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
   x_train, y_train, x_test, y_test = cifar10['train'][0], cifar10['train'][1], cifar10['test'][0], cifar10['test'][1]
   print(cifar10_metadata)
   

   

3. CIFAR-10 データセットの確認

• データセットの中の画像を表示

  MatplotLib を用いて，0 番目の画像を表示する

  NUM = 0
  plt.figure()
  plt.imshow(x_train[NUM,:,:,0], cmap='gray')
  plt.colorbar()
  plt.gca().grid(False)
  plt.show()
  

  
• データセットの情報を表示

  print(cifar10_metadata)
  print(cifar10_metadata.features["label"].num_classes)
  print(cifar10_metadata.features["label"].names)
  

  
• データの確認表示

  MatplotLib を用いて，複数の画像を並べて表示する．

  class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
  plt.style.use('default')
  plt.figure(figsize=(10,10))
  for i in range(25):
      plt.subplot(5,5,i+1)
      plt.xticks([])
      plt.yticks([])
      plt.grid(False)
      plt.imshow(x_train[i], cmap=plt.cm.binary)
      plt.xlabel(class_names[y_train[i]])
  
  plt.show()
  

  
• train, test を得る

  train = cifar10['train']
  test = cifar10['test']
  print(train)
  print(test)