金子邦彦研究室人工知能データセット(人工知能関連)Fashion MNIST データセット(Python を使用)

Fashion MNIST データセット(Python を使用)

Fashion MNIST データセットを紹介する. 利用条件は利用者で確認すること.

目次

  1. 前準備
  2. Fashion MNIST データセットのロード
  3. Fashion MNIST データセットの確認

Fashion MNIST データセット

Fashion MNIST データセットは,公開されているデータセット(オープンデータ)である.

Fashion MNIST データセットは,10 種類のモノクロ画像と,各画像に付いた ラベル(10 種類の中の種類を示す)から構成されるデータセットである.

  • 画素はグレースケールであり,画素値は0~255である.0が白,255が黒.

    文献

    Han Xiao, Kashif Rasul, and Roland Vollgraf, Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms, arXiv:1708.07747 [cs.LG], 2017.

    サイト内の関連ページ

    関連する外部ページ

  • 1. 前準備

    Python の準備(Windows,Ubuntu 上)

    サイト内の関連ページ

    関連する外部ページ

    Python の公式ページ: https://www.python.org/

    TensorFlow, TensorFlow データセット, Keras, numpy, matplotlib のインストール

    Windows の場合

    Windows では,コマンドプロン プトを管理者として実行し, 次のコマンドを実行する.

    Windowspip を実行するときは,コマンドプロンプト管理者として開き,それを使って pip を実行することにする.

    python -m pip install -U tensorflow-gpu tensorflow_datasets keras numpy matplotlib
    

    Windows での TensorFlow のインストールの詳細: 別ページ »で説明

    (このページで,Build Tools for Visual Studio 2022,NVIDIA ドライバ, NVIDIA CUDA ツールキットNVIDIA cuDNNのインストールも説明している.)

    Ubuntu の場合

    Ubuntu では,次のコマンドを実行.

    sudo apt -y update
    sudo apt -y install python3-numpy python3-matplotlib
    sudo pip3 install -U tensorflow-gpu tensorflow_datasets keras 
    

    Ubuntu での TensorFlow のインストールの詳細: 別ページ »で説明

    (このページで,NVIDIA ドライバ, NVIDIA CUDA ツールキットNVIDIA cuDNNのインストールも説明している.)

    2. Fashion MNIST データセットのロード

    【Python の利用】

    Python は,次のコマンドで起動できる.

    Python 開発環境(Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど)も便利である.

    Python のまとめ: 別ページ »にまとめ

    1. Windows で,コマンドプロンプトを実行.
    2. jupyter qtconsole の起動

      これ以降の操作は,jupyter qtconsole で行う.

      jupyter qtconsole
      

      Python 開発環境として,Python コンソール(Jupyter Qt Console), Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール

      Windows で,コマンドプロンプト管理者として実行し,次のコマンドを実行する.

      python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
      
    3. パッケージのインポート,TensorFlow のバージョン確認など
      import tensorflow as tf
      import numpy as np
      import tensorflow_datasets as tfds
      
      %matplotlib inline
      import matplotlib.pyplot as plt
      import warnings
      warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
      

      [image]
    4. TensorFlow データセット から Fashion MNIST データセット をロード
      • x_train: サイズ 28 × 28 の 60000枚の濃淡画像
      • y_train: 60000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)
      • x_test: サイズ 28 × 28 の 10000枚の濃淡画像
      • y_test: 10000枚の濃淡画像それぞれの,種類番号(0 から 9 のどれか)

      結果は,TensorFlow の Tensor である.

      type は型,shape はサイズ,np.max と np.mi は最大値と最小値.

      tensorflow_datasets の loadで, 「batch_size = -1」を指定して,一括読み込みを行っている.

      fashion_mnist, fashion_mnist_metadata = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
      x_train, y_train, x_test, y_test = fashion_mnist['train'][0], fashion_mnist['train'][1], fashion_mnist['test'][0], fashion_mnist['test'][1]
      print(fashion_mnist_metadata)
      

      [image]

    3. Fashion MNIST データセットの確認