TensorFlow のパイプラインを用いたMNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）

ニューラルネットワークによるデータの分類を行う．ここでの分類は，データから，そのラベル（クラス名）を求めるもの．分類のために，教師データを用いてニューラルネットワークの学習を行う．

このページでは，TensorFlow データセットの中の MNIST データセットを用いて，TensorFlow での学習を行うとともに，データの分類も行う．

データセットの利用条件は利用者で確認すること．このページの内容は， https://www.tensorflow.org/datasets/keras_example による．

【目次】

Google Colaboratory での実行
Windows での実行
MNIST データセットのロード
MNIST データセットの確認
Keras を用いたニューラルネットワークの作成
ニューラルネットワークの学習と検証

【サイト内の関連ページ】

関連の用語集: https://www.kkaneko.jp/tools/man/man.html．

【関連する外部ページ】

TensorFlow データセットカタログの MNIST のページ: https://www.tensorflow.org/datasets/catalog/mnist
TensorFlow データセットの URL: https://www.tensorflow.org/datasets
TensorFlow データセットの一覧の URL: https://www.tensorflow.org/datasets/catalog/overview
TensorFlow のクイックスタートのページ: https://www.tensorflow.org/tutorials/quickstart/advanced

1. Google Colaboratory での実行

Google Colaboratory のページ:

次のリンクをクリックすると，Google Colaboratory のノートブックが開く．そして，Google アカウントでログインすると，Google Colaboratory のノートブック内のコード等を編集したり再実行したりができる．編集した場合でも，他の人に影響が出たりということはない．そして，編集後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1QvEEivjsqTK3s1QV5yn-COo-HavIlO2U?usp=sharing

2. Windows での実行

Python 3.10，Git，7-Zip のインストール（Windows 上）

Pythonは，プログラミング言語の１つ． Gitは，分散型のバージョン管理システム． 7-Zipは，ファイル圧縮・展開（解凍）ツール．

【手順】

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行

次のコマンドは，Python ランチャーとPython 3.10とGitと7-Zipをインストールし，Gitと7-Zipにパスを通すものである．

次のコマンドでインストールされるGitは「git for Windows」と呼ばれるものであり， Git，MinGW などから構成されている．

winget install --scope machine Python.Launcher
winget install --scope machine Python.Python.3.10
winget install --scope machine Git.Git
powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\Git\cmd\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
winget install --scope machine 7zip.7zip
powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\7-Zip\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"

【関連する外部ページ】

Python の公式ページ: https://www.python.org/
Git の公式ページ: https://git-scm.com/
7-Zip の公式ページ: https://7-zip.opensource.jp/

【サイト内の関連ページ】

Python のまとめ: 別ページ »にまとめている．

【関連項目】 Python, Git バージョン管理システム, Git の利用, 7-Zip

Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）または Visual Studio 2022 のインストール（Windows 上）

【インストールの判断】 Build Tools for Visual Studio は，開発ツールセットである． Visual Studio は統合開発環境であり，いくつかの種類があり，Build Tools for Visual Studioの機能を含むか連携して使用するものである．インストールは以下の基準で判断してください：

Build Tools for Visual Studio の機能のみが必要な場合
Build Tools for Visual Studio のインストールを行う．
Visual Studio の機能が必要である，あるいは，よく分からない場合
Visual Studio をインストールする．
Visual Studio 2022 をインストールする際に，「C++ によるデスクトップ開発」を選択することで， Build Tools for Visual Studio 2022 の機能も一緒にインストールされる．

不明な点がある場合は，Visual Studio 全体をインストールを行う方が良い．

Build Tools for Visual Studio 2022 のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行
次のコマンドは，Build Tools for Visual Studio 2022と VC2015 再配布可能パッケージをインストールするものである．
```
winget install --scope machine Microsoft.VisualStudio.2022.BuildTools 
winget install --scope machine Microsoft.VCRedist.2015+.x64
```
Build Tools for Visual Studio 2022 での C++ によるデスクトップ開発，CLI，ATL，MFC のインストール（Windows 上）
1. Visual Studio Installer の起動
  起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．
2. Visual Studio Build Tools 2022 で「変更」を選ぶ．
3. 「C++ によるデスクトップ開発」をクリック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」，「ATL」，「MFC」をチェックする．その後，「変更」をクリック．

Visual Studio のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行
次のコマンドは，Visual Studio Community 2022と VC2015 再配布可能パッケージをインストールするものである．
```
winget install --scope machine Microsoft.VisualStudio.2022.Community
winget install --scope machine Microsoft.VCRedist.2015+.x64
```
Visual Studio での C++ によるデスクトップ開発，CLI のインストール（Windows 上）
1. Visual Studio Installer の起動
  起動方法: スタートメニューの「Visual Studio Installer」を選ぶ．
2. Visual Studio Community 2022 で「変更」を選ぶ．
3. 「C++ によるデスクトップ開発」をチェック．そして，画面右側の「インストール」の詳細で「v143 ビルドツール用 C++/CLI サポート（最新）」をチェックする．その後，「インストール」をクリック．

NVIDIA ドライバのインストール（Windows 上）

NVIDIA ドライバ

NVIDIA ドライバは，NVIDIA製GPUを動作させるための重要なソフトウェアである．このドライバをインストールすることにより，GPUの性能を引き出すことができ，グラフィックス関連のアプリ，AI関連のアプリの高速化が期待できる．

ドライバはNVIDIA公式サイトである https://www.nvidia.co.jp/Download/index.aspx?lang=jp からダウンロードできる．このサイトからダウンロードするときには，グラフィックスカードとオペレーティングシステムを選択する．なお，NVIDIA GeForce Experiance を用いてインストールすることも可能である．

【サイト内の関連ページ】

NVIDIA ドライバのインストール（Windows 上）

NVIDIA グラフィックス・ボードの確認
Windows で，NVIDIA グラフィックス・ボードの種類を調べたいときは，次のコマンドを実行することにより調べることができる．
```
wmic path win32_VideoController get name
```
NVIDIA ドライバのダウンロード
NVIDIA ドライバは，以下の NVIDIA 公式サイトからダウンロードできる．
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
ダウンロードの際には，使用しているグラフィックス・ボードの型番とオペレーティングシステムを選択する．

NVIDIA CUDA ツールキット 11.8 のインストール（Windows 上）

NVIDIA CUDA ツールキットのインストール時の注意点

NVIDIAのGPUを使用して並列計算を行うためのツールセット

主な機能: GPU を利用した並列処理，GPU のメモリ管理，C++をベースとした拡張言語とAPIとライブラリ

【NVIDIA CUDA ツールキットの動作に必要なもの】

CUDA対応のNVIDIA GPUが必要．
そのために，NVIDIA グラフィックス・ボードを確認する． Windows で，NVIDIA グラフィックス・ボードの種類を調べたいときは，次のコマンドを実行することにより調べることができる．
```
wmic path win32_VideoController get name
```
NVIDIA ドライバのダウンロードとインストール
NVIDIA ドライバは，以下の NVIDIA 公式サイトからダウンロードできる．ダウンロードの際には，使用しているグラフィックス・ボードの型番とオペレーティングシステムを選択する．
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
Windows では，インストール前に，Build Tools for Visual Studio もしくは Visual Studio をインストールしておくことが必要である．

【Windows でインストールするときの注意点】

Windows では， NVIDIA CUDA ツールキットのインストール中は，なるべく他のウインドウはすべて閉じておくこと．
NVIDIA CUDA ツールキットのインストールが終わったら，ユーザ環境変数 TEMP の設定を行う．
Windows のユーザ名が日本語のとき，nvcc がうまく動作しないエラーを回避するためである．
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために，コマンドプロンプトで，次のコマンドを実行する．
```
mkdir C:\TEMP
powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"
```

【関連する外部ページ】

NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA CUDA ツールキットの公式のドキュメント: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
NVIDIA CUDA ツールキットのインストールに関する，NVIDIA CUDA クイックスタートガイドの公式ページ: https://docs.nvidia.com/cuda/cuda-quick-start-guide/index.html

Windows では，NVIDIA CUDA ツールキットのインストール中は，なるべく他のウインドウはすべて閉じておくこと．
Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行

次のコマンドは，NVIDIA GeForce Experience，NVIDIA CUDA ツールキット 11.8 をインストールするものである．

wmic path win32_VideoController get name
winget install --scope machine Nvidia.GeForceExperience
winget install --scope machine Nvidia.CUDA --version 11.8
powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDA_HOME\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\", \"Machine\")"

NVIDIA CUDA ツールキットのインストールが終わったら，ユーザ環境変数 TEMP の設定を行う．
Windows のユーザ名が日本語のとき，nvcc がうまく動作しないエラーを回避するためである．
ユーザ環境変数 TEMP に「C:\TEMP」を設定するために，コマンドプロンプトで，次のコマンドを実行する．
```
mkdir C:\TEMP
powershell -command "[System.Environment]::SetEnvironmentVariable(\"TEMP\", \"C:\TEMP\", \"User\")"
```

NVIDIA cuDNN 8.9.7 のインストール（Windows 上）

NVIDIA cuDNN

NVIDIA cuDNN は， NVIDIA CUDA ツールキット上で動作するディープラーニング・ライブラリである．畳み込みニューラルネットワークやリカレントニューラルネットワークなど，さまざまなディープラーニングで利用されている．

Windows で，NVIDIA cuDNN の利用時に「Could not locate zlibwapi.dll. Please make sure it is in your library path!」と表示されるときは， ZLIB DLL をインストールすること．

【関連する外部ページ】

NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn

NVIDIA cuDNN のインストール（Windows 上）の概要

NVIDIA Developer Program メンバーシップへの加入が必要．
NVIDIA Developer Program の公式ページ: https://developer.nvidia.com/developer-program
公式サイトより，使用中の NVIDIA CUDA のバージョンに適合するzipファイルをダウンロード．ダウンロードしたファイルを展開（解凍）．展開先のbinフォルダにパスを通す．システム環境変数CUDNN_PATHを設定．パスが正しく設定されたか確認（where cudnn64_8.dllコマンドでエラーが出ないことを確認）

zlib のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行

次のコマンドは，zlibをインストールし，パスを通すものである．

cd /d c:%HOMEPATH%
rmdir /s /q zlib
git clone https://github.com/madler/zlib
cd zlib
del CMakeCache.txt
rmdir /s /q CMakeFiles\
cmake . -G "Visual Studio 17 2022" -A x64 -T host=x64 -DCMAKE_INSTALL_PREFIX=c:/zlib
cmake --build . --config RELEASE --target INSTALL
powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\zlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
powershell -command "[System.Environment]::SetEnvironmentVariable(\"ZLIB_HOME\", \"C:\zlib\", \"Machine\")"

【関連する外部ページ】

zlib の公式ページ: https://www.zlib.net/

【関連項目】 zlib

NVIDIA cuDNN 8.9.7 のインストール（Windows 上）

NVIDIA cuDNN のウェブページを開く
https://developer.nvidia.com/cuDNN
ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
cuDNN Downloads のページで「Archive of Previous Releases」をクリック
「cuDNN 8.x - 1.x」をクリック
ダウンロードしたいバージョンを選ぶ
ここでは「NVIDIA cuDNN v8.9.7 for CUDA 11.x」を選んでいる．
このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．
Windows にインストールするので Windows 版を選ぶ
NVIDIA Developer Program メンバーシップに入る
NVIDIA cuDNN のダウンロードのため．
「Join now」をクリック．その後，画面の指示に従う．利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．
ログインする
調査の画面が出たときは，調査に応じる
ライセンス条項の確認
ダウンロードが始まる．
ダウンロードした .zip ファイルを展開（解凍）する．その中のサブディレクトリを確認しておく．

Windows での展開（解凍）に便利な 7-Zip: 別ページ »で説明
NVIDIA CUDA ツールキットをインストールしたディレクトリを確認する．「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8」のようになっている．
確認したら，さきほど展開してできたすべてのファイルとディレクトリを，NVIDIA CUDA ツールキットをインストールしたディレクトリにコピーする
パスが通っていることを確認．
次の操作により，cudnn64_8.dll にパスが通っていることを確認する．
Windows のコマンドプロンプトを開き，次のコマンドを実行する．エラーメッセージが出ないことを確認．
```
where cudnn64_8.dll
```
Windows のシステム環境変数 CUDNN_PATH の設定を行う． Windows では，コマンドプロンプトを管理者として開き，次のコマンドを実行することにより，システム環境変数 CUDNN_PATH の設定を行うことができる．

コマンドプロンプトを管理者として実行: 別ページ »で説明
```
powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\", \"Machine\")"
```

TensorFlow 2.10.1 のインストール（Windows 上）

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

TensorFlow 2.10.1 のインストール（Windows 上）

次のコマンドを実行することにより，TensorFlow 2.10.1 および関連パッケージ（tf_slim，tensorflow_datasets，tensorflow-hub，Keras，keras-tuner，keras-visualizer）がインストール（インストール済みのときは最新版に更新）される．そして，Pythonパッケージ（Pillow, pydot, matplotlib, seaborn, pandas, scipy, scikit-learn, scikit-learn-intelex, opencv-python, opencv-contrib-python）がインストール（インストール済みのときは最新版に更新）される．

python -m pip uninstall -y protobuf tensorflow tensorflow-cpu tensorflow-gpu tensorflow-intel tensorflow-text tensorflow-estimator tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U protobuf tensorflow==2.10.1 tf_slim tensorflow_datasets==4.8.3 tensorflow-hub tf-keras keras keras_cv keras-tuner keras-visualizer
python -m pip install git+https://github.com/tensorflow/docs
python -m pip install git+https://github.com/tensorflow/examples.git
python -m pip install git+https://www.github.com/keras-team/keras-contrib.git
python -m pip install -U pillow pydot matplotlib seaborn pandas scipy scikit-learn scikit-learn-intelex opencv-python opencv-contrib-python

Graphviz のインストール

Windows での Graphviz のインストール: 別ページ »で説明

numpy，matplotlib, seaborn, scikit-learn, pandas, pydot のインストール

Windows で，コマンドプロンプトを管理者として実行

コマンドプロンプトを管理者として実行: 別ページ »で説明

次のコマンドを実行する．
```
python -m pip install -U numpy matplotlib seaborn scikit-learn pandas pydot
```

MNIST データセットのロード

【Python の利用】

Python は，次のコマンドで起動できる．

Windows では: python または py -3.10 のようにバージョン指定）
Ubuntu では: python3

Python 開発環境（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど）も便利である．

Python のまとめ: 別ページ »にまとめ

TensorFlow の MNIST データセット

Windows で，コマンドプロンプトを実行．
jupyter qtconsole の起動
これ以降の操作は，jupyter qtconsole で行う．
```
jupyter qtconsole
```
Python 開発環境として，Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, spyder のインストール
Windows で，コマンドプロンプトを管理者として実行し，次のコマンドを実行する．
次のコマンドを実行することにより，pipとsetuptoolsを更新する，Jupyter Notebook，PyQt5、Spyderなどの主要なPython環境がインストールされる．
```
python -m pip install -U pip setuptools requests notebook==6.5.7 jupyterlab jupyter jupyter-console jupytext PyQt5 nteract_on_jupyter spyder
```

パッケージのインポート，TensorFlow のバージョン確認など

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import backend as K 
K.clear_session()
import numpy as np
import tensorflow_datasets as tfds
from tensorflow.keras.preprocessing import image

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# TensorFlow のバージョン
print(tf.__version__)

# GPU を利用しているか
gpus = tf.config.list_physical_devices(device_type = 'GPU')
if len(gpus)>0:
    print(f">> GPU detected. {gpus[0].name}")
    tf.config.experimental.set_memory_growth(gpus[0], True)

MNIST データセットのロード

mnist, mnist_info = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True)

MNIST データセットの確認

データセットの中の画像を表示

fig1 = tfds.show_examples(mnist['train'], mnist_info)
fig2 = tfds.show_examples(mnist['test'], mnist_info)

データセットの情報を表示

print(mnist_info)
print(mnist_info.features["label"].num_classes)
print(mnist_info.features["label"].names)

Keras を用いたニューラルネットワークの作成

データセットの生成
ds_train: サイズ 28 × 28 の 60000枚の濃淡画像，60000枚の濃淡画像それぞれのラベル(0 から 9 のどれか)
ds_test: サイズ 28 × 28 の 60000枚の濃淡画像，60000枚の濃淡画像それぞれのラベル(0 から 9 のどれか)
```
ds_train, ds_test = mnist['train'], mnist['test']
```
確認のため，データセットの先頭要素を確認してみる
次により，データセット ds_train, ds_test の先頭要素を確認．
次のプログラムでは，ds_train, ds_test の先頭要素が，i に得られる． i がタップルであること，そして，i は TensorFlow のテンソルが並んだタップルであることを確認する．
実行結果からは，次を確認，i の長さは 2，そして，i の中身が 2つであることが分かる．
- ds_train の先頭要素: 形状 (28, 28, 1) と形状 () のタップル
- ds_test の先頭要素: 形状 (28, 28, 1) と形状 () のタップル
```
for i in ds_train.take(1):
    print(type(i))
    for j in range(len(i)):
        print(type(i[j]))
        print(i[j].shape)
```
```
for i in ds_test.take(1):
    print(type(i))
    for j in range(len(i)):
        print(type(i[j]))
        print(i[j].shape)
```
確認のため，データセットの先頭要素を表示してみる
「tf.reshape(image, [-1])」では，テンソルをフラット化している．これは，表示を見やすくするため．
タップルの 0 番目は数値データ，タップルの 1 番目は分類結果のラベル（クラス名）である．
```
for image, label in ds_train.take(1):
    print(tf.reshape(image, [-1]))
    print(label)
```
```
for image, label in ds_test.take(1):
    print(tf.reshape(image, [-1]))
    print(label)
```

トレーニングパイプライン

値は，もともと int で 0 から 255 の範囲であるのを， float32 で 0　から 1 の範囲になるように前処理を行う．そして，データセットのシャッフルとバッチも行う．

def normalize_img(image, label):
  """Normalizes images: `uint8` -> `float32`."""
  return tf.cast(image, tf.float32) / 255., label

SHUFFLE_BUFFER_SIZE = 100000
BATCH_SIZE=128
AUTOTUNE = tf.data.experimental.AUTOTUNE

ds_train = ds_train.map(normalize_img, num_parallel_calls=AUTOTUNE)
ds_train = ds_train.cache().shuffle(buffer_size=SHUFFLE_BUFFER_SIZE).batch(BATCH_SIZE).prefetch(buffer_size=AUTOTUNE)

評価パイプライン
値は，もともと int で 0 から 255 の範囲であるのを， float32 で 0　から 1 の範囲になるように前処理を行う．そして，データセットのバッチも行う．
```
ds_test = ds_test.map(normalize_img, num_parallel_calls=AUTOTUNE)
ds_test = ds_test.cache().batch(BATCH_SIZE).prefetch(buffer_size=AUTOTUNE)
```
モデルの作成と確認
- ニューラルネットワークの種類：層構造 (Sequential Model)
- ニューラルネットワークの構成
  - Flatten の層: 画像（28かける28）を 1次元の配列に変換する．
  - １層目: Dense（全結合），ニューロン（ユニット）の個数: 64
  - ２層目: Dense（全結合），ニューロン（ユニット）の個数: 10
  - ２層目のニューロン（ユニット）の種類: softmax
  - １番目のDense の層と２番目のDense の層の間の結合については，ドロップアウトを行う．
```
num_classes = 10
input_shape = (28, 28)
m = tf.keras.Sequential(
    [
        tf.keras.Input(shape=input_shape),
        layers.Flatten(),
        layers.Dense(units=64, activation='relu'),
        layers.Dropout(0.5),
        layers.Dense(units=num_classes, activation='softmax')
    ]
)
print(m.summary())
```
L2 正則化を行いたいときは「 tf.keras.layers.Dense(64, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001)),」のようにする．

ニューラルネットワークの学習と検証

コンパイル，学習を行う
オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
m.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
history = m.fit(ds_train,
                    batch_size=128, 
                    epochs=EPOCHS,
                    validation_data=ds_test,
                    verbose=1)
```
（以下省略）
ディープラーニングによるデータの分類
ds_test を分類してみる．
```
print(m.predict(ds_test))
```
それぞれの数値の中で、一番大きいものはどれか？
```
m.predict(ds_test).argmax(axis=1)
```
ds_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
for i in ds_test:
    print(i[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

【関連する外部ページ】訓練の履歴の可視化については，https://keras.io/ja/visualization/

学習時と検証時の，損失の違い

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

# "bo" は青いドット
plt.plot(epochs, loss, 'bo', label='Training loss')
# ”b" は青い実線
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

学習時と検証時の，精度の違い

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

plt.clf()   # 図のクリア
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()