ディープラーニング入門演習（全８回）

Chromeブラウザの翻訳機能の使い方

画面が英語で読みにくい場合は、以下の手順でページ全体を日本語に翻訳できる。

手順A：ページ上の文字のない場所（余白）を右クリックする。

手順B：表示されたメニューから「日本語に翻訳」を選ぶ。

手順C：ページ全体が日本語に切り替わる。元の英語に戻したい場合は、アドレスバー右側に表示される翻訳アイコン（丸の中にGの形）をクリックし、「英語」を選ぶ。

注意：Googleの翻訳では、専門用語や固有名詞が不自然な日本語になる場合がある。意味が分かりにくい箇所は、元の英語表示に戻して確認するとよい。

演習① Quick, Draw! の体験

Quick, Draw! は，Googleが公開する機械学習の体験サイトであり，登録不要で利用可能である．ユーザが描いた絵を，ニューラルネットワークがリアルタイムで分類する．本演習では，機械学習が持つ知的能力（分類，認識）を体験することを目的とする．

Quick, Draw! のサイト：https://quickdraw.withgoogle.com/

操作手順

1. アクセスする．タイトル画面が表示される．

Quick, Draw! のサイト：https://quickdraw.withgoogle.com/

2. 「描いてみよう (Let's Draw!)」のボタンをクリックする．
3. 画面にお題（例：カヌー）が表示される．「OK」をクリックして開始する．
4. 20秒以内に，お題の対象をマウスまたはタッチ操作で描く．描いている途中で，画面下にニューラルネットワークによる分類結果の候補がリアルタイムで表示される．正解に到達すると次のお題に進む．20秒経過した場合も次のお題に進む．
5. 全6問のお題が終了すると，結果画面が表示される．
6. 結果画面で，描いた絵のいずれかをクリックする．そのお題について，ニューラルネットワークが提示した分類結果の候補が表示される．世界中の他のユーザが描いた同じお題の絵の例もあわせて表示される．
7. 余裕があれば，意図的に分かりにくい絵を描いて，ニューラルネットワークの分類の限界を確かめる．

ヒント

• 本サイトは数百種類のお題について，世界中のユーザが描いた絵を訓練データとして学習している．
• ニューラルネットワークは，描いている途中の線の形状から，分類結果の候補を順次絞り込む．

考察ポイント

• 「訓練データの追加により，さらに知的能力が向上する可能性がある」ことを，本サイトの仕組みと結びつけて考える．世界中のユーザが描く絵が継続的に追加されることで，分類の精度がどのように変化しうるかを検討する．
• 描いた絵のうち，ニューラルネットワークが誤って分類したものについて，その原因を考える（線の省略，角度，描き順など）．
• 一般のプログラミングで「猫の絵を分類するプログラム」を作ることの困難さと，機械学習による解決との違いを考察する．

演習② Neural Network Playground の体験

Neural Network Playground は，カリフォルニア大学サンディエゴ校（UCSD）のCCoMが公開するWebサイトであり，登録不要で利用可能である．ニューラルネットワークの最小構成を体験できる．ニューロンの数を1個から変化させながら，分類の境目の形状がどのように変化するかを観察できる．本演習では，「ニューラルネットワークは，ニューロンがネットワークを形成する」という仕組みを，最小構成で確認することを目的とする．

Neural Network Playground：https://www.ccom.ucsd.edu/~cdeotte/programs/neuralnetwork.html

注意：本サイトは英語で表示される．操作要素はスライダーとボタンのみであり，英語が不得意でも操作に支障はない．

操作手順

1. URLにアクセスする．

   Neural Network Playground：https://www.ccom.ucsd.edu/~cdeotte/programs/neuralnetwork.html

2. ページ上部にデータ点の散布図と，分類の境目を示す曲線（決定境界．2種類のデータ点を分ける線）が表示される．画面下に H=9 と表示されたスライダーを確認する．H は，ネットワーク内部のニューロンの数を表す．
3. マウスの右クリックと左クリックで、２種類の点を配置。「Clear points」をクリックで全ての点を消去。
4. 「Start learn」をクリックすることでニューラルネットワークの学習開始。
5. スライダーを左端（H=1）まで動かす．ニューロンが1個のみとなり，分類の境目が直線1本になることを観察する．
6. スライダーを少しずつ右に動かし，H=2，H=3，H=4 と増やしていく．分類の境目が，直線の組み合わせから複雑な形状に変化していく様子を観察する．
7. スライダーを右端（H=9）まで動かす．赤と青の点の配置にもよるが、曲線的で複雑な分類の境目が形成されることを観察する．
8. 余裕があれば，同じ作者による関連ページ（手書き数字であるMNIST認識：https://www.ccom.ucsd.edu/~cdeotte/programs/MNIST.html）にアクセスし，手書き数字の分類を体験する．

ヒント

• ニューロン1個は，入力空間を1本の直線で2つに分ける単純な分類の働きをする．
• ニューロンが複数存在すると，それらが連携することで，複雑な形状の分類の境目が形成される．
• 本サイトのニューロン数は最大でも9個である．現代の大規模ニューラルネットワーク（数百万から数十億以上のニューロン）と比べれば極めて小さいが，基本原理は共通である．

考察ポイント

• 本サイトで観察される「ニューロン数を増やすと分類の境目が複雑になる」ことを確認．
• ニューロン数を極端に少なくした場合（H=1）と，多くした場合（H=9）とで，それぞれ，どのようなデータが正しく分類できるかを考察する．
• コンピュータで扱えるニューロン数は，2010年の10万個から2050年には200億個に増加する見込みである．ニューロン数の増加が，ニューラルネットワークの能力に与える影響を考察する．

演習③ A Machine Learning Playground の体験

A Machine Learning Playground（Scienxlab版）は，ニューラルネットワークの学習過程を対話的に可視化するWebサイトであり，登録不要で利用可能である．ニューロンの数，活性化関数，学習の速さなどを変更して，学習をリアルタイムに実行できる．本演習では，「入力の重みづけ，合計とバイアス，活性化関数の適用」「ニューラルネットワークのパラメータ（重みやバイアス）を最適化する」という仕組みを総合的に体験する．

A Machine Learning Playground：https://playground.scienxlab.org/

事前準備：演習②を先に体験しておくと理解しやすい．

注意：本サイトは英語で表示される．操作要素は主にボタンとドロップダウンメニューであり，英語が不得意でも直感的に操作できる．

操作手順

1. 上記URLにアクセスする．

   A Machine Learning Playground：https://playground.scienxlab.org/

2. 画面左にDATA（使用するデータの選択），中央にFEATURES（入力の選択）とHIDDEN LAYERS（ニューロンの層）の構造図，右にOUTPUT（出力と誤差）が表示される．
3. 画面上部の実行ボタン（▶）をクリックして学習を開始する．誤差（Training loss と Test loss．訓練時の誤差と検証時の誤差）の値が減少し，右の出力領域で，2種類のデータ点を分類する境目が形成されていく様子を観察する．
4. 一時停止ボタンで学習を止めることができる．
5. リセットボタン（↺）で初期状態に戻す．
6. 左のDATAで，異なるデータ分布を選択する．各データ分布で学習を実行し，分類の難易度の違いを観察する．
7. 中央のHIDDEN LAYERSの「+」「-」ボタンで，ニューロンの層の数と各層のニューロンの数を変更する．変更後に再度学習を実行し，分類の境目の形状の変化を観察する．
8. 余裕があれば、画面上部のActivation（活性化関数）ドロップダウンで，活性化関数を順に切り替える．各設定で学習を実行し，収束の速さと分類の境目の違いを観察する．
9. 学習中は，ニューロン間を結ぶ線の色（青：正の重み，橙：負の重み）と太さ（重みの絶対値の大きさ）の変化を観察する．
10. 線にマウスカーソルを重ねると，重みが表示される。．
11. ニューロンの左下の小さな四角にマウスカーソルを重ねると，バイアスが表示される。．

ヒント

• 誤差（loss）は最適化の目的関数（ゴール）に相当する．ニューラルネットワークは，誤差を最小化するように重みとバイアスを自動で調整する．
• ニューロン間を結ぶ線の太さは，重みを表す．学習が進むにつれて線の太さと色が変化することを観察すると，学習が重みの調整であることが確認できる．
• 活性化関数の種類によって，学習の様子が異なる．
• 本サイトは多機能であるため，最初は既定の設定のまま実行ボタンを押すだけで十分である．慣れてから各パラメータを1つずつ変更するとよい．

考察ポイント

• 「入力の重みづけ，合計とバイアス，活性化関数の適用」という3つの処理が，本サイトの構造図でどのように視覚化されているかを確認する．ニューロン間の線が重みに対応することを確認する．
• 最適化は，ニューラルネットワークの学習で重要な役割を果たす．誤差(loss)の減少を観察した結果を見て，誤差が0に近づいていくことを確認．
• ニューロンの層の数や、ニューロンの数を増やした場合に，分類の能力がどのように変化するかを観察する．増やしすぎると学習失敗の可能性が増えることも確認できる．
• 演習②ではニューロンの数のみを変更できたが，本サイトでは層の数，活性化関数など変更できる．それらが学習結果に与える影響を整理する．