研究室「２０１８年４月卒論配属」サポートページ

金子邦彦研究室：　データベース、人工知能（AI)、データサイエンスの融合により不可能を可能にする

卒業おめでとう

連絡事項

当初、２月２５日（１１時）集合予定は、予定通り、お集まりください。

ソースコード、研究データを引き取る作業があります。ご苦労様でした。この回で終わるようにしたいと思っています。 （パソコンをクリーンにするかは、各自と相談します。Windows 10 のインストールディスクを用意しておきますので、それを各自起動して、クリーンしてもらえれば安心。それ以上の措置は、教員で行います）。

金子研究室ポリシー

金子研究室の学生の皆さんには，次のようにお願いします．

• 「自分のやりたいこと」を自分で考え，自分で決める．決めるときには，指導教員のアドバイスも受ける．
• チャレンジこそが大事．自分の成長に重要である．卒論の期限に間に合うかという小さいことを気にしない．熱中して取り組む雰囲気を作る．
• 原理原則、ものごとの本質をとらえる．
• うまくいかないことがあっても，決して気に病まない，怒られない．仲間や指導教員の助けを借りながら「なぜうまくいかないのか」を自分で考える．「うまくいくための道筋（仮説）」を立て，取り組んでいく．こうした取り組みを繰り返す．地道な行動を重ねる．

学生諸君（２０１８年４月配属卒論生）の成果物

本人の了解の上、（あわせて、人物写真については当該本人了解の上）、一部調整の上、公開しています。作者は各資料に明記しています。

• 卒論（2019年1月） (公開版)
  • 人物再識別システムの試作と評価 (ワード), (PDF)
    プレゼン: プレゼン (パワーポイント), (PDF)

  • Firebase を用いた位置情報共有システム (ワード), (PDF)
    プレゼン: プレゼン (パワーポイント), (PDF)

  • ディープラーニング顔画像解析基盤システムの試作と評価実験 (ワード), (PDF)
    プレゼン: プレゼン (パワーポイント), (PDF)

  • 気圧センサーを用いた傾斜計測システムのデータベース作成 (ワード), (PDF)
    プレゼン: プレゼン (パワーポイント), (PDF)

• 卒論中間発表（2018年秋） (公開版)
  • 人工知能による人物再識別と人流観測システム (パワーポイント), (PDF)
  • 位置情報による集団行動把握の基盤システム (パワーポイント), (PDF)
  • ディープラーニング顔画像解析基盤システムによる顔解析へ向けて (パワーポイント), (PDF)
  • 気圧センサーを用いた傾斜計測及び尾道の傾斜情報地図の作成 (パワーポイント), (PDF)

• 卒業研究サブテーマ（案） (2018/5/30)を示しました（卒論が終わっていないのでアクセス制限）

金子研究室の研究分野

• センサー（実世界からのデータ獲得）、データマネジメント、人工知能の融合

  データベース、センサー、ラスベリーパイ

• データベースと人工知能の高度応用

  AIカメラ, 顔識別、個人再識別、ナンバープレート認識、交通流解析、地図と都市交通

  ビジュアリゼーション、コンピュータを介した人同士の相乗と協業、３次元コンピュータグラフィックス、Webインタラクション、ゲームエンジン

資料

次の内容で活動しました

顔のランドマーク

• 68ランドマークを使ってみる

頭部の向きの推定

• 頭部の向きの推定を行ってみる

• 頭部の向きの推定を行ってみる（mpatacchiola/DeepGaze を使用）

瞳孔の検出

• 瞳孔を検出してみる（TobiasRoeddiger/PupilTracker を使用）

パソコン実習資料: Python + OpenCV でビデオを扱ってみる

※ その後、「Python + OpenCV で顔検出 」と組み合わせて動くように書き換え

※ 表情判定については、次の資料を参考にしてください。カメラにうつった顔の表情のリアルタイムについての実習も書いています

Dlib で，顔検出，顔のランドマーク検出（68ランドマーク法），表情判定を行ってみる

Google Firebase Storage についての実習

次の資料を全員動かして、Google Firebase Storage に慣れてください。ファイルのアップロード、ダウンロードです.

パソコン実習資料: Python で Google Firebase の Realtime Database （リアルタイムデータベース）, Google Firebase Storage を使ってみる（pyrebase を使用）

OpenCV でビデオファイルの書き出し

パソコン実習資料: Python + OpenCV でビデオを扱ってみる

Python 環境の新規作成

パソコン実習資料: Windows で， Anaconda をインストールし、隔離された Python 環境 + Keras + TensorFlow + OpenCV + spyder + Dlib 環境を作る（Chocolatey を利用）

SkinDetector をパソコンの USB カメラで動かす

資料 DeepGaze を用いて肌色領域の抜き出し を最初から。「付属のサンプルプログラムを動かしてみる」のところは行わなくて良い

ipazc/MTCNN を用いて顔検出を行ってみる

パソコン実習資料: ipazc/MTCNN を用いて顔検出を行ってみる を最初から

スマホカメラを用いた実習の予定

パソコン実習資料: https://www.kunihikokaneko.com/dblab/toolchain/kerasopencv.html

顔画像に関する実習

https://www.kunihikokaneko.com/dblab/dlib/index.html

SkinDetector をビデオファイルで動かす

パソコン実習資料: DeepGaze を用いて肌色領域の抜き出し の sample1.mp4 を使っているところ

SkinDetector を動かす。

パソコン実習資料: DeepGaze を用いて肌色領域の抜き出し

実際の動作画面

DeepGaze を用いた肌色領域の抽出

パソコン実習資料: DeepGaze を用いて肌色領域の抜き出し

実際の動作画面

パソコン実習資料:「顔検出、顔識別の機能（Python の ageitgey/face_recognition パッケージ）を使ってみる」を使う。

パソコン実習資料: マイクロソフトcoco のデータとモデルを使ってみる

実際の動作画面

ディープラーニングによる顔識別 (keras, DeepFce, CGG16 + Siamese を用いるもの）

Windows で chen0040/keras-face を使ってみる

セグメンテーション

dblab/segmentation/keras-deeplab-v3-plus.html

ディープラーニングによる顔識別 (keras, DeepFce, CGG16 + Siamese を用いるもの）

Windows で chen0040/keras-face を使ってみる

プログラミングと情報システム, Python プログラミング演習

• 説明資料: 資料 [PDF版], [パワーポイント版], Python プログラミングに関する実習

Unity の基本操作について（すでに、各自、インストールしています）

その資料: Unity を使ってみる

Python 入門（復習）（思い出すために、各自で読んで、確認しておく）

その資料: 変数，式，関数，クラス，コンストラクタ，クラスの属性アクセス，メソッド，親クラスからの継承 [PDF版], [パワーポイント版]

顔検出、顔識別システムに関する実習

顔検出、顔識別の機能（Python の ageitgey/face_recognition パッケージ）を使ってみる

Google Firebase

パソコン実習資料:（金子研）： Python で Google Firebase の Cloud Firestore （クラウド・ファイアストア）を使ってみる

tensorflow のインストール

パソコン実習資料:（金子研）： Windows で、データベース，人工知能，ビジュアライゼーション関係の種々のソフトウエアをインストール（Chocolatey を利用）

Linux 演習

Linux で、Keras, TenforFlow, Dlib, その他画像処理環境を整える手順。

パソコン実習資料:（金子研）: Raspberry Pi で Keras, TenforFlow, Dlib, その他画像処理環境を整える

Windows で、人工知能のソフトウエア dlib, Keras, tensorflow のインストール‥

• 「Windows で，隔離された Python 環境 + Keras + TensorFlow + OpenCV + spyder + Dlib 環境を作る（Anaconda を利用）

スマート道路に関する話題提供 :

その資料: 資料 [PDF版], [パワーポイント版]

AIカメラ (Raspberry Pi を使用) に関する話題提供 :

その資料: Raspberry Pi でカメラをつなぎ顔検出

緯度経度のデータファイルから、マーカーとイメージポップアップ付きの OpenStreetMap 地図を生成

パソコン実習資料:（金子研）: 緯度経度などのデータファイルから，マーカーとイメージポップアップ付きの OpenStreetMap 地図を生成

パソコン実習資料:（金子研）: その２

Blender の3次元ゲームエンジンを用いて、オブジェクトの表示・非表示

その資料: https://www.kunihikokaneko.com/dblab/cg/blendervisible.html

folium の実習

パソコン実習資料:（金子研）: マーカー付きの OpenStreetMap 地図（Python + leaflet.js + folium を使用）

パソコン実習資料:（金子研）: マーカーとイメージポップアップ付きの OpenStreetMap 地図（Python + leaflet.js + folium を使用）

使用するデータ: photo-2017-12-03

dlib の付属ツールのビルド作業

パソコン実習資料:（金子研）: Windows で Dlib 19.13 のビルドとインストールが終わっている

顔の検出

資料（金子研）: Dlib を使ってみる

アラインメント、顔データの増量、ランドマーク

資料（金子研）: dlib 付属のサンプルプログラムを動かしてみる

imglab を使ってみる

資料（金子研）: Windows で Dlib 19.13 同封の imglab を使ってみる

NVIDIA CUDA ツールキットのインストール

資料（金子研）: Windows で NVIDIA CUDA ツールキットのインストール

NVIDIA メンバーシップへの加入（各自）と、NVIDIA cuDNN のインストール

資料（金子研）: Windows で NVIDIA cuDNN のインストール

pycuda を使ってみる

資料（金子研）: Windows で pycuda のインストール

dlib を NVIDIA cuDNN 対応にする作業

パソコン実習資料:（金子研）: Windows で Dlib 19.13 のビルドとインストールが終わっている

cmake のインストール

パソコン実習資料:（金子研）: Windwos で cmake のインストール

Visual Studio Community 2017 C++ と Windows Standalone SDK for Windows 10 のインストール

パソコン実習資料:（金子研）: Windows 10 で Visual Studio Community 2017 C++ と Windows Standalone SDK for Windows 10 のインストール

Dlib のインストール

パソコン実習資料:（金子研）: Windows で Dlib 19.13 のビルドとインストールが終わっている

Dlib を使ってみる

パソコン実習資料:（金子研）: Dlib を使ってみる

参考文献 https://www.koen.me/research/pub/vandesande-iccv2011.pdf

OSMBuilding を用いて、OpenStreetMap の福山大学周辺など、いろいろな場所の3次元地図を見てみる

パソコン実習資料:（金子研）: OSMBuilding の例

OpenStreetMap のIDエディタを使って地図を編集

パソコン実習資料:（金子研）: OpenStreetMap のエディタを使って地図を編集

OpenStreetMap のデータをダウンロード

パソコン実習資料:（金子研）: Python の overpy を用いて OpenStreetMap のデータをダウンロード

Panda3d で複数のオブジェクトの配置、衝突判定

その資料: 3次元のゲームエンジン Panda 3d を使ってみる （改定、充実しました）

3次元のゲームエンジン Panda 3d のプログラム作成と実行　

その資料: 3次元のゲームエンジン Panda 3d を使ってみる

さまざまなプログラミング言語で使えるテキストエディタ

その資料: Windows で Visual Studio Code のインストール

Visual Studio Code での，Panda 3d プログラム作成と実行

その資料: Visual Studio Code で，Panda 3d プログラムを動かしてみる

3次元のゲームエンジン Panda 3d を使ってみる

その資料: 3次元のゲームエンジン Panda 3d を使ってみる

Panda3d の体験

その資料: 3次元のゲームエンジン Panda 3d を使ってみる

Cocos2d のクラスとオブジェクト

その資料: Cocos2d の概要 [PDF版], [パワーポイント版]

Lable クラス, Line クラスの属性

その資料: Cocos2d で，オブジェクトの属性を乱数で変化させる

ゲームの例

その資料: Cocos2d で動きのシミュレーション

Python 入門

その資料: 変数，式，関数，クラス，コンストラクタ，クラスの属性アクセス，メソッド，親クラスからの継承 [PDF版], [パワーポイント版]

Cocos2d のシーン、レイヤ，ゲームの登場物

その資料: Cocos2d の概要 [PDF版], [パワーポイント版]

その資料: Windows で Cocos2d を使ってみる

乱数、動きのシミュレーション、同じ種類（クラス）のオブジェクトを簡単に増やす

その資料: Cocos2d で，オブジェクトの属性を乱数で変化させる

Cocos2d-x

C++でプログラムを書くことができるゲームエンジンです 学校や自宅で試してみたい！という学生諸君のために資料を作りました

その資料: Windows 10 で Visual Studio Community 2017 C++ と Windows Standalone SDK for Windows 10 のインストール

その資料: Windows で Cocos2d-x のインストール

Android Studio

その資料: Windows で Android Studio 3.1.2 のインストール

Cocos2d を使ってみる

その資料: Cocos2d の概要 [PDF版], [パワーポイント版]

その資料: Cocos2d のイベント、キーコード、イベントハンドラ、アクション

プログラミング演習

その資料: ゲームエンジン[PDF版], [パワーポイント版]

pygame (２次元のコンピュータグラフィックス, ２次元ゲームのフレームワーク)

その資料: pygame を使ってみる

Cocos2d の紹介，cocos2d でのキーボード，マウスのイベント

その資料:

※ 自宅などで Cocos2d を練習したい人のために、次の資料にインストール手順も書いています。一定の条件下で無料で使えるソフトウエアです

その資料: Windows で Cocos2d のインストール

SQL でテーブルの結合

その資料: https://www.kunihikokaneko.com/dblab/intro/database3.pptx

リレーショナルデータベースの基本概念

その資料: https://www.kunihikokaneko.com/cc/db/1.html の後半部分

リレーショナルデータベースの基本概念

その資料: https://www.kunihikokaneko.com/cc/db/2.html

演習問題

その資料: https://www.kunihikokaneko.com/cc/db/2.html の末尾にある演習問題を試してみなさい

Windows の上で Linux システムを動かしてみる

「エミュレータ」，「Linux の起動」，「Linuxシステムへのログイン」を学ぶ．Linux としては Raspbian を使う．

その資料: https://www.kunihikokaneko.com/dblab/raspbian/qemu.html

リレーショナル・データベースと SQL の演習

1. SQLite3 のデータベース新規作成，テーブル定義，テーブルの削除

その資料: https://www.kunihikokaneko.com/dblab/intro/database1.pptx

2. SQLite3 でテーブルの作成

その資料: https://www.kunihikokaneko.com/dblab/intro000/database2.pptx

3. SQLiteman のインストール．データベースの新規作成．テーブル定義．

その資料: https://www.kunihikokaneko.com/dblab/toolchain/sqliteman.html

4.（余裕のある人への個人ワーク）SQLの機能体験

その資料: https://www.kunihikokaneko.com/cc/db/sqliteman.html

フォントについて

フォント作成手順例

成果物

• 1つめ: 1.svg , 1.ttf
• 2つめ: 2.svg , 2.ttf

Tesseract の実習

学習（訓練）に使用するフォントを変えると、Tesseract の文字認識の精度が変わる

Windows での文字認識ソフトウエアの紹介

1. Windows で Java のインストール
2. ImageMagick バージョン 7 のインストール
3. Windows で Tesseract 3.0.5 を使ってみる

手順

1. https://github.com/openalpr/openalpr/releases
2. openalpr-2.3.0-win-64bit.zip をダウンロード、展開（解凍）
3. 各自が準備した車のナンバープレート画像と、正解データを全員でシェア
4. コマンドプロンプトで

   cd ＜openalpr-2.3.0-win-64bit.zip を展開（解凍）したディレクトリ＞
   alpr -c us ＜画像ファイル名＞
   

参考Webページ： http://doc.openalpr.com/opensource.html

VGG16 を用いた画像識別（画像から、オブジェクトの種類を求める）

パソコン実習資料: VGG16

LSTM

パソコン実習資料: ディープラーニング LSTM 法を用いた渋滞予測の「応用してみる」をもう一度（グラフのプロットまでチャレンジ）

https://carnumberplategenerator.firebaseapp.com/

ディープラーニング用語辞書の中の「モデルのコンパイル」、iris データセット」

Keras2 のインストール、動作確認。Keras2に付属の MNIST データセットo

説明資料

• Keras 2 のインストール
• Keras を使ってみる

「人工知能が自分や、社会とどう関係しているのか」

説明資料 新しい産業革命「人工知能」 [パワーポイント版], [PDF版]

人工知能（AI）について

人工知能（AI)が注目される理由・背景知識 [PDFファイル]を作りましたので、ご一読下さい．

人工知能プログラム開発用のツール DeepForge を使って，いくつかの人工知能（AT)を動作させる．

説明資料：https://www.kunihikokaneko.com/dblab/deeplearning/deepforgetrytouse.html

msys2 と GNU ツールチェーン類 (gcc, g++, gfortran, findutils, openssh, make, gdb, boost 等) のインストール

その資料: https://www.kunihikokaneko.com/dblab/toolchain/msys2.html

Docker Compose のインストール

Docker Compose は Docker コンテナを簡単に扱えるようにするソフトウエア

その資料: https://www.kunihikokaneko.com/dblab/toolchain/dockercompose.html

DeepForge のインストール，インポート，エディタ画面

その資料: https://www.kunihikokaneko.com/dblab/toolchain/deeplearning/deepforge.html

Keras のインストール

その資料: https://www.kunihikokaneko.com/dblab/dblab/keras/keras2.html

Python + OpenCV で前景分離，ステレオマッチング，点や線の描画

その資料: https://www.kunihikokaneko.com/dblab/dblab/improc/opencv.html

Blender のロジックエディタ

その資料: https://www.kunihikokaneko.com/dblab/cg/blendergame.html

Blender の3次元ゲームエンジンについて。

その資料: https://www.kunihikokaneko.com/dblab/cg/blendergameengine.html

剛体 (rigid body) の落下や衝突のシミュレーション

• パソコン実習資料: https://www.kunihikokaneko.com/dblab/cg/rigid.html
• 説明ビデオ：　Blender で剛体シミュレーションの作成 (2分42秒, 説明音声つき) [mp4 版]
• 説明ビデオ：　Blender での剛体シミュレーションの再生 (2分40秒, 説明音声つき) [mp4 版]

パーティクルアニメーション

「パーティクル」と呼ばれるたくさんの粒を使うシミュレーション

• パソコン実習資料: Blenderでパーティクルアニメーション
• 説明ビデオ：　Blender でパーティクルアニメーション (2分42秒, 説明音声つき) [mp4 版]
• 説明ビデオ：　Blender でパーティクルアニメーションの設定 (4分24秒, 説明音声つき) [mp4 版]

Blenderの３次元ゲームエンジン紹介

その資料: https://www.kunihikokaneko.com/dblab/cg/blendergameengine.html

サービスイメージ：

クリックすると写真が出る https://www.kunihikokaneko.com/dblab/map/flicker.html

３次元コンピュータグラフィックスのソフトウエア

• Blender の機能紹介

  説明資料： blender の機能紹介 [パワーポイント版], [PDF版]

• Windows で Blender のインストール
  • 説明資料: Windows で Blender 2.79b のインストール
  • 説明ビデオ: Windows で Blender のインストール (4分14秒, 説明音声つき) [mp4 版], [パワーポイント版]
• https://www.kunihikokaneko.com/dblab/sampledata/sample.obj
• Blender の自動操作

画像処理、ビデオ処理の実例

• Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど
• Python + OpenCV で顔検出
• イメージ・スティッチングの紹介 [HTML]

物体認識

https://www.kunihikokaneko.com/dblab/keras/snowmasaya.html

顔の検出，顔のランドマークの検出，表情の検出

https://www.kunihikokaneko.com/dblab/dlib/trydlib.html

教師あり学習，ニューラルネットのグラフ表示

https://www.kunihikokaneko.com/dblab/chainer/intro.pptx

TenforFlow でできること

限定的な情報（スケッチ，赤緑青の塗り絵）から，実景に近い画像（猫，建物など）を合成すること，あるいは，種類を判別すること．

• https://www.kunihikokaneko.com/dblab/tensorflow/onlinedemos.html
• https://www.kunihikokaneko.com/dblab/tensorflow/pix2pix.html

OpenStreetMap の実習

https://www.kunihikokaneko.com/dblab/map/osm.html

３次元地図システム Cesium 体験

問い合わせ先： 金子邦彦（かねこ くにひこ）