トップページ ▶ 人工知能，実世界DB（目次ページ）

サイトマップ

サイト内検索

まとめ

アクセスログ

金子邦彦研究室

人工知能，実世界DB（目次ページ）

項目目次

用語集（データ処理，データベース，ディープラーニング分野）

1. 人工知能の試用，実行 (Google Colaboratory を使用)
   1. 画像のセグメンテーション (image segmentation)
   2. テキスト検知，物体認識
   3. 人体の姿勢推定
   4. 顔情報処理（顔検出，顔識別，表情判定，顔のクラスタリングや類似度や分類，瞳孔の検出）
   5. ナンバープレート認識
   6. GAN の応用例
   7. 画像復元（image restoration），超解像（super resolution）
   8. Open 3D
2. 人工知能関連
   1. Unity ML-Agents（全２回）
3. コンピュータビジョンおよび関連
   1. scikit-image のスーパーピクセルを行ってみる
   2. vishwa91/pyimreg を使ってみる
   3. 画像の補正ツール
4. ３次元地図，３次元データ
   1. ３次元点群データ，MeshLab
   2. ３次元地図の作成
   3. ３次元地図システム
   4. Web での３次元表示と AR システム（A-Frame を使用）
5. ３次元コンピュータグラフィックス，ゲームエンジン
   1. Open 3D Engine のインストール（Windows 上）
   2. ３次元グラフィックスのツール（モデラーとレンダラー）

   Unreal Engine 入門: 別ページにまとめている．

6. ディープラーニング基盤技術
   1. 説明資料
   2. Keras の体験，応用例
   3. PyTorch の応用例
   4. Convolutional Neural Networks の利用
   5. 強化学習，OpenAI Gym
7. その他
   1. Web ブラウザで動くインタラクティブ，ダイナミックな地図を作る
   2. 地図情報システムとデータベース
   3. オープンデータの活用
   4. 日本語処理，言語処理
   5. VR デバイス（仮想現実デバイス）
   6. ３次元スキャン装置 vivid
   7. その他

詳細目次

用語集（データ処理，データベース，ディープラーニング分野）

• 用語集（データ処理，データベース，ディープラーニング分野）

1. 人工知能応用，コンピュータビジョン応用

1-a. 人工知能に関係するオンラインのデモサイト等

スタイル変換（元情報を保ちスタイルを変換）

• Image-to-Image デモ, Variational Auto-Encoder オンラインデモの紹介

人物写真、人物動画からの人物動画の合成

• ビデオを他人の顔に入れ替える（Simple DeepFace を使用，Google Colab 上での実行）

顔の合成

• オンラインサービス Waifu Labs を使ってみる
  アニメ絵キャラクタ顔の生成

1-d 画像のセグメンテーション (image segmentation)

目次ページ: 画像のセグメンテーション (image segmentation)

• 画像のセグメンテーション（PixelLib, TensorFlow, Python を使用）
• インスタンス・セグメンテーションで特定クラスのセグメンテーション（Mask R-CNN, PixelLib, TensorFlow, Python を使用）

1-e. 顔情報処理（顔検出，顔識別，表情判定，顔のクラスタリングや類似度や分類，瞳孔の検出）

Dlib の機能全般

• Dlib の主要機能 [PDF], [パワーポイント],
• Dlib での画像分類，物体検出，顔検出，トラッキング・ビジョン，顔のランドマーク検出（Dlib 付属のプログラムを実行）

顔検出

• 顔検出（ipazc/MTCNN，Python を使用）（Windows 上）

顔のアラインメント，顔の増量，顔のランドマーク検出，顔のコード化

• Dlib による顔のアラインメント，顔データの増量，顔のランドマーク，顔のコード化（Dlib，Python を使用）（Windows 上）
• 顔の特徴点（２次元，３次元）の抽出（1adrianb/face-alignment，Python を使用）（Windows 上）

顔識別

• keras-face による顔認識（chen0040/keras-face，Python 3.7，TensorFlow 1.15.5 を使用）（Windows 上）

  DeepFace, VGG16 + Simase (2手法)による顔識別

顔姿勢の推定，瞳孔の検出，眼球運動

• head-pose-estimation による頭部の姿勢推定（Dlib，lincolnhard/head-pose-estimation，Python を使用）（Windows 上）
• 瞳孔の検出（TobiasRoeddiger/PupilTracker，Python を使用）
• berenslab/uneye を動かしてみる (Python 3.6 を使用)

• openface.html（書きかけ）
• ubuntuopenface.html（書きかけ）

1-f. ナンバープレート認識

目次ページ: ナンバープレート認識

• Tesseract OCR 5 の学習（Ubuntu 上）
• Tesseract OCR 5 で新しいフォントを用いた学習（Ubuntu 上）
• 画像から新規フォントの作成（Windows 上）
• 文字（数字、ひらがな）認識実験
• Windows の Python で Tesseract を使ってみる（書きかけ）
• Windows で OpenALPR システムを使ってみる
• OpenALPR 2.3.0 のインストール（Ubuntu 上）
• 書きかけ

1-g. GAN の応用例

目次ページ: GAN の応用例

画像のノイズ除去

• noise2noise による画像のノイズ除去（yu4u/noise2noise，Python 3.7，TensorFlow 1.15.5 を使用）（Windows 上）

顔の生成

• ZZUTK/Face-Aging-CAAE を使い Face Aging を行ってみる（書きかけ）
• DCGANの例，carpedm20/DCGAN-tensorflow を使い，新しい顔を生成してみる（書きかけ）

1-h. 画像復元（image restoration），超解像（super resolution）

• 超解像，画像の修復（alexjc/neural-enhance，Python 3.7，Theano，Lasangne, scipy 1.1.0, pillow を使用）（Ubuntu 上）
• 教師データ無しでの画像復元 (DmitryUlyanov/deep-image-prior，Python，CUDA 9.2，pytorch, torchvision を使用)

2. 人工知能関連

2.1 Unity ML-Agents（全２回）

目次ページ：Unity ML-Agents（全２回）

• Python, TensorFlow, Keras のインストール（Windows 上）, [パワーポイント], [PDF]
• ML-Agents ツールキットに付属の事前学習済みモデルを Unity で動かしてみる（ミニ実演）（8分34秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]

  「パソコン実習」の資料: Windows で Unity ML-Agents + Python 環境を作る（Chocolatey, Anaconda を利用）（Chocolatey, Anaconda を利用）[Web ページ]

• ML-Agents ツールキットで学習を行ってみる（ミニ実演）（7分56秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]

参考資料:

Windows で Unity ML-Agents + Python 環境を作る（Chocolatey, Anaconda を利用）（Chocolatey, Anaconda を利用）[Web ページ]

2.2 人工知能のクラウドサービス

• Microsoft Azure Cognetive Service を Python で使ってみる [PDF], [パワーポイント]

3. コンピュータビジョンおよび関連

3.1 画像のセグメンテーション（Image Segmentation）

• scikit-image のスーパーピクセルを行ってみる

  キーワード：superpixel, SLIC, felzenszwalb, quickshift, watershed,　scikit-image, Python

• moviepy を使ってみる

3.2 画像のマッチング，レジストレーション（Image Matching, Image Registration）

• vishwa91/pyimreg を使ってみる

  キーワード： pyimreg, SIFT, RANSAC, 画像の位置合わせ (image registration), Python

3.3 画像の補正

目次ページ: 画像の補正ツール

• 動画ファイルを vReveal を用いて補正

• Julius

4. ３次元地図，３次元データ

4.1 ３次元点群データ，MeshLab

• Open3D のインストール
• Python から libpcl を使う（GitHub の davidcaron/pclpy, Python を使用）（Ubuntu 上）
• Windows で strawlab/MultiCamSelfCam を使ってみる
• MeshLab でのメッシュの表示モード

  キーワード： MeshLab, Wavefront OBJ 形式ファイル, メッシュ，ワイヤフレーム表示，フラット表示，スムージング表示

• MeshLab で3次元点群データの表示, 3次元点群データをメッシュデータに変換

  キーワード： MeshLab, 3次元点群データ, 3次元点群データをメッシュデータに変換

• 3次元点群データを Python で表示

4.2 ３次元地図の作成

Blender と３次元地図

• Blender に標高，建物などのデータをインポート（Blender GIS を使用）
• BlenderGIS を用いて Blender に GeoTIFF 形式の高さマップ (height map) をインポート

GeoTIFF 形式ファイルなどの高さマップ (height map) をポリゴン化

• 高さマップ (height map) とは [PDF], [パワーポイント]
• terrain.party から高さマップ（height map）の png ファイルをダウンロード, [PDF], [ワード]
• 国土地理院標高タイルの数値データのダウンロードと画像表示, [PDF], [ワード]

  キーワード: 地図タイル，標高タイル，国土地理院タイル地図，国土地理院標高タイル，高さマップ（Height map），ダウンロード

GeoTIFF ファイルの処理

• コマンドで GeoTIFF ファイルを扱う

  GeoTIFF 情報の取得, 投影座標系への投影, GeoTIFF ファイルの拡大, GeoTIFF から png へ変換,png から GeoTIFF へ変換, EPSG コードを用いた座標系の変換

• GeoTIFF ファイルを 16 ビットpng ファイルに変換
• Python で GeoTIFF を使ってみる

  GeoTIFF, Python で GeoTIFF ファイルの読み込み，Python で GeoTIFF ファイルからの緯度経度の取得，osr, gdal

高さマップデータのダウンロード，GeoTIFF への変換

• 国土数値情報 土地利用細分メッシュ ラスタ変換ツール RASTERTOOL の紹介
• terrain.party から高さマップ (height map) をダウンロード, GeoTIFF に変換
• 基盤地図情報標高DEMデータ変換ツール DEMTOOL の紹介，基盤地図情報・数値標高モデルのデータを GeoTIFF に変換

高さマップデータのインポート

• Unreal Engine 4 で高さマップ (height map) をインポート
• Python の pypng パッケージのインストール手順

  キーワード: Python, png

4.3 3次元地図システム

• 資料（３次元地図データベース序論） [PDF], [パワーポイント]
• Cesium を使ってみる

  キーワード： Cesium, 3次元地図, JavaScript, 航空写真の表示, 地図の表示

• NICTA/cesium-simple-photogrammetry を使ってみる

  キーワード： Cesium, 3次元地図, JavaScript, ３次元データの取り込み, Cesium のデモサイト

• Cesium の機能

  キーワード： Cesium, 3次元地図, JavaScript, 地形（起伏）の表示，光や波の表現

• Cesium + Firefox の VR モード

  キーワード： Cesium, 3次元地図, JavaScript, WebVR, Firefox

• 3次元地図のソフトウェア Cesium を Python から使う

  キーワード： Cesium, Python

• 地理院地図３Ｄを眺めてみる

  キーワード： 地理院地図３Ｄ, STL ファイル, ダウンロード

• オンラインサービスの F4map を使って 3次元地図を見てみる, YouTube 動画: https://www.youtube.com/watch?v=BxWbOwYPRXI
• オンラインサービスの OSMBuilding を使って 3次元地図を見てみる

5. ３次元コンピュータグラフィックス，ゲームエンジン

Blender 2.9 の設定，画面構成，基本操作

• 立体の新規作成，カメラの調整とレンダリング，マテリアル（Blender 2.9 系列で説明）
• Blender の画面構成と基本操作（Blender 2.9 系列で説明）
• Blender の設定操作例（Blender 2.9 系列で説明）

  項目: メニュー等の日本語化, 標準アドオンのインストール, オブジェクトサイズの単位の設定, キーボードにテンキーがないときの設定, 視野の回転に関する設定

• Blender のメニュー等の日本語化（Blender 3.0 で説明）

Blender

• Blender で，オブジェクトを配置（Blender 2.9 系列で説明）
• Blender で，ブーリアン演算により，立体を加工（Blender 2.9 系列で説明）
• Blender 2.8 でのマテリアル，スムースシェード (smooth shade)
• Blender の PBR Materials アドオン（Blender 2.9 系列で説明）
• Blender の画像テクスチャ，テクスチャ座標系（Blender 2.9 系列で説明）
• Blender のシェーダー・エディタ（Shader Editor）（Blender 2.9 系列で説明）
• Blender で，テクスチャ・ペインティング (Texture Painting) を行う （Blender 2.9 系列で説明）
• Blender で，クロス・シミュレーション（Cloth Simulation）を行う（Blender 2.9 系列で説明）
• Blender で，レンダリングを行う（Blender 2.8 系列で説明）

インポート，エクスポート

• Blender で Wavefront OBJ 形式，STL 形式ファイルのインポート，エクスポート（Blender 2.9 系列で説明）
• Blender で FBX 形式ファイルのエクスポート（Blender 2.9 系列で説明）

スクリプト

• Blender 2.8 で Python のスクリプトを実行してみる
• Blender 内蔵の Python で Python パッケージのインストール（Blender 2.9 系列で説明）

マテリアル，Physically Based Rendering

• Blender の PBR Materials アドオンのインストールと動作確認
• Wavefront Material形式ファイルにおけるマテリアルの例 [PDF], [パワーポイント]
• Physically Based Rendering のインストール（GitHub の mmp/pbrt-v4 を使用）（Windows 上）
• smoke2cycles.html (書きかけ)

Blender と MakeHuman との連携による人体アニメーション

• 逆力学（MakeHuman 1.2, Blender 2.93.4 を使用）（Windows 上）
• MakeHuman と Blender 2.8 で人体アニメーション
• cgspeed の BVHplay を使ってみる

Blender のアニメーション表現

• Blender 2.8 で剛体（rigit body) の落下、衝突のシミュレーション
• Blender 2.8 でパーティクルアニメーションを行ってみる
• blender のボーンとアーマチャを用いたアニメーション
• Blender での動きの振り付けとアニメーション作成

5.1 Blender の機能の説明，実演など

目次ページ：Blender の機能の説明，実演など

【Blender 2.8 演習】

• Blender の概要（Blender 2.9 系列で説明）[PDF], [パワーポイント]
• Blender で，オブジェクトを配置（Blender 2.9 系列で説明）
• Blender で，ブーリアン演算により，立体を加工（Blender 2.9 系列で説明）
• Blender のマテリアル，スムースシェード (smooth shade)（Blender 2.9 系列で説明）
• Blender の PBR Materials アドオン（Blender 2.9 系列で説明）
• Blender の画像テクスチャ，テクスチャ座標系（Blender 2.9 系列で説明）
• Blender のシェーダー・エディタ（Shader Editor）（Blender 2.9 系列で説明）
• Blender で，テクスチャ・ペインティング (Texture Painting) を行う （Blender 2.9 系列で説明）
• Blender で，クロス・シミュレーション（Cloth Simulation）を行う（Blender 2.9 系列で説明）
• Blender のライト（Blender 2.9 系列で説明）
• Blender で，レンダリングを行う（Blender 2.9 系列で説明）

5.2 3次元グラフィックスのツール（モデラーとレンダラー）

目次ページ: ３次元グラフィックスのツール（モデラーとレンダラー）

• Shade 3D 社 Shade 18 Standard 体験版を使ってみる
• Indigo レンダラー 4.4 のインストール（Windows 上）
• blendigo のインストール
• CopperCube のインストール（Windows 上）
• irrEdit でファイルのインポート，エクスポート
• Maya を用いた人体アニメーション
• Maya を用いた 8 視差画像のレンダリング
• AVI4D を用いた 8 視差画像からの立体視用画像の生成
• Windows で aqsis のインストール
• Ubuntu で aqsis のインストールとテスト実行
• RIB ファイルの文法と機能
• Linux で TooL のビルド
• Linux で glm のビルドとインストール

6. ディープラーニング基盤技術

6.1 説明資料

• 人工知能（AI)が注目される理由・背景知識[ワード], [PDF]

6.2 Keras の体験，応用例

目次ページ Keras の体験，応用例

6.3 PyTorch の応用例

目次ページ：PyTorch の応用例

• 単純な CNN を用いた画像分類（PyTorch のサンプルプログラムを使用）

  ユースケース: PyTorch の動作確認を行いたい．CNN (PyTorch を使用）について練習したい

• 深層強化学習 CartPole-v0 を動かしてみる（PyTorch のサンプルプログラムを使用）

  ユースケース: 深層強化学習 CartPole-v0 を動かしてみたい

ディープラーニング・モデル類

https://github.com/handong1587/handong1587.github.io/blob/master/_posts/deep_learning/2015-10-09-dl-resources.md

8-f. Convolutional Neural Networks の利用

• CNN Graph を使ってみる（書きかけ）
• FusionNet

  https://github.com/GunhoChoi/FusionNet-PyTorch

• SegNEet https://github.com/preddy5/segnet
• CamVid dataset G. Brostow, J. Fauqueur, and R. Cipolla, “Semantic object classes in video: A high-definition ground truth database,” PRL, vol. 30(2), pp. 88-97, 2009.
• SUN RGB-D dataset
  S. Song, S. P. Lichtenberg, and J. Xiao, “Sun rgb-d: A rgb-d scene understanding benchmark suite,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 567-576, 2015.
• Pascal-Part Dataset

  http://www.stat.ucla.edu/~xianjie.chen/pascal_part_dataset/pascal_part.html

• Pascal VOC12
  M. Everingham, S. A. Eslami, L. Van Gool, C. K. Williams, J. Winn, and A. Zisserman, The pascal visual object classes challenge: A retrospective, International Journal of Computer Vision, vol. 111, no. 1, pp. 98-136.

文字列を扱う CNN

• crepe/crepe.html（書きかけ）

8-g. 強化学習，OpenAI Gym

目次ページ: