データの扱い（目次ページ）

金子邦彦研究室：　データベース、人工知能（AI)、データサイエンスの融合により不可能を可能にする

「データの扱い」の項目目次

※ それぞれのリンクをクリックすることで，このページの中の「各項目の部分」にジャンプする．

1. データの取り扱い
2. 次元削減
3. オープンデータ
4. 種々のオープンデータ
5. 商用データなど
6. データテーブル
7. SQLite3 をデータ管理に使う
8. 集計済みのテーブル形式データ（政府統計 e-Stat など）
9. R システムを用いた統計，主成分分析，データマイニング

「データの扱い」の詳細目次

1. データの取り扱い

目次ページ: データの取り扱い

データの取り扱い

• irisデータセット，titanicデータセットの読み込み，散布図，要約統計量，ヒストグラム
• irisデータセット, titanicデータセットの読み込み。データのグループ化。

データの確認

• データの次元削減（t-SNE, Isomap法など）
• VBGMM (Variational Bayesian Gaussian Mixture) を用いてクラスタリング

種々のデータ

• CMUモーションキャプチャデータベースの BVH
• Kuzushiji-MNIST データセット
• UTKFace (Large Scale Face Dataset) の Aligned & Cropped Faces データ

関連のPythonパッケージ

• Python の kaggle パッケージのインストール
• PASCAL VOC 2012 Example Segmentations（書きかけ）
  セグメンテーション済みのカラー画像，セグメンテーションのラベルは20種類．アノテーションも？（調査中）
• Free Stock Videos https://videos.pexels.com/

2. 次元削減

• 主成分分析プロット（Iris データセット，Python を使用）
• 主成分分析プロット（Keras に付属のデータセット imdb10 など）

3. オープンデータ

利用条件，出典表示などは利用者で確認すること．

数値，ラベル等

• Kaggle

  URL: https://sites.google.com/site/datasciencehiro/datasets

  Titanic, MLB datasets など多数

• UC Irvine Machine Learning Repository

  URL: http://archive.ics.uci.edu/ml/

  Iris, Adult, Wine, Car Evaluation, Wine Quality, Heart Disease, Breast Canser Wisconsin, Bank Marketing, Human Activity Recognition Using Smartphones など多数

• scikit learn

  URL: http://scikit-learn.org/stable/datasets/index.html

  iris, digits, wine, breast cancer, boston, diabetes, linnerud．

• StatModels

  URL: http://www.statsmodels.org/dev/datasets/index.html

  Iris, Titanic など

• Seaborn

  URL: http://seaborn.pydata.org/examples/index.html

  Iris, Titanic など

• e-Stat

  URL: http://sinhrks.hatenablog.com/entry/2015/12/31/222207

• 平成22年度　全国道路・街路交通情勢調査（道路交通センサス）一般交通量調査　集計表

  http://www.mlit.go.jp/road/census/h22-1/index.html

  import pansda as pd
  pd.read_excel('hoge.xls', header=8, index_col=F)
  import geopandas.geocode
  geopandas.geocode('ほげ')
  

• 気象庁

  URL http://www.data.jma.go.jp/gmd/risk/obsdl/ など

  過去の気象データなど

画像 + ラベル

• AlexNet-Places205

  http://places.csail.mit.edu/index.html

  画像数: 250万，シーンカテゴリ数: 205

• CIFAR-10

  URL: https://www.cs.toronto.edu/~kriz/cifar.html

  画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 10

• CIFAR-100

  URL: https://www.cs.toronto.edu/~kriz/cifar.html

  画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 100, スーパークラス数: 20

• kaggle CIFAR10

  URL: https://www.kaggle.com/c/cifar-10

  CIFAR10のテスト画像に 290,000枚の junk 画像を追加したもの．

• ImageNet

  URL: http://image-net.org/

  画像数: 14,197,122（うち，バウンディングボックス付きの画像数: 1,0134,908）, synset 数: 21,841

• ImageNet ILSVRC

  URL: http://www.image-net.org/challenges/LSVRC/

• LSUN Scenes

  URL: https://github.com/fyu

• MNIST

  手書き文字

• fashion MNIST

  MNIST と互換なカラー画像

画像 + セグメンテーション結果

• BSDS (300/500)

  URL: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/

  画像数(元画像，セグメンテーション画像）: 500

• COCO

  URL: http://cocodataset.org/

  画像数: 330,000 以上（うち，タグ付きの画像数 200,000 以上），オブジェクトカテゴリ数: 81

• Multi-Salient-Object (MSO)

  URL: http://cs-people.bu.edu/jmzhang/sos.html

  画像数（タグ付き）: 1,224

• PASCAL VOC 2012

  http://host.robots.ox.ac.uk/pascal/VOC/

  画像数: 11,530, ROI でアノテーションされたオブジェクト数: 27,450, セグメンテーション数: 6,929

画像

• The USC-SIPI Image Database

  URL: http://sipi.usc.edu/database/, http://www.imageprocessingplace.com/root_files_V3/image_databases.htm

  テクスチャ，航空写真など

• USGS Aerial Photography

  URL: https://eros.usgs.gov/aerial-photography

  米国の航空写真

顔画像

• Celeb-A

  URL: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

  顔画像数（顔の5ランドマーク，40の属性付き）: 202,599, 人数: 10,177

• CASIA WebFace

  URL: http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html

• OUI-Adience Face Image

  URL: https://talhassner.github.io/home/projects/Adience/Adience-data.html#agegender

  画像数（年齢と性別のラベル付き）: 26,580

• VGG Face

  URL: http://www.robots.ox.ac.uk/~vgg/software/vgg_face/

  顔画像数: 1,000,000 以上

特定種類の画像

• CompCars

  URL: http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html

  画像数（車両の画像）: 136,726，キャプション数: 27618, 車両の種類（5s種類のラベル付き）: 1,716

• Oxford

  URL: http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html, http://www.robots.ox.ac.uk/~vgg/data/flowers/17/

  画像数（花の画像）: 136,726，カテゴリ数: 102

動作

• UCF11/YouTube Action

  URL: https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php

  アクションカテゴリ: basketball shooting, biking/cycling, diving, golf swinging, horse back riding, soccer juggling, swinging, tennis swinging, trampoline jumping, volleyball spiking, and walking with a dog

• UCF101 Action Recognition Dataset

  URL: https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php

地図

• 国土数値情報

  URL: http://nlftp.mlit.go.jp/ksj/

音声

• AN4 (Alphanumeric database)

  URL: http://www.speech.cs.cmu.edu/databases/an4/

  948 training and 130 test utterances

自然言語

• Penn Tree Bank (PTB)

  URL: https://corochann.com/penn-tree-bank-ptb-dataset-introduction-1456.html

ネットワーク

• PCAP

  URL: https://www.netresec.com/?page=PcapFiles

keras に付属のデータセット

• Keras に付属のデータセットのうち小画像のデータ

  CIFAR10, CIFAR100, MNIST, Fashion MNIST

• Keras に付属のデータセットのうち画像以外のデータ

  IMDB, Reuters newswire topics, Boston Housing Price

4. 種々のオープンデータ

その他，インターネットで公開されているデータ

目次ページ: オープンデータ

• Python の seaborn, scikits.learn のデータセット
• Python の scikits.learn でダウンロードできる LFW 顔画像データセット

・時系列

• 外国為替データ（時系列データ）の情報源の紹介

・郵便番号

• 郵便番号データ・ダウンロード
• 郵便番号 CSV データ（非辞書 CSV データ）作成手順
• 郵便番号 CSV データ（非辞書 CSV データ）から郵便番号データテーブル zipall を作成（リレーショナルデータベース管理システム SQLite3 を使用）
• 郵便番号データテーブル zipall を 3つテーブル zips, kens, shichosons に分解
• 郵便番号データテーブル zipall を用いた演習
• 郵便番号データテーブル zips, kens, shichosons を用いた演習
• 郵便番号データテーブル zips, kens, shichosons を用いた演習（２）

・ipadic

• ipadic をリレーショナルデータベースのテーブルに格納

5. 商用データなど

※ 特定の商用製品等を推奨、広報するものではない．使用感など評価を行うものでもない．

• TurboSquid
  TurboSquid は，3D モデルの販売サイト

6. データテーブル

目次ページ：データテーブル

• ポケモンデータ（CSVファイル）

7. SQLite3 をデータ管理に使う

目次ページ：SQLite3 をデータ管理に使う

• SQLite biter のインストール
• LiteCLI のインストール

8. 集計済みのテーブル形式データ（政府統計 e-Stat など）

目次ページ：集計済みのテーブル形式データ（政府統計 e-Stat など）

• 政府統計 e-Stat から API を用いてデータ取得

9. R システムを用いた統計，主成分分析，データマイニング

目次ページ: R システムを用いた統計，主成分分析，データマイニング

・主成分分析

• R を用いた不偏分散共分散行列
• R を用いた不偏分散共分散行列（高次元の場合）
• R を用いた相関係数行列
• R を用いた主成分分析

・分布

• R での二項分布

・データマイニング

• R でアプリオリ・アルゴリズムを動かしてみる (arules パッケージを使用)
• R で CCA (Canonical Correlation Analysis) を行なってみる (CCA パッケージを使用)
• R を用いた階層的クラスタ分析（書きかけ）
• R を用いた SOM （書きかけ）
• Ckmeans.1d.dp パッケージを用いた 1次元データのクララスタリング

オンラインサイトの紹介

• 音楽によって呼び起こされる感情を可視化したマップ
  https://www.ocf.berkeley.edu/~acowen/music.html

ImageMagickの使い方

ImageMagickは以下のコマンドが使えます。

  display --画像の表示、変換(xvみたいなの) 

  import --画面のダンプ(xvの grabみたいなの) 

  animate --画像を連続表示してアニメーションさせるらしい 

  convert --画像ファイル変換&エフェクト(相当な画像形式に対応してるらしい) 

  mogrify --連続画像の変換・エフェクト，一気に画像フォーマットを変換する． 

  montage -- 1個の画像ファイルにたくさんの画像を詰め込む?(カタログみた

いなのを作れる) 

  identify --画像フォーマットを調べる 

  combine --画像をくっつけるらしい

  xtp -- URLを指定して，ネットワーク上の画像を取ってくる（現在はなくなってるらしい）

この Web ページの配下にある資料の維持方針

• 大学の授業での自作の資料は，公開の準備ができたものは，適宜，公開する．演習問題や解説記事なども必要に応じて付ける．過去の授業で現在開講されなくなったものについては，ソフトのバージョンを最新にするなど見直しを行うことがある．
• 既存の技術やソフトウエアを調査し，その機能や使用法を実際に試し，その結果 (それらのインストールの方法，使用方法など）をスクリーンショットなどでビジュアルに説明する． 「面白いソフトを探したい」，「パソコンを使いながら実践的に勉強したい」，「ソフトの使い方がわからなくて困っている」などにも役立つようにする．

公開している資料等のご利用について

原則，クリエイティブコモンズ BY NC SAとしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．