データの扱い

「データの扱い」の項目目次

※ それぞれのリンクをクリックすることで，このページの中の「各項目の部分」にジャンプする．

1. オープンデータ
2. データテーブル
3. SQLite3 をデータ管理に使う
4. 集計済みのテーブル形式データ（政府統計 e-Stat など）

「データの扱い」の詳細目次

1. オープンデータ

利用条件，出典表示などは利用者で確認すること．

数値，ラベル等

• Kaggle

  URL: https://sites.google.com/site/datasciencehiro/datasets

  Titanic, MLB datasets など多数

• UC Irvine Machine Learning Repository

  URL: http://archive.ics.uci.edu/ml/

  Iris, Adult, Wine, Car Evaluation, Wine Quality, Heart Disease, Breast Canser Wisconsin, Bank Marketing, Human Activity Recognition Using Smartphones など多数

• scikit learn

  URL: http://scikit-learn.org/stable/datasets/index.html

  iris, digits, wine, breast cancer, boston, diabetes, linnerud．

• StatModels

  URL: http://www.statsmodels.org/dev/datasets/index.html

  Iris, Titanic など

• Seaborn

  URL: http://seaborn.pydata.org/examples/index.html

  Iris, Titanic など

• e-Stat

  URL: http://sinhrks.hatenablog.com/entry/2015/12/31/222207

• 平成22年度　全国道路・街路交通情勢調査（道路交通センサス）一般交通量調査　集計表

  http://www.mlit.go.jp/road/census/h22-1/index.html

  import pansda as pd
  pd.read_excel('hoge.xls', header=8, index_col=F)
  import geopandas.geocode
  geopandas.geocode('ほげ')
  

• 気象庁

  URL http://www.data.jma.go.jp/gmd/risk/obsdl/ など

  過去の気象データなど

画像 + ラベル

• AlexNet-Places205

  URL: http://places.csail.mit.edu/index.html

  画像数: 250万，シーンカテゴリ数: 205

• CIFAR-10

  URL: https://www.cs.toronto.edu/~kriz/cifar.html

  画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 10

• CIFAR-100

  URL: https://www.cs.toronto.edu/~kriz/cifar.html

  画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 100, スーパークラス数: 20

• kaggle CIFAR10

  URL: https://www.kaggle.com/c/cifar-10

  CIFAR10のテスト画像に 290,000枚の junk 画像を追加したもの．

• ImageNet

  URL: http://image-net.org/

  画像数: 14,197,122（うち，バウンディングボックス付きの画像数: 1,0134,908）, synset 数: 21,841

• ImageNet ILSVRC

  URL: http://www.image-net.org/challenges/LSVRC/

• LSUN Scenes

  URL: https://github.com/fyu

• MNIST

  手書き文字

• fashion MNIST

  MNIST と互換なカラー画像

画像 + セグメンテーション結果

• BSDS (300/500)

  URL: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/

  画像数(元画像，セグメンテーション画像）: 500

• COCO

  URL: http://cocodataset.org/

  画像数: 330,000 以上（うち，タグ付きの画像数 200,000 以上），オブジェクトカテゴリ数: 81

• Multi-Salient-Object (MSO)

  URL: http://cs-people.bu.edu/jmzhang/sos.html

  画像数（タグ付き）: 1,224

• PASCAL VOC 2012

  http://host.robots.ox.ac.uk/pascal/VOC/

  画像数: 11,530, ROI でアノテーションされたオブジェクト数: 27,450, セグメンテーション数: 6,929

画像

• The USC-SIPI Image Database

  URL: http://sipi.usc.edu/database/, http://www.imageprocessingplace.com/root_files_V3/image_databases.htm

  テクスチャ，航空写真など

• USGS Aerial Photography

  URL: https://eros.usgs.gov/aerial-photography

  米国の航空写真

顔画像

• Celeb-A

  URL: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

  顔画像数（顔の5ランドマーク，40の属性付き）: 202,599, 人数: 10,177

• CASIA WebFace

  URL: http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html

• OUI-Adience Face Image

  URL: https://talhassner.github.io/home/projects/Adience/Adience-data.html#agegender

  画像数（年齢と性別のラベル付き）: 26,580

• VGG Face

  URL: http://www.robots.ox.ac.uk/~vgg/software/vgg_face/

  顔画像数: 1,000,000 以上

特定種類の画像

• CompCars

  URL: http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html

  画像数（車両の画像）: 136,726，キャプション数: 27618, 車両の種類（5s種類のラベル付き）: 1,716

• Oxford

  URL: http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html, http://www.robots.ox.ac.uk/~vgg/data/flowers/17/

  画像数（花の画像）: 136,726，カテゴリ数: 102

動作

• UCF11/YouTube Action

  URL: https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php

  アクションカテゴリ: basketball shooting, biking/cycling, diving, golf swinging, horse back riding, soccer juggling, swinging, tennis swinging, trampoline jumping, volleyball spiking, and walking with a dog

• UCF101 Action Recognition Dataset

  URL: https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php

地図

• 国土数値情報

  URL: http://nlftp.mlit.go.jp/ksj/

音声

• AN4 (Alphanumeric database)

  URL: http://www.speech.cs.cmu.edu/databases/an4/

  948 training and 130 test utterances

自然言語

• Penn Tree Bank (PTB)

  URL: https://corochann.com/penn-tree-bank-ptb-dataset-introduction-1456.html

ネットワーク

• PCAP

  URL: https://www.netresec.com/?page=PcapFiles

2. データテーブル

目次ページ：データテーブル

• ポケモンデータ（CSVファイル）

3. SQLite3 をデータ管理に使う

目次ページ：SQLite3 をデータ管理に使う

• SQLite biter のインストール
• LiteCLI のインストール

4. 集計済みのテーブル形式データ（政府統計 e-Stat など）

目次ページ：集計済みのテーブル形式データ（政府統計 e-Stat など）

• 政府統計 e-Stat から API を用いてデータ取得

この Web ページの配下にある資料の維持方針

• 大学の授業での自作の資料は，公開の準備ができたものは，適宜，公開する．演習問題や解説記事なども必要に応じて付ける．過去の授業で現在開講されなくなったものについては，ソフトのバージョンを最新にするなど見直しを行うことがある．
• 既存の技術やソフトウエアを調査し，その機能や使用法を実際に試し，その結果 (それらのインストールの方法，使用方法など）をスクリーンショットなどでビジュアルに説明する． 「面白いソフトを探したい」，「パソコンを使いながら実践的に勉強したい」，「ソフトの使い方がわからなくて困っている」などにも役立つようにする．

公開している資料等のご利用について．

クリエイティブコモンズ BY NC SAです．

資料のご利用を歓迎します． 自習でお使い頂いたり，あるいは，グループでお使いいただく（授業や勉強会など）など，大歓迎です． 私の許諾を得ることなく，お使い頂いて構いません． 改変や加工もして頂いてかまいません． 資料等の間違いのご指摘，激励のメッセージなどいただければ励みになります．

1. 再配布では，無償で相手方に渡してください（お願い）

   再配布は歓迎します． 私がWebページで配布している資料などは， もともと，私のWebページに来れば，簡単にダウンロードできますから， 会社や団体で会費を取って配ったりなどはご遠慮ください． 無料で配ってくださるのは歓迎します． 大学や高校などの学校で，教材としてお使いいただくのも歓迎します．

2. 剽窃の防止について（お願い）

   グループ学習などでお使いになるとき， 私の資料に第三者の氏名を書き加える，あるいは会社や団体のロゴを書き加えるなどの改変をお考えになるかも知れませんが，剽窃（他人の作品を盗用しているかのような疑いをもたれること）は防止したいです．発表者や紹介者など，私以外の第三者の氏名を加筆して，私の資料をお使いになる場合には， 「金子邦彦の Web サイトで公開されている資料を使っている」のように，一言添えていただくなど，ご配慮ください．