![[kaneko lab.]](https://www.kkaneko.jp/info/logo_png.png){kind=logo}
オープンデータへのリンク集
【概要】
機械学習・データ分析・コンピュータビジョン・自然言語処理などで使える、公開データセット（オープンデータ）へのリンクを分野別にまとめたものである。表形式データ、画像、顔画像、動画、自然言語、ゲノム、3D モデルなど、種類ごとに整理している。各データセットの利用条件や出典表示（クレジット表記）の方法は配布元によって異なるため、利用前に必ず利用者自身で確認すること。
【目次】
第１章 表形式データ等（数値，ラベル等）
- Kaggle
公式ページ: https://www.kaggle.com/datasets
Titanic, MLB datasets など多数
- scikit-learn に同封のデータ
公式ページ: https://scikit-learn.org/stable/datasets.html
iris, digits, wine, breast cancer, diabetes, linnerud（boston は倫理的な問題によりバージョン 1.2 で削除されたため，現在は同封されていない）．
- statsmodels のデータ
公式ページ: https://www.statsmodels.org/stable/datasets/index.html
Iris, Titanic など
- seaborn のデータ
公式ページ: https://seaborn.pydata.org/examples/index.html
Iris, Titanic など
- csvkit のデータ
https://github.com/wireservice/csvkit/tree/master/examples/realdata
ks_1033_data.csv, ne_1033_data.csv など
- e-Stat（政府統計の総合窓口）
公式ページ: https://www.e-stat.go.jp/
- 平成22年度 全国道路・街路交通情勢調査（道路交通センサス）一般交通量調査 集計表
- 気象庁
公式ページ http://www.data.jma.go.jp/gmd/risk/obsdl/ など
過去の気象データなど
第２章 小さい画像（画像とラベル）
- CIFAR-10
公式ページ: https://www.cs.toronto.edu/~kriz/cifar.html
ダウンロード URL: https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 10
- CIFAR-100
公式ページ: https://www.cs.toronto.edu/~kriz/cifar.html
画像数（タグ付き）: 60,000，画像サイズ: 32x32，クラス数: 100, スーパークラス数: 20
- kaggle CIFAR10
公式ページ: https://www.kaggle.com/c/cifar-10
CIFAR10のテスト画像に 290,000枚の junk 画像を追加したもの．
- MNIST
公式ページ: http://yann.lecun.com/exdb/mnist/
手書き文字
- Fashion-MNIST
公式ページ: https://github.com/zalandoresearch/fashion-mnist
MNIST と互換な 28x28 のグレースケール画像
第３章 画像分類
- ImageNet
公式ページ: http://image-net.org/
画像数: 14,197,122（うち，バウンディングボックス付きの画像数: 1,034,908）, synset 数: 21,841
- AlexNet-Places205
http://places.csail.mit.edu/index.html
画像数: 250万，シーンカテゴリ数: 205
- ImageNet ILSVRC
- LSUN Scenes
公式ページ: https://github.com/fyu
第４章 セグメンテーション
- BSDS (300/500)
公式ページ: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/
画像数(元画像，セグメンテーション画像）: 500
- COCO
公式ページ: https://cocodataset.org/
画像数: 330,000 以上（うち，タグ付きの画像数 200,000 以上），オブジェクトカテゴリ数: 80
pip install -U --no-user pycocotools - Multi-Salient-Object (MSO)
公式ページ: http://cs-people.bu.edu/jmzhang/sos.html
画像数（タグ付き）: 1,224
- Pascal VOC 2012
http://host.robots.ox.ac.uk/pascal/VOC/
画像数: 11,530, ROI でアノテーションされたオブジェクト数: 27,450, セグメンテーション数: 6,929
第５章 顔画像と関連情報
- Celeb-A
公式ページ: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
顔画像数（顔の5ランドマーク，40の属性付き）: 202,599, 人数: 10,177
- CASIA WebFace
公式ページ: http://www.cbsr.ia.ac.cn/english/3DFace%20Databases.asp
- OUI-Adience Face Image
公式ページ: https://talhassner.github.io/home/projects/Adience/Adience-data.html#agegender
画像数（年齢と性別のラベル付き）: 26,580
- VGG Face
公式ページ: http://www.robots.ox.ac.uk/~vgg/software/vgg_face/
顔画像数: 1,000,000 以上
- LFW
- Keras VGGFace2
- MORPH
公式ページ: https://ebill.uncw.edu/C20231_ustores/web/classic/product_detail.jsp?PRODUCTID=8
- CACD
- UTKFace
- ibug facial point annotations
公式ページ: https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/
第６章 特定種類の画像
- CompCars
公式ページ: http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html
車両全体の画像数: 136,726，車両の部品の画像数: 27,618, 車種数（車種ラベル付き）: 1,716
- Oxford 102 Flowers
公式ページ: http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html, http://www.robots.ox.ac.uk/~vgg/data/flowers/17/
画像数（花の画像）: 8,189，カテゴリ数: 102
第７章 その他，種々の画像
- The USC-SIPI Image Database
公式ページ: http://sipi.usc.edu/database/, http://www.imageprocessingplace.com/root_files_V3/image_databases.htm
テクスチャ，航空写真など
- USGS Aerial Photography
公式ページ: https://eros.usgs.gov/aerial-photography
米国の航空写真
- Moana Island Scene
公式ページ: https://www.disneyanimation.com/resources/moana-island-scene/
第８章 人体の動作
- UCF11/YouTube Action
https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php
アクションカテゴリ: basketball shooting, biking/cycling, diving, golf swinging, horse back riding, soccer juggling, swinging, tennis swinging, trampoline jumping, volleyball spiking, and walking with a dog
第９章 ビデオ
- Free Stock Videos
第１０章 自然言語
- Penn Tree Bank (PTB)
Papers with Code のページ: https://paperswithcode.com/dataset/penn-treebank
第１１章 ネットワーク
- PCAP
第１２章 国土数値情報
- 国土数値情報の公式ページ: http://nlftp.mlit.go.jp/ksj/
第１３章 Blender シーン
- Blender Scene Candy (作者: Leroy Xie)
ダウンロードリンク: https://gumroad.com/l/fqLaS
第１４章 ゲノム
- リファレンスゲノム配列 GRCh38
NCBI のページ: https://www.ncbi.nlm.nih.gov/assembly/GCF_000001405.26/
第１５章 商用データなど
- TurboSquid
TurboSquid は，3D モデルの販売サイト
第１６章 その他（整理中）
- BS500
- https://www.gaia-gis.it/fossil/libspatialite/wiki?name=misc-docs
Oxford buildings dataset へのリンク
- http://www.wisdom.weizmann.ac.il/~vision/SpaceTimeActions.html
Weizmann dataset
- http://www.nada.kth.se/cvap/actions/
Recognition of human actions - NADA - KTH
- http://live.ece.utexas.edu/research/texas3dfr/
The Texas 3D Face Recognition database (Texas 3DFRD). 1149 2D and 3D facial images
- http://live.ece.utexas.edu/research/texas3dfr/
GavabDB: face datasets
- https://www.nist.gov/programs-projects/face-recognition-grand-challenge-frgc
FRGC dataset. Biometric images with both 2D and 3D information
- http://www.nada.kth.se/cvap/actions/
- http://dropbox.eait.uq.edu.au/uqhshen/uq_video/UQ_VIDEO.rar
- CASIA Gait Database, Center for Biometrics and Security Research
- http://cfd-duo.riken.go.jp/cbms-mp/
Human organs property Database for Computer simulation (RIKEN)
GetFEM : https://getfem.org/download.html
- Action Database (KTH DataSet): http://www.nada.kth.se/cvap/actions/
- Blender Texture Disc Now Public Domain
http://schools.spsd.sk.ca/mountroyal/Hoffman/blender/blendertextures/html/menu1.html
http://schools.spsd.sk.ca/mountroyal/Hoffman/blender/blendertextures/html/menu2.html
http://blender.jp/modules/newbb/viewtopic.php?viewmode=flat&topic_id=581&forum=10
- Suicidator City Generator
- Blender Material Preview Scenes
https://svn.blender.org/svnroot/bf-blender/trunk/lib/tests/rendering/cycles/
ファイルをダウンロードし，blender_binary の行を設定して「python render_test_files.py」を実行する
- http://gfx.cs.princeton.edu/proj/sugcon/models/
MeshLab でメッシュ化できる
- MUSOPEN