オープンデータ，データファイル処理

1. CSV ファイルの処理，SQLite 3 データベースの生成

• CSV ファイルの処理，Excel ファイルを CSV ファイルに変換，CSV ファイルの変換，CSV ファイルから SQL テーブル定義と INSERT 文を生成（csvkit を使用）
• CSV ファイルに対して SQL 問い合わせを実行
• CSV ファイルに対する SQL 問い合わせの性能確認（Ubuntu で，SQLite 3，pandasql，csvkit，TicklishHoneyBee/csvdb を使用）
• npz 形式のMNIST データセットを，CSVファイルに変換
• ipadic 辞書（CSV ファイル）から SQLite 3 データベースを生成（Ubuntu 上）
• R システムのパッケージに付属のデータセットから SQLite 3 データベースを生成（R システム，SQLite3 を使用）

  次のデータから SQLite 3 データベースを生成する．

  • 一般: iris, diamonds, Indometh
  • 時系列: Lai2005fig4, meteoandes, economics , nhtemp
  • 緯度・経度: seals

SQLite 3 について：別ページ »にまとめ

2. ランダムデータの合成

• ランダムデータの合成（CSV ファイルの生成，SQLite 3 データベースの生成）

3. プログラムによるデータファイル読み込み，書き出し

• Python で Excel ファイルを扱う（Python，Win32 を使用）
• Python で Excel ファイルを扱う（Python，agate-excel を使用）

4. 画像データ，動画データ

• 動画ファイルのコマンド等
• 画像ファイルのコマンド等
• BMP 連番画像を TIFF 連番画像に変換（Windows 上のソフトウェアを利用）
• パノラマ画像
• 画像の特徴点

5. ファイルの形式変換

• XML2JSON のインストール（Ubuntu 上）

  XML2JSON は，XMLファイルとJSONファイルの相互変換を簡単に行える perl 用のライブラリ．

6. オープンデータの例

データセットの説明については， 別ページに移しました．

7. 政府オープンデータ

• 政府統計の総合窓口, 市町村の人口総数（Excel ファイルのダウンロード，SQLite 3 データベースの生成）

  公式ページ: 政府統計の総合窓口 (e-stat) http://www.e-stat.go.jp/estat/html/spec.html

• 政府統計 e-Stat から API を用いてデータ取得

8. オープンデータへのリンク集

• オープンデータへのリンク集

9. オープンデータのダウンロード，処理

• RetinaNet を用いた物体検出（Python, Keras を使用）