金子邦彦研究室インストールオープンデータ,データファイル処理CSV ファイルの処理,Excel ファイルを CSV ファイルに変換,CSV ファイルの変換,CSV ファイルから SQL テーブル定義と INSERT 文を生成(csvkit を使用)

CSV ファイルの処理,Excel ファイルを CSV ファイルに変換,CSV ファイルの変換,CSV ファイルから SQL テーブル定義と INSERT 文を生成(csvkit を使用)

csvkit のドキュメント: https://csvkit.readthedocs.io

1. 前準備

Python の準備(Windows,Ubuntu 上)

サイト内の関連ページ

関連する外部ページ

Python の公式ページ: https://www.python.org/

csvkit のインストール

2. CSV ファイルの処理

3. Excel の xlsx ファイルを CSV ファイルに変換 (in2csv)

  1. 前準備として Excel の xlsx ファイルを準備

    ここでは,csvkit に同封されているデータファイルである ne_1033_data.xlsxを, 次の URL からダウンロードして使用. https://github.com/wireservice/csvkit/tree/master/examples/realdata

  2. in2csv コマンドにより,Excel の xlsx ファイルを CSV ファイルに変換
    in2csv ne_1033_data.xlsx > ne_1033_data.csv
    

    [image]

4. CSV ファイルから JSON ファイルを生成 (csvjson)

  1. 前準備として CSV ファイルを準備

    ここでは,次のURLから ks_1033_data.csvをダウンロードして使用. https://github.com/wireservice/csvkit/tree/master/examples/realdata

  2. csvjson コマンドにより,CSV ファイルを JSON ファイルに変換
    csvjson ks_1033_data.csv > ks_1033_data.json
    

    確認のため「more ks_1033_data.json」を実行している.

    [image]

5. CSV ファイルから,テーブル定義(SQL コマンド)を生成 (csvsql)

  1. 前準備として CSV ファイルを準備

    ここでは,次のURLから ks_1033_data.csvをダウンロードして使用. https://github.com/wireservice/csvkit/tree/master/examples/realdata

  2. テーブル定義の生成
    csvsql ks_1033_data.csv > ks_1033_data.sql
    

    確認のため「more ks_1033_data.sql」を表示している.

    [image]

6. CSV ファイルから,SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)

SQLite 3 のインストール

SQLite 3は,リレーショナルデータベース管理システム

CSV ファイルから,SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)