CSV ファイルの PostgreSQL へのインポートと SQL 問い合わせ(書きかけ)

CSV ファイルを SQLite 3 データベースへ効率的にインポートする方法について説明する.1つのCSVファイルを1つのテーブルとして適切にインポートする手順を解説する.

1. 前準備

最初の準備としてCSV ファイルを適切に準備する必要がある

ここでは,csvkit に同封されているデータファイルである ks_1033_data.csv を次の URL からダウンロードして使用する.

https://github.com/wireservice/csvkit/tree/master/examples/realdata

他の CSV ファイルを使用する際の重要な注意点として,使用する CSV ファイルの先頭行には,各列の属性名が明確に記載されている必要がある.

PostgreSQL のインストール

PostgreSQL の具体的な利用方法: 別ページ »に詳細をまとめている

PostgreSQL へのインポート

  1. テーブル定義 SQL の生成手順
    csvsql ks_1033_data.csv > ks_1033_data.sql
  2. テーブル定義と \copy コマンドを使用したインポート操作の実行手順(書きかけ)
    cat ks_1033_data.sql | sudo -u postgres psql -U postgres -d testdb
    echo "\copy \"weather\" from 'ks_1033_data.csv' with csv header;" | sudo -u postgres psql -U postgres -d testdb