CSV ファイルの PostgreSQL へのインポートと SQL 問い合わせ(書きかけ)
CSV ファイルを SQLite 3 データベースへ効率的にインポートする方法について説明する.1つのCSVファイルを1つのテーブルとして適切にインポートする手順を解説する.
1. 前準備
最初の準備としてCSV ファイルを適切に準備する必要がある
ここでは,csvkit に同封されているデータファイルである ks_1033_data.csv を次の URL からダウンロードして使用する.
https://github.com/wireservice/csvkit/tree/master/examples/realdata
他の CSV ファイルを使用する際の重要な注意点として,使用する CSV ファイルの先頭行には,各列の属性名が明確に記載されている必要がある.
PostgreSQL のインストール
PostgreSQL の具体的な利用方法: 別ページ »に詳細をまとめている
- Windows 環境における PostgreSQL のインストール手順: 別ページ »で詳しく説明している
- Ubuntu 環境における PostgreSQL のインストール方法: 別ページ »で詳しく説明している
PostgreSQL へのインポート
- テーブル定義 SQL の生成手順
csvsql ks_1033_data.csv > ks_1033_data.sql
- テーブル定義と \copy コマンドを使用したインポート操作の実行手順(書きかけ)
cat ks_1033_data.sql | sudo -u postgres psql -U postgres -d testdb echo "\copy \"weather\" from 'ks_1033_data.csv' with csv header;" | sudo -u postgres psql -U postgres -d testdb