郵便番号 CSV データを SQLite 3 にインポート（SQLite 3 を使用）

このページでは，日本郵政「ゆうびんホームページ」で公開されている 2つの郵便番号データのＣＳＶ（カンマ区切り値）形式ファイルを使う．

住所の郵便番号（ＣＳＶ形式）(ken_all.csv)
事業所の個別郵便番号（ＣＳＶ形式）(jigyosyo.csv)

これらのファイルを，リレーショナルデータベース管理システム SQLite 3 のテーブル（テーブル名は ken_all）に格納します．

SQLite 3 について: 別ページ »にまとめ

謝辞：

・郵便番号データについて、日本郵政に感謝します

1. 前準備

Python の準備（Windows，Ubuntu 上）

Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール（winget を使用しないインストール）: 別ページ »で説明
Ubuntu では，システム Pythonを使うことができる．Python3 開発用ファイル，pip, setuptools のインストール: 別ページ »で説明

【サイト内の関連ページ】

Python のまとめ: 別ページ »にまとめ
Google Colaboratory の使い方など: 別ページ »で説明

【関連する外部ページ】 Python の公式ページ: https://www.python.org/

csvkit のインストール

Windows での csvkit のインストール
Windows で，コマンドプロンプトを管理者として実行．
次のように操作する．
```
python -m pip install csvkit
```
Ubuntu での csvkit のインストール
端末で，次のコマンドを実行する．
```
sudo apt -y install csvkit python3-csvkit
```

SQLite 3 のインストール

SQLite 3は，リレーショナルデータベース管理システム．

Windows での SQLite 3のインストール: 別ページ »で説明
Ubuntu での SQLite 3のインストール: 別ページ »で説明

郵便番号 CSV データの準備

ダウンロードの手順は，別ページ »で説明2つのCSV ファイルのダウンロードが終わっていること

郵便番号 CSV データから，SQLite 3 データベースを生成 (csvsql, sqlite3 を使用)

処理する CSV ファイル名: ken_all.csv, jigyosyo.csv
生成するSQLite3 データベース名: zip.db
作成されるテーブル名: ken_all, jigyosyo
それぞれのスキーマは次のとおりである．
- KEN_ALL(a0, a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, a11, a12, a13, a14)
- JIGYOSYO(a0, a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, a11, a12)

まず，２つのファイルの文字コードは，UTF-8 に変換しておく

SQLite 3 データベースの生成

Windows の場合

del zip.db
echo a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14 > k.csv
type ken_all.csv >> k.csv
csvsql --db sqlite:///zip.db --insert k.csv
echo a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12 > j.csv
type jigyosyo.csv >> j.csv
csvsql --db sqlite:///zip.db --insert j.csv
echo alter table k rename to ken_all; | sqlite3 zip.db 
echo alter table j rename to jigyosyo; | sqlite3 zip.db 
echo select * from ken_all limit 20; | sqlite3 zip.db 
echo select * from jigyosyo limit 20; | sqlite3 zip.db

確認のため表示している．

Ubuntu の場合

rm -f zip.db
echo "a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14" > k.csv
cat KEN_ALL.CSV >> k.csv
csvsql --db sqlite:///zip.db --insert k.csv
echo "a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12" > j.csv
cat JIGYOSYO.CSV >> j.csv
csvsql --db sqlite:///zip.db --insert j.csv
echo "alter table k rename to ken_all;" | sqlite3 zip.db 
echo "alter table j rename to jigyosyo;" | sqlite3 zip.db 
echo "select * from ken_all limit 20;" | sqlite3 zip.db 
echo "select * from jigyosyo limit 20;" | sqlite3 zip.db

確認のため先頭部分を表示している．

データベースの確認

SQLite3 の起動
```
sqlite3 zip.db
```
テーブル JIGYOSYO の属性 a0, a3, a4 の確認
JIGYOSYO テーブルでは，a0 の値が 1つに決まれば，a4 の値が 1つに決まる．
それを，次の SQL で確認する．結果として何も表示されなければ OK.
```
create table T as select distinct a0, a3, a4 from JIGYOSYO;
SELECT * FROM T WHERE a0 IN ( SELECT a0 FROM T group by a0 HAVING COUNT(*) > 1 );
```
テーブル KEN_ALL の属性 a0, a6, a7 の確認
KEN_ALL テーブルでは，a0 の値が 1つに決まれば，a7 の値が 1つに決まる．
それを，次の SQL で確認する．結果として何も表示されなければ OK.
```
drop table T;
create table T as select distinct a0, a6, a7 from KEN_ALL;
SELECT * FROM T WHERE a0 IN ( SELECT a0 FROM T group by a0 HAVING COUNT(*) > 1 );
```
テーブル JIGYOSYO で，読みがなが空のレコードがないことを確認．
次の SQL で確認する．結果として何も表示されなければ OK.
```
select * from JIGYOSYO where a1 = '""';
```
テーブル KEN_ALL で，読みがなが空のレコードがないことを確認．
次の SQL で確認する．結果として何も表示されなければ OK.
```
select * from JIGYOSYO where a2 = '""';
select * from JIGYOSYO where a3 = '""';
select * from JIGYOSYO where a4 = '""';
```