郵便番号 CSV データを SQLite 3 にインポート（SQLite 3 を使用）

このページでは，日本郵政「ゆうびんホームページ」で公開されている 2つの郵便番号データのＣＳＶ（カンマ区切り値）形式ファイルを使う．

住所の郵便番号（ＣＳＶ形式）(ken_all.csv)
事業所の個別郵便番号（ＣＳＶ形式）(jigyosyo.csv)

これらのファイルを，リレーショナルデータベース管理システム SQLite 3 のテーブル（テーブル名は ken_all）に格納します．

SQLite 3 について: 別ページ »にまとめ

謝辞：

・郵便番号データについて、日本郵政に感謝します

1. 前準備

Python の準備（Windows，Ubuntu 上）

Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール（winget を使用しないインストール）: 別ページ »で説明

Ubuntu では，システム Pythonを使うことができる．Python3 開発用ファイル，pip, setuptools のインストール: 別ページ »で説明

【サイト内の関連ページ】

【関連する外部ページ】 Python の公式ページ: https://www.python.org/

csvkit のインストール

Windows の場合

Windows で，コマンドプロンプトを管理者として実行．

次のように操作する．

python -m pip install csvkit

Ubuntu の場合

端末で，次のコマンドを実行する．

sudo apt -y install csvkit python3-csvkit

SQLite 3 のインストール

郵便番号 CSV データの準備

ダウンロードの手順は，別ページ »で説明2つのCSV ファイルのダウンロードが終わっていること

郵便番号 CSV データから，SQLite 3 データベースを生成 (csvsql, sqlite3 を使用)

処理する CSV ファイル名: ken_all.csv, jigyosyo.csv

生成するSQLite3 データベース名: zip.db

作成されるテーブル名: ken_all, jigyosyo

それぞれのスキーマは次のとおりである．

KEN_ALL(a0, a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, a11, a12, a13, a14)
JIGYOSYO(a0, a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, a11, a12)

まず，２つのファイルの文字コードは，UTF-8 に変換しておく

SQLite 3 データベースの生成

Windows の場合

del zip.db
echo a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14 > k.csv
type ken_all.csv >> k.csv
csvsql --db sqlite:///zip.db --insert k.csv
echo a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12 > j.csv
type jigyosyo.csv >> j.csv
csvsql --db sqlite:///zip.db --insert j.csv
echo alter table k rename to ken_all; | sqlite3 zip.db 
echo alter table j rename to jigyosyo; | sqlite3 zip.db 
echo select * from ken_all limit 20; | sqlite3 zip.db 
echo select * from jigyosyo limit 20; | sqlite3 zip.db

確認のため表示している．

Ubuntu の場合

rm -f zip.db
echo "a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14" > k.csv
cat KEN_ALL.CSV >> k.csv
csvsql --db sqlite:///zip.db --insert k.csv
echo "a0,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12" > j.csv
cat JIGYOSYO.CSV >> j.csv
csvsql --db sqlite:///zip.db --insert j.csv
echo "alter table k rename to ken_all;" | sqlite3 zip.db 
echo "alter table j rename to jigyosyo;" | sqlite3 zip.db 
echo "select * from ken_all limit 20;" | sqlite3 zip.db 
echo "select * from jigyosyo limit 20;" | sqlite3 zip.db

確認のため先頭部分を表示している．

データベースの確認

SQLite3 の起動

sqlite3 zip.db

テーブル JIGYOSYO の属性 a0, a3, a4 の確認

JIGYOSYO テーブルでは，a0 の値が 1つに決まれば，a4 の値が 1つに決まる．

それを，次の SQL で確認する．結果として何も表示されなければ OK.

create table T as select distinct a0, a3, a4 from JIGYOSYO;
SELECT * FROM T WHERE a0 IN ( SELECT a0 FROM T group by a0 HAVING COUNT(*) > 1 );

テーブル KEN_ALL の属性 a0, a6, a7 の確認

KEN_ALL テーブルでは，a0 の値が 1つに決まれば，a7 の値が 1つに決まる．

それを，次の SQL で確認する．結果として何も表示されなければ OK.

drop table T;
create table T as select distinct a0, a6, a7 from KEN_ALL;
SELECT * FROM T WHERE a0 IN ( SELECT a0 FROM T group by a0 HAVING COUNT(*) > 1 );

テーブル JIGYOSYO で，読みがなが空のレコードがないことを確認．

次の SQL で確認する．結果として何も表示されなければ OK.

select * from JIGYOSYO where a1 = '""';

テーブル KEN_ALL で，読みがなが空のレコードがないことを確認．

次の SQL で確認する．結果として何も表示されなければ OK.

select * from JIGYOSYO where a2 = '""';
select * from JIGYOSYO where a3 = '""';
select * from JIGYOSYO where a4 = '""';