CSV ファイルの処理，Excel ファイルを CSV ファイルに変換，CSV ファイルの変換，CSV ファイルから SQL テーブル定義と INSERT 文を生成（csvkit を使用）

csvkit のドキュメント: https://csvkit.readthedocs.io

1. 前準備

Python 3.12 のインストール

以下のいずれかの方法で Python 3.12 をインストールする。

方法1：winget によるインストール

Python がインストール済みの場合、この手順は不要である。管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install -e --id Python.Python.3.12 --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 AssociateFiles=1 InstallLauncherAllUsers=1"

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2：インストーラーによるインストール

Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

AIエディタ Windsurf のインストール

Pythonプログラムの編集・実行には、AIエディタの利用を推奨する。ここでは、Windsurfのインストールを説明する。

Windsurf がインストール済みの場合、この手順は不要である。管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install -e --id Codeium.Windsurf --scope machine --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force"

【関連する外部ページ】

Windsurf の公式ページ: https://windsurf.com/

csvkit のインストール

Windows の場合
Windows で，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。．
次のように操作する．
```
python -m pip install csvkit
```
Ubuntu の場合
端末で，次のコマンドを実行する．
```
sudo apt -y install csvkit python3-csvkit
```

2. CSV ファイルの処理

カラム名（列名）の表示: csvcut -n a.csv
カラム名を指定して，取り出す: csvcut -c a1,a2,a3 a.csv
カラムの並べ替え: csvcut -c a3,a2,a1 a.csv
CSV ファイルの情報表示: csvstat a.csv

3. Excel の xlsx ファイルを CSV ファイルに変換 (in2csv)

前準備として Excel の xlsx ファイルを準備
ここでは，csvkit に同封されているデータファイルである ne_1033_data.xlsxを，次の URL からダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata
in2csv コマンドにより，Excel の xlsx ファイルを CSV ファイルに変換
```
in2csv ne_1033_data.xlsx > ne_1033_data.csv
```

4. CSV ファイルから JSON ファイルを生成 (csvjson)

前準備として CSV ファイルを準備
ここでは，次のURLから ks_1033_data.csvをダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata
csvjson コマンドにより，CSV ファイルを JSON ファイルに変換
```
csvjson ks_1033_data.csv > ks_1033_data.json
```
確認のため「more ks_1033_data.json」を実行している．

5. CSV ファイルから，テーブル定義（SQL コマンド）を生成 (csvsql)

前準備として CSV ファイルを準備
ここでは，次のURLから ks_1033_data.csvをダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata
テーブル定義の生成
```
csvsql ks_1033_data.csv > ks_1033_data.sql
```
確認のため「more ks_1033_data.sql」を表示している．

6. CSV ファイルから，SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)

SQLite 3 のインストール

SQLite 3は，リレーショナルデータベース管理システム．

Windows での SQLite 3のインストール: 別ページ »で説明
Ubuntu での SQLite 3のインストール: 別ページ »で説明

CSV ファイルから，SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)

処理する CSV ファイル名: ks_1033_data.csv
生成するSQLite3 データベース名: ks1033.db
生成するSQL ファイル名: ks1033.sql

Windows の場合

del ks1033.db
csvsql --db sqlite:///ks1033.db --insert ks_1033_data.csv
echo .dump | sqlite3 ks1033.db > ks1033.sql
more ks1033.sql

確認のため表示している．

Ubuntu の場合

rm -f ks1033.db
csvsql --db sqlite:///ks1033.db --insert ks_1033_data.csv
echo ".dump" | sqlite3 ks1033.db > ks1033.sql
head -20 ks1033.sql

確認のため先頭部分を表示している．