![[kaneko lab.]](https://www.kkaneko.jp/info/logo_png.png){kind=logo}
CSV ファイルの処理，Excel ファイルを CSV ファイルに変換，CSV ファイルから JSON・SQL テーブル定義・INSERT 文を生成（csvkit を使用）
【概要】
csvkit は，CSV ファイルを扱うためのコマンドラインツール群である。Excel ファイルの CSV への変換，列の抽出や並べ替え，統計情報の表示，JSON への変換，CSV からの SQL テーブル定義・INSERT 文の生成などを，コマンドプロンプトや端末から実行できる。この資料では，csvkit のインストールから，in2csv，csvjson，csvsql などの各コマンドの使い方までを，実際のデータファイルを用いて順に説明する。
【目次】
- 1. 前準備
- 2. CSV ファイルの処理
- 3. Excel の xlsx ファイルを CSV ファイルに変換 (in2csv)
- 4. CSV ファイルから JSON ファイルを生成 (csvjson)
- 5. CSV ファイルから，テーブル定義（SQL コマンド）を生成 (csvsql)
- 6. CSV ファイルから，SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)
【関連する外部ページ】
csvkit のドキュメント: https://csvkit.readthedocs.io
1. 前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1：winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。
--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"
方法 2：インストーラーによるインストール
- Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --versionバージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul
REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements
REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．
- コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（
Ctrl+Shift+P） Python: Select Interpreterと入力する
- 表示される一覧から，使用する Python（例：
C:\Program Files\Python312\python.exe）を選択する．
Python プログラム実行手順
[Windows での Python プログラム実行手順を見るには、ここをクリック]
Windows での Python 実行手順（Visual Studio Codeを使用）
プログラムファイルの作成と保存
- 左サイドバーの「エクスプローラー」アイコン（
Ctrl+Shift+E）をクリックする
- 「NO FOLDER OPENED」（作業対象フォルダが未選択の状態）と表示される場合は，「Open Folder」をクリックし，プログラムを保存するフォルダを選択する
続いて「フォルダを信用するか」を確認する画面（フォルダ内のコードを実行してよいか確認する VS Code の仕組み）が表示されるので，チェックして Yes を選択する
- フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
- ファイル名（例：
aitask.py．ファイル名は何でも良い）を入力しEnterを押す．拡張子は.py（Python ファイルを示す拡張子）とする
- 実行したいコードを選択し，
Ctrl+Cでコピーする．VS Code のエディタ領域にCtrl+Vで貼り付ける Ctrl+Sで保存する
プログラムの実行
- エディタ右上の三角形「▷」アイコン（Run Python File：現在開いている Python ファイルを実行するボタン）をクリックする．または，エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
- VS Code 下部のターミナル（コマンドの入出力を表示する画面）に，実行結果（
print関数の出力等）が表示される
- tkinter（Python 標準の GUI ライブラリ）のファイル選択ダイアログを使うプログラムを実行した場合は，ダイアログが開くので対象画像を選択する
- VS Code 下部のターミナルで実行結果を確認する．OpenCV ウィンドウ（OpenCV が画像を表示するために開く専用ウィンドウ）が開いた場合はそちらも確認する．OpenCV ウィンドウは，マウスクリックでウィンドウをアクティブ（操作対象の状態）にしてからキーを押すと終了する
csvkit のインストール
csvkit のインストールを行う。
- Windows の場合
管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー →
cmdと入力 → 右クリック → 「管理者として実行」）。次のように操作する。
python -m pip install -U --no-user csvkit - Ubuntu の場合
端末で，次のコマンドを実行する。
sudo apt -y install csvkit python3-csvkit
2. CSV ファイルの処理
ここでは，処理対象の CSV ファイルを a.csv として，列（カラム）の操作と統計情報の表示を行うコマンドを示す。
- カラム名（列名）の表示: csvcut -n a.csv
- カラム名を指定して，取り出す: csvcut -c a1,a2,a3 a.csv
- カラムの並べ替え: csvcut -c a3,a2,a1 a.csv
- CSV ファイルの統計情報の表示: csvstat a.csv
3. Excel の xlsx ファイルを CSV ファイルに変換 (in2csv)
- 前準備として Excel の xlsx ファイルを準備する。
ここでは，csvkit に同封されているデータファイルである ne_1033_data.xlsx を， 次の URL からダウンロードして使用する。 https://github.com/wireservice/csvkit/tree/master/examples/realdata
- in2csv コマンドにより，Excel の xlsx ファイルを CSV ファイルに変換する。
in2csv ne_1033_data.xlsx > ne_1033_data.csv
4. CSV ファイルから JSON ファイルを生成 (csvjson)
- 前準備として CSV ファイルを準備する。
ここでは，次の URL から ks_1033_data.csv をダウンロードして使用する。 https://github.com/wireservice/csvkit/tree/master/examples/realdata
- csvjson コマンドにより，CSV ファイルを JSON ファイルに変換する。
csvjson ks_1033_data.csv > ks_1033_data.json確認のため「more ks_1033_data.json」を実行している。
5. CSV ファイルから，テーブル定義（SQL コマンド）を生成 (csvsql)
- 前準備として CSV ファイルを準備する。
ここでは，次の URL から ks_1033_data.csv をダウンロードして使用する。 https://github.com/wireservice/csvkit/tree/master/examples/realdata
- テーブル定義の生成
csvsql ks_1033_data.csv > ks_1033_data.sql確認のため「more ks_1033_data.sql」を表示している。
6. CSV ファイルから，SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)
SQLite 3 のインストール
SQLite 3 は，リレーショナルデータベース管理システムである。
CSV ファイルから，SQLite 3 データベースと SQL の insert 文を生成 (csvsql, sqlite3 を使用)
- 処理する CSV ファイル名: ks_1033_data.csv
- 生成する SQLite 3 データベース名: ks1033.db
- 生成する SQL ファイル名: ks1033.sql
- Windows の場合
del ks1033.db csvsql --db sqlite:///ks1033.db --insert ks_1033_data.csv echo .dump | sqlite3 ks1033.db > ks1033.sql more ks1033.sql確認のため表示している。
- Ubuntu の場合
rm -f ks1033.db csvsql --db sqlite:///ks1033.db --insert ks_1033_data.csv echo ".dump" | sqlite3 ks1033.db > ks1033.sql head -20 ks1033.sql確認のため先頭部分を表示している。
