金子邦彦研究室 ▶ 情報工学全般 ▶ SQLite 3 の使い方 ▶ SQLite 3 への CSV ファイルインポートと性能確認手順

サイトマップ サイト内検索 まとめ

サイトの全体構成

SQLite 3 への CSV ファイルインポートと性能確認手順

全体構成 人工知能 データベース ３次元，地図 プログラミング 情報工学全般 インストール 支援 連絡先，業績

CSV ファイルインポートとは：CSVファイルをリレーショナルデータベースのテーブルにインポートする．

このページで紹介しているソフトウェア類の利用条件等は，利用者で確認すること．

前準備

SQLite 3 について

SQLite 3 について: 別ページ »にまとめ

CSV ファイルの準備

CSV ファイルインポートのテスト実行（SQLite 3 を使用）

次のように設定して実行すること．

エラーメッセージが出ないことを確認． 

# インポートのプログラム
cat >import.sql<<EOF
.separator ,
pragma journal_mode=off;
.import T1000M_1.csv T1000M_1
.exit
EOF

# クリーンアップ（clean up）
echo -n > t1000m_1.db
rm -f t1000m_1.db
# インポート（import）
cat import.sql | time sqlite3 t1000m_1.db
rm -f import.sql
# 問い合わせ（query）
echo "select * from T1000M_1 limit 10;" | sqlite3 t1000m_1.db
echo "select region, count(*) from T1000M_1 group by region;" | sqlite3 t1000m_1.db
echo "select birth_cap from T1000M_1 where birth_cap > 80000 limit 10;" | sqlite3 t1000m_1.db

[image]

[image]

その性能計測

次のプログラムを実行（dstat を用いて性能を見る） 

# キャッシュのクリア（PageCache, dentries and inodes）
function cache_clear() {
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    sleep 3
    sudo sysctl -w vm.drop_caches=3 > /dev/null
    echo 3 | sudo tee -a /proc/sys/vm/drop_caches > /dev/null
    return
}

# 性能を見たいプログラム，上のプログラムと同じ
cat >import.sql<<EOF
.separator ,
pragma journal_mode=off;
.import T1000M_1.csv T1000M_1
.exit
EOF

# クリーンアップ（clean up），上のプログラムと同じ
echo -n > t1000m_1.db
rm -f t1000m_1.db

# dstat データをプロットするプログラムの準備
WIDTH=48
HEIGHT=20
sudo apt -y install dstat
rm -f dstatplot.py
wget https://www.kkaneko.jp/data/rdb/dstatplot.py

# キャッシュのクリア
cache_clear

# 48 のところは表示の横幅
# 20 のところは表示の縦幅
# 表示が始まるまで「表示の横幅」秒待つこと．
dstat -tcdylm -C 0,1,2,3,4,5,6,7 | python3 dstatplot.py $WIDTH $HEIGHT &
sleep $WIDTH

# インポート（import），上のプログラムと同じ
cat import.sql | time sqlite3 t1000m_1.db
rm -f import.sql

数字 0 から 7 はプロセッサのコア．R, W はストレージの読み書き．m はメモリ使用量

前半は CPU バウンド（ディスク読み込みは余裕がある），後半は I/O バウンド（今度はプロセッサは余裕がある）ように読み取ることができる．

[image]

CSV ファイルインポートでのファイルサイズと処理時間の関係（SQLite 3 を使用） 

#/bin/bash
function elapsed() {
    echo `python3 -c "import sys; print( float(sys.argv[2]) - float(sys.argv[1]) )" $1 $2`
    return
}

function avg() {
    echo `python3 -c 'import sys; print("%.3f" % ((float(sys.argv[1]) + float(sys.argv[2]) + float(sys.argv[3])) / 3.0) )' $1 $2 $3`
    return
}

# キャッシュのクリア（PageCache, dentries and inodes）
function cache_clear() {
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    /usr/bin/sync
    sleep 3
    sudo sysctl -w vm.drop_caches=3 > /dev/null
    echo 3 | sudo tee -a /proc/sys/vm/drop_caches > /dev/null
    return
}

function file_clean_up() {
echo -n > $1
rm -f $1
}

# $1: CSV file name, $2: Table name, $3: SQLite 3 Database name
function sqlite3_import() {
# クリーンアップ（clean up）
echo -n > $3
rm -f $3
rm -f sqlite3_import.sql

# インポートのプログラム
cat >sqlite3_import.sql<<EOF
.separator ,
pragma journal_mode=off;
.import $1 $2
.exit
EOF

    start=`date +%s.%N`
    cat sqlite3_import.sql | sqlite3 $3 > /dev/null
    current=`date +%s.%N`
    echo `elapsed $start $current`
    return
}

# 250M 
cache_clear
elapsed1=`sqlite3_import T250M_1.csv T250M_1 t250m_1.db`
file_clean_up t250m_1.db
cache_clear
elapsed2=`sqlite3_import T250M_1.csv T250M_1 t250m_1.db`
file_clean_up t250m_1.db
cache_clear
elapsed3=`sqlite3_import T250M_1.csv T250M_1 t250m_1.db`
file_clean_up t250m_1.db
echo 250M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 500M 
cache_clear
elapsed1=`sqlite3_import T500M_1.csv T500M_1 t500m_1.db`
file_clean_up t500m_1.db
cache_clear
elapsed2=`sqlite3_import T500M_1.csv T500M_1 t500m_1.db`
file_clean_up t500m_1.db
cache_clear
elapsed3=`sqlite3_import T500M_1.csv T500M_1 t500m_1.db`
file_clean_up t500m_1.db
echo 500M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 1000M 
cache_clear
elapsed1=`sqlite3_import T1000M_1.csv T1000M_1 t1000m_1.db`
file_clean_up t1000m_1.db
cache_clear
elapsed2=`sqlite3_import T1000M_1.csv T1000M_1 t1000m_1.db`
file_clean_up t1000m_1.db
cache_clear
elapsed3=`sqlite3_import T1000M_1.csv T1000M_1 t1000m_1.db`
file_clean_up t1000m_1.db
echo 1000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 2000M 
cache_clear
elapsed1=`sqlite3_import T2000M_1.csv T2000M_1 t2000m_1.db`
file_clean_up t2000m_1.db
cache_clear
elapsed2=`sqlite3_import T2000M_1.csv T2000M_1 t2000m_1.db`
file_clean_up t2000m_1.db
cache_clear
elapsed3=`sqlite3_import T2000M_1.csv T2000M_1 t2000m_1.db`
file_clean_up t2000m_1.db
echo 2000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 4000M 
cache_clear
elapsed1=`sqlite3_import T4000M_1.csv T4000M_1 t4000m_1.db`
file_clean_up t4000m_1.db
cache_clear
elapsed2=`sqlite3_import T4000M_1.csv T4000M_1 t4000m_1.db`
file_clean_up t4000m_1.db
cache_clear
elapsed3=`sqlite3_import T4000M_1.csv T4000M_1 t4000m_1.db`
file_clean_up t4000m_1.db
echo 4000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 8000M 
cache_clear
elapsed1=`sqlite3_import T8000M_1.csv T8000M_1 t8000m_1.db`
file_clean_up t8000m_1.db
cache_clear
elapsed2=`sqlite3_import T8000M_1.csv T8000M_1 t8000m_1.db`
file_clean_up t8000m_1.db
cache_clear
elapsed3=`sqlite3_import T8000M_1.csv T8000M_1 t8000m_1.db`
file_clean_up t8000m_1.db
echo 8000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 12000M 
cache_clear
elapsed1=`sqlite3_import T12000M_1.csv T12000M_1 t12000m_1.db`
file_clean_up t12000m_1.db
cache_clear
elapsed2=`sqlite3_import T12000M_1.csv T12000M_1 t12000m_1.db`
file_clean_up t12000m_1.db
cache_clear
elapsed3=`sqlite3_import T12000M_1.csv T12000M_1 t12000m_1.db`
file_clean_up t12000m_1.db
echo 12000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 16000M 
cache_clear
elapsed1=`sqlite3_import T16000M_1.csv T16000M_1 t16000m_1.db`
file_clean_up t16000m_1.db
cache_clear
elapsed2=`sqlite3_import T16000M_1.csv T16000M_1 t16000m_1.db`
file_clean_up t16000m_1.db
cache_clear
elapsed3=`sqlite3_import T16000M_1.csv T16000M_1 t16000m_1.db`
file_clean_up t16000m_1.db
echo 16000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 20000M 
cache_clear
elapsed1=`sqlite3_import T20000M_1.csv T20000M_1 t20000m_1.db`
file_clean_up t20000m_1.db
cache_clear
elapsed2=`sqlite3_import T20000M_1.csv T20000M_1 t20000m_1.db`
file_clean_up t20000m_1.db
cache_clear
elapsed3=`sqlite3_import T20000M_1.csv T20000M_1 t20000m_1.db`
file_clean_up t20000m_1.db
echo 20000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 24000M 
cache_clear
elapsed1=`sqlite3_import T24000M_1.csv T24000M_1 t24000m_1.db`
file_clean_up t24000m_1.db
cache_clear
elapsed2=`sqlite3_import T24000M_1.csv T24000M_1 t24000m_1.db`
file_clean_up t24000m_1.db
cache_clear
elapsed3=`sqlite3_import T24000M_1.csv T24000M_1 t24000m_1.db`
file_clean_up t24000m_1.db
echo 24000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 28000M 
cache_clear
elapsed1=`sqlite3_import T28000M_1.csv T28000M_1 t28000m_1.db`
file_clean_up t28000m_1.db
cache_clear
elapsed2=`sqlite3_import T28000M_1.csv T28000M_1 t28000m_1.db`
file_clean_up t28000m_1.db
cache_clear
elapsed3=`sqlite3_import T28000M_1.csv T28000M_1 t28000m_1.db`
file_clean_up t28000m_1.db
echo 28000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 32000M 
cache_clear
elapsed1=`sqlite3_import T32000M_1.csv T32000M_1 t32000m_1.db`
file_clean_up t32000m_1.db
cache_clear
elapsed2=`sqlite3_import T32000M_1.csv T32000M_1 t32000m_1.db`
file_clean_up t32000m_1.db
cache_clear
elapsed3=`sqlite3_import T32000M_1.csv T32000M_1 t32000m_1.db`
file_clean_up t32000m_1.db
echo 32000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 36000M 
cache_clear
elapsed1=`sqlite3_import T36000M_1.csv T36000M_1 t36000m_1.db`
file_clean_up t36000m_1.db
cache_clear
elapsed2=`sqlite3_import T36000M_1.csv T36000M_1 t36000m_1.db`
file_clean_up t36000m_1.db
cache_clear
elapsed3=`sqlite3_import T36000M_1.csv T36000M_1 t36000m_1.db`
file_clean_up t36000m_1.db
echo 36000M: `avg $elapsed1 $elapsed2 $elapsed3` 

# 40000M 
cache_clear
elapsed1=`sqlite3_import T40000M_1.csv T40000M_1 t40000m_1.db`
file_clean_up t40000m_1.db
cache_clear
elapsed2=`sqlite3_import T40000M_1.csv T40000M_1 t40000m_1.db`
file_clean_up t40000m_1.db
cache_clear
elapsed3=`sqlite3_import T40000M_1.csv T40000M_1 t40000m_1.db`
file_clean_up t40000m_1.db
echo 40000M: `avg $elapsed1 $elapsed2 $elapsed3`

[image]

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページ »で説明 再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先： 金子邦彦（かねこ くにひこ） [image]