CSV ファイルの Apache Spark へのインポートと SQL 問い合わせ（Ubuntu 上）

前準備

前準備として JDK のインストール

OpenJDK 18 のインストールと設定（Ubuntu 上）: 別ページ »で説明している．

※ その利用条件は，利用者自身で確認すること．

Apache Spark のインストール

Ubuntu での Apache Spark のインストールは，別ページ »で説明している．

CSV ファイルの準備

ここで扱う CSV ファイルは， 先頭行には，各列の属性名が書かれているものとする． 説明のために， このページでは，次のファイルを用いる．

• https://github.com/simongeek/PandasDA/blob/master/weather.csv

このページの手順をそのまま試したい場合には，次の手順で CSV ファイルをダウンロードすること．

cd /tmp
rm -f /tmp/weather.csv
git clone https://github.com/simongeek/PandasDA
cp ./PandasDA/weather.csv /tmp/weather.csv

Apache Spark への CSV ファイルのインポート

1. pyspark を起動
   
2. インポート操作

   sqlContext.read.format("com.databricks.spark.csv").option("header", "false").option("inferSchema", "true").load("/tmp/w.csv").registerTempTable("weather")
   

   
3. SQL 問い合わせ

   r = sqlContext.sql("select * from weather")
   r.show()
   r.schema