UbuntuUbuntu で OS のシステム更新を行うときは, 次のコマンドを実行.
sudo apt -y update sudo apt -yV upgrade sudo /sbin/shutdown -r now
端末で,次のコマンドを実行する.
sudo apt -y update sudo apt -y install git
OpenJDK 18 のインストールと設定(Ubuntu 上): 別ページ »で説明している.
※ その利用条件は,利用者自身で確認すること.
次のURL に記載の手順でインストールを行う.
次のコマンドを実行.
export SROOT=/var/tmp sudo apt -y install maven cd $SROOT git clone https://github.com/apache/spark cd spark ./build/mvn -DskipTests clean package
./bin/pyspark spark.range(1000 * 1000 * 1000).count()
pyspark sqlContext.read.format("com.databricks.spark.csv").option("header", "false").option("inferSchema", "true").load("/tmp/w.csv").registerTempTable("weather") r = sqlContext.sql("select * from weather") d.show() d.schema r.show() r.schema