Apache Spark (書きかけ)
- Java, Maven のインストール
https://spark.apache.org/downloads.html
- winutils のインストール
https://github.com/steveloughran/winutils
cd C:\ git https://github.com/steveloughran/winutils cd winutils\hadoop-3.0.0\bin
-
cd C:\ git clone https://github.com/apache/spark cd spark mvn -DskipTests clean package
- 終了の確認
- 確認のため,Apache Spark の Python シェルを起動し,簡単なプログラムを動かしてみる.
.\bin\pyspark spark.range(1000 * 1000 * 1000).count()