Apache Spark (書きかけ)

  1. Java, Maven のインストール

    https://spark.apache.org/downloads.html

  2. winutils のインストール https://github.com/steveloughran/winutils
    cd C:\
    git https://github.com/steveloughran/winutils
    cd winutils\hadoop-3.0.0\bin
    
  3. cd C:\
    git clone https://github.com/apache/spark
    cd spark
    mvn -DskipTests clean package
    
  4. 終了の確認
  5. 確認のため,Apache Spark の Python シェルを起動し,簡単なプログラムを動かしてみる.
    .\bin\pyspark
    spark.range(1000 * 1000 * 1000).count()