Apache Spark 3.3.0，Apache Hadoop 3.0.0 のインストール（Windows 上）

前準備

Git のインストール

Git のページ https://git-scm.com/ からダウンロードしてインストール:

• Windows での Git のインストール: 別ページ »で説明している．

Python 64 ビット版のインストール，pip と setuptools の更新（Windows 上）

Windows での Python 3.10 のインストール，pip と setuptools の更新: 別ページ »で説明している．

Python の公式ページ: https://www.python.org/

numpy のインストール（Windows 上）

1. Windows では，コマンドプロン プトを管理者として実行する．
2. numpy のインストール

   python -m pip install -U numpy
   

OpenJDK のインストール

• Windows での OpenJDK のインストール手順は，「別のページ」で説明している．

※ OpenJDK のライセンスは，利用者自身で確認すること．

Apache Maven のインストール

Windows での Apache Maven のインストール: 別ページ »で説明している．

winutils のインストール

winutils のページ: https://github.com/steveloughran/winutils

1. Windows で，コマンドプロンプトを管理者として実行．

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   cd C:\
   rmdir /s /q winutils
   git clone --recursive https://github.com/steveloughran/winutils
   cd winutils\hadoop-3.0.0\bin
   

3. 環境変数 HADOOP_HOME に「c:\winutils\hadoop-3.0.0」を設定する
4. 環境変数 PATH に，「c:\winutils\hadoop-3.0.0\bin」を追加する．

Apache Spark のインストールとテスト実行（Windows 上）

1. 次のページからダウンロードして展開．

   https://spark.apache.org/downloads.html

2. 環境変数 SPARK_HOME を設定する．
3. 環境変数 PATH に，「%SPARK_HOME\bin」を追加する．
4. 確認のため，Apache Spark の Python シェルを起動し，簡単なプログラムを動かしてみる．

   .\bin\pyspark
   spark.range(1000 * 1000 * 1000).count()
   

   本サイトは金子邦彦研究室のWebページである．

   資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

   公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページ »で説明 再配布や資料改変の際には，そのページをご確認ください．

   サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

   問い合わせ先： 金子邦彦（かねこ くにひこ）