Apache Spark 3.3.0，Apache Hadoop 3.0.0 のインストール（Windows 上）

前準備

Python 3.10，Git のインストール（Windows 上）

Pythonは，プログラミング言語の１つ． Gitは，分散型のバージョン管理システム．

【手順】

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. 次のコマンドを実行

   次のコマンドは，Python ランチャーとPython 3.10とGitをインストールし，Gitにパスを通すものである．

   次のコマンドでインストールされるGitは 「git for Windows」と呼ばれるものであり， Git，MinGW などから構成されている．

   winget install --scope machine Python.Launcher
   winget install --scope machine Python.Python.3.10
   winget install --scope machine Git.Git
   powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\Program Files\Git\cmd\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
   

【関連する外部ページ】

• Python の公式ページ: https://www.python.org/
• Git の公式ページ: https://git-scm.com/

【サイト内の関連ページ】

• Python詳細ガイド：別ページ »

【関連項目】 Python, Git バージョン管理システム, Git の利用

numpy のインストール（Windows 上）

1. Windows では，コマンドプロンプトを管理者として実行する．
2. numpy のインストール

   python -m pip install -U numpy
   

JDK (Java Development Kit) 21 のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）
2. 次のコマンドを実行

   次のコマンドは，JDK (Java Development Kit) 21をインストールするものである．

   winget install --scope machine Oracle.JDK.21
   

* OpenJDK のライセンスは，利用者自身で確認すること．

Apache Maven のインストール

Windows での Apache Maven のインストール: 別ページ »で説明

winutils のインストール

winutils のページ: https://github.com/steveloughran/winutils

1. Windows で，コマンドプロンプトを管理者権限で起動する（例：Windowsキーを押し，「cmd」と入力し，「管理者として実行」を選択）．

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   cd C:\
   rmdir /s /q winutils
   git clone --recursive https://github.com/steveloughran/winutils
   cd winutils\hadoop-3.0.0\bin
   

3. 環境変数 HADOOP_HOME に「c:\winutils\hadoop-3.0.0」を設定する
4. 環境変数 PATH に，「c:\winutils\hadoop-3.0.0\bin」を追加する．

Apache Spark のインストールとテスト実行（Windows 上）

1. 次のページからダウンロードして展開．

   https://spark.apache.org/downloads.html

2. 環境変数 SPARK_HOME を設定する．
3. 環境変数 PATH に，「%SPARK_HOME\bin」を追加する．
4. 確認のため，Apache Spark の Python シェルを起動し，簡単なプログラムを動かしてみる．

   .\bin\pyspark
   spark.range(1000 * 1000 * 1000).count()