Apache Spark 3.3.0，Apache Hadoop 3.0.0 のインストール（Windows 上）

前準備

Python 3.12 のインストール

インストール済みの場合は実行不要。

管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）し、以下を実行する。管理者権限は、wingetの--scope machineオプションでシステム全体にソフトウェアをインストールするために必要である。

REM Python をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent
REM Python のパス設定
set "PYTHON_PATH=C:\Program Files\Python312"
set "PYTHON_SCRIPTS_PATH=C:\Program Files\Python312\Scripts"
echo "%PATH%" | find /i "%PYTHON_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_PATH%" /M >nul
echo "%PATH%" | find /i "%PYTHON_SCRIPTS_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_SCRIPTS_PATH%" /M >nul

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

AI エディタ Windsurf のインストール

Pythonプログラムの編集・実行には、AI エディタの利用を推奨する。ここでは，Windsurfのインストールを説明する。

管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）し、以下を実行して、Windsurfをシステム全体にインストールする。管理者権限は、wingetの--scope machineオプションでシステム全体にソフトウェアをインストールするために必要となる。

winget install --scope machine Codeium.Windsurf -e --silent

【関連する外部ページ】

Windsurf の公式ページ: https://windsurf.com/

Gitのインストール

管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）し、以下を実行する。管理者権限は、wingetの--scope machineオプションでシステム全体にソフトウェアをインストールするために必要となる。

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent
REM Git のパス設定
set "GIT_PATH=C:\Program Files\Git\cmd"
if exist "%GIT_PATH%" (
    echo "%PATH%" | find /i "%GIT_PATH%" >nul
    if errorlevel 1 setx PATH "%PATH%;%GIT_PATH%" /M >nul
)

numpy のインストール（Windows 上）

1. Windows では，コマンドプロンプトを管理者として実行する．
2. numpy のインストール

   python -m pip install -U numpy
   

JDK (Java Development Kit) 21 のインストール（Windows 上）

1. Windows で，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。
2. 次のコマンドを実行

   次のコマンドは，JDK (Java Development Kit) 21をインストールするものである．

   winget install --scope machine Oracle.JDK.21
   

* OpenJDK のライセンスは，利用者自身で確認すること．

Apache Maven のインストール

Windows での Apache Maven のインストール: 別ページ »で説明

winutils のインストール

winutils のページ: https://github.com/steveloughran/winutils

1. Windows で，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。．

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   cd C:\
   rmdir /s /q winutils
   git clone --recursive https://github.com/steveloughran/winutils
   cd winutils\hadoop-3.0.0\bin
   

3. 環境変数 HADOOP_HOME に「c:\winutils\hadoop-3.0.0」を設定する
4. 環境変数 PATH に，「c:\winutils\hadoop-3.0.0\bin」を追加する．

Apache Spark のインストールとテスト実行（Windows 上）

1. 次のページからダウンロードして展開．

   https://spark.apache.org/downloads.html

2. 環境変数 SPARK_HOME を設定する．
3. 環境変数 PATH に，「%SPARK_HOME\bin」を追加する．
4. 確認のため，Apache Spark の Python シェルを起動し，簡単なプログラムを動かしてみる．

   .\bin\pyspark
   spark.range(1000 * 1000 * 1000).count()