データ前処理の例：欠損値補完とMinMaxスケーリング

【概要】

scikit-learnを使用する。データ前処理として、欠損値補完とMinMaxスケーリングを実行し、データの変化を観察する。機械学習での前処理の役割を確認する。

基本概念： 欠損値とは観測されなかった値であり、分析結果に偏りを生じさせる可能性がある。MinMaxスケーリングとは、変数を指定された範囲（通常0-1）に変換するスケーリング手法である。

前処理の必要性： 機械学習アルゴリズムは数値データを前提とし、欠損値や異なるスケールの変数が存在すると計算が不安定になるため、前処理が必要となる。

技術的特徴： scikit-learnのデータ前処理機能として、欠損値処理、スケーリングなどの機能が提供される。本実習では欠損値補完（平均値）とMinMaxスケーリング（0-1変換）を実装する。

適用条件： MinMaxScalerは外れ値に敏感であり、データに極端な値が含まれる場合は結果が歪む。そのような場合は他のスケーリング手法の使用を検討する。

学習目標： 欠損値の影響と、スケーリング前後での数値分布の変化を数値で確認し、異なるスケーリング手法の効果を比較する。

論文： Pedregosa, F., et al. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12, 2825-2830.

【目次】

1. 事前準備
2. Python 3.12 のインストール
3. Python の開発環境 Visual Studio Code のインストールと Python 用の設定
4. プログラムコード
5. 使用方法
6. 実験・探求のアイデア

1. 事前準備

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.html で解説しているので、必要に応じて参照する。

2. Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映（システムPATHを再取得して連結）
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2：インストーラーによるインストール

Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

3. Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加（バージョンは変更しない）
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成（自動更新オフ、Python、Claude Code 設定）
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー（settings.json に加えて、レジストリ側でも明示的にオフ）
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．

コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（Ctrl+Shift+P）
Python: Select Interpreter と入力する
表示される一覧から，使用する Python（例：C:\Program Files\Python312\python.exe）を選択する．

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

次のコマンドを実行する。

set "PYTHON_PATH=C:\Program Files\Python312"
"%PYTHON_PATH%\Scripts\pip" install -U --no-user numpy pandas scikit-learn

4. プログラムコード

ソースコード

# 欠損値補完とMinMaxスケーリングによるデータ前処理プログラム
# 特徴技術名: scikit-learn [機械学習のための前処理・モデリングライブラリ]
# 出典: F. Pedregosa et al., "Scikit-learn: Machine Learning in Python," Journal of Machine Learning Research, vol. 12, pp. 2825-2830, 2011.
# 特徴機能: MinMaxScaler [各特徴量を指定範囲（デフォルト0-1）に線形変換する正規化機能。最小値を0、最大値を1に変換することで、異なるスケールの特徴量を統一的に扱える]
# 学習済みモデル: 使用なし
# 方式設計:
#   - 関連利用技術:
#     - pandas (データ分析ライブラリ、欠損値処理のfillna()メソッドを提供)
#     - numpy (数値計算ライブラリ、欠損値表現のnp.nanを提供)
#   - 入力と出力: 入力: データ（ユーザは「0:CSVファイル，1:サンプルデータ」のメニューで選択．0:CSVファイルの場合はtkinterでファイル選択）、出力: コンソールへのテキスト表示およびresult.txtファイル
#   - 処理手順: 1) データ取得（CSVまたはサンプル）、2) 各列の平均値で欠損値補完、3) MinMaxScalerで0-1範囲に正規化、4) 結果表示・保存
#   - 前処理、後処理: 該当なし（MinMaxScaler自体が前処理機能）
#   - 追加処理: 該当なし
#   - 調整を必要とする設定値: feature_range（MinMaxScalerのスケーリング範囲、デフォルト(0,1)）
# 将来方策: ユーザがfeature_rangeを対話的に設定できる機能の実装
# その他の重要事項: 欠損値補完は平均値を使用。カテゴリカルデータには適用不可
# 前準備: pip install -U --no-user numpy pandas scikit-learn

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler
import tkinter as tk
from tkinter import filedialog

# 定数定義
FEATURE_RANGE = (0, 1)  # MinMaxScalerのデフォルト範囲（最小値, 最大値）

# プログラム概要表示
print('=' * 60)
print('欠損値補完とMinMaxスケーリングによるデータ前処理プログラム')
print('=' * 60)
print('このプログラムは、データの欠損値を平均値で補完し、')
print('MinMaxScalerで指定範囲に正規化します。')
print()

# データ取得
print('0: CSVファイル')
print('1: サンプルデータ')

choice = input('選択: ')

if choice == '0':
    root = tk.Tk()
    root.withdraw()
    path = filedialog.askopenfilename(filetypes=[('CSV files', '*.csv')])
    if not path:
        exit()
    data = pd.read_csv(path)
    # 数値列のみ抽出
    numeric_columns = data.select_dtypes(include=[np.number]).columns
    data = data[numeric_columns]
    if data.empty:
        print('エラー: 数値データが含まれていません')
        exit()
elif choice == '1':
    # サンプルデータの作成（欠損値含む）
    data = pd.DataFrame({
        'age': [25, 30, np.nan, 45, 50],
        'income': [50000, 60000, 55000, np.nan, 65000],
        'score': [200, 250, 240, 260, 220]
    })
else:
    print('無効な選択です')
    exit()

# データ検証
if len(data) < 2:
    print('エラー: データが2行以上必要です')
    exit()

# データ読み込み後にスケーリング範囲を設定
print()
print('データの概要:')
print(f'  行数: {len(data)}')
print(f'  列数: {len(data.columns)}')
print(f'  列名: {list(data.columns)}')

# 欠損値の状況を表示
missing_info = data.isnull().sum()
if missing_info.sum() > 0:
    print()
    print('欠損値の状況:')
    for col in missing_info[missing_info > 0].index:
        print(f'  {col}: {missing_info[col]}件 ({missing_info[col]/len(data)*100:.1f}%)')

print()
print('MinMaxスケーリングの範囲を設定します（デフォルト: 0-1）')
use_default = input('デフォルト値を使用しますか？ (y/n): ')

if use_default.lower() != 'y':
    min_val = float(input('最小値を入力してください: '))
    max_val = float(input('最大値を入力してください: '))
    if min_val >= max_val:
        print('エラー: 最小値は最大値より小さくしてください')
        exit()
    FEATURE_RANGE = (min_val, max_val)

# メイン処理
# 全値が欠損の列をチェック
all_null_columns = data.columns[data.isnull().all()].tolist()
if all_null_columns:
    print()
    print(f'警告: 以下の列は全ての値が欠損しています: {all_null_columns}')
    print('これらの列は0で補完されます')

# 欠損値を平均値で補完（全値欠損の場合は0で補完）
column_means = data.mean()
# 全値欠損の列は平均値がNaNになるため、0で置換
column_means = column_means.fillna(0)
filled_data = data.fillna(column_means)

# MinMaxスケーリングによるデータスケーリング
scaler = MinMaxScaler(feature_range=FEATURE_RANGE)
scaled_data = pd.DataFrame(scaler.fit_transform(filled_data), columns=filled_data.columns)

# 結果記録用リスト
results = []
results.append('■ 元のデータ（欠損値含む）')
results.append('※ NaNは欠損値を表します')
results.append(str(data))
results.append('')

results.append('■ 欠損値補完後（平均値で補完）')
results.append('※ 各列の平均値で欠損値を置換しています')
results.append('※ 全値欠損の列は0で補完されています')
results.append(str(filled_data.round(2)))
results.append('')

results.append(f'■ MinMaxスケーリング後（{FEATURE_RANGE[0]}-{FEATURE_RANGE[1]}スケーリング）')
results.append(f'※ 全ての値が{FEATURE_RANGE[0]}-{FEATURE_RANGE[1]}の範囲に変換されています')
results.append(f'※ 最小値={FEATURE_RANGE[0]}、最大値={FEATURE_RANGE[1]}となります')
results.append(str(scaled_data.round(3)))


# 統計情報の追加（動的精度調整）
def format_stats(df, label):
    """統計情報を適切な精度で整形"""
    result = []
    result.append(f'【{label}】')

    # 各統計量を計算
    min_vals = df.min()
    max_vals = df.max()
    mean_vals = df.mean()

    # 列ごとに適切な精度を決定
    min_dict = {}
    max_dict = {}
    mean_dict = {}

    for col in df.columns:
        # 値の大きさに応じて精度を調整
        max_abs = max(abs(min_vals[col]), abs(max_vals[col])) if not pd.isna(min_vals[col]) else 0

        if max_abs == 0:
            precision = 1
        elif max_abs < 1:
            precision = 4
        elif max_abs < 100:
            precision = 2
        elif max_abs < 10000:
            precision = 1
        else:
            precision = 0

        min_dict[col] = round(min_vals[col], precision) if not pd.isna(min_vals[col]) else 'NaN'
        max_dict[col] = round(max_vals[col], precision) if not pd.isna(max_vals[col]) else 'NaN'
        mean_dict[col] = round(mean_vals[col], precision) if not pd.isna(mean_vals[col]) else 'NaN'

    result.append(f'  最小値: {min_dict}')
    result.append(f'  最大値: {max_dict}')
    result.append(f'  平均値: {mean_dict}')

    return result


results.append('')
results.append('■ 統計情報')

# 元データ（欠損値含む）の統計
results.extend(format_stats(data, '元データ（欠損値含む）'))
results.append('')

# 補完後データの統計
results.extend(format_stats(filled_data, '補完後データ'))
results.append('')

# スケーリング後データの統計
results.extend(format_stats(scaled_data, 'スケーリング後データ'))

# 補完情報の追加
if missing_info.sum() > 0:
    results.append('')
    results.append('■ 欠損値補完の詳細')
    for col in missing_info[missing_info > 0].index:
        if col in all_null_columns:
            results.append(f'  {col}: 全値欠損のため0で補完')
        else:
            mean_val = data[col].mean()
            results.append(f'  {col}: 平均値 {mean_val:.2f} で補完')

# コンソール出力
for line in results:
    print(line)

# 結果をファイルに保存
with open('result.txt', 'w', encoding='utf-8') as f:
    f.write('\n'.join(results) + '\n')
print('result.txtに保存しました')

実行結果の解釈： スケーリング後の値0は元データの最小値、1は元データの最大値に対応する。変換後も元データの順序関係は保持される。スケーリングは各列で独立して適用されるため、列間の相対的な大きさの関係は変化する場合がある。

5. 使用方法

上記のプログラムを実行する
データの選択（0:CSVファイル、1:サンプルデータ）と、スケーリング範囲の指定を画面の指示に従って入力する
元のデータ、欠損値補完後、MinMaxスケーリング後の3段階の結果が表示され、データの変化を確認できる。同じ内容がresult.txtにも保存される

6. 実験・探求のアイデア

スケーリング手法の比較：

StandardScaler（標準化：平均0、分散1に変換）との比較
RobustScaler（ロバストスケーリング：中央値と四分位範囲を使用）との比較

欠損値処理の比較：

中央値（median()）による補完
最頻値（mode()）による補完
より多くの欠損値を含むデータでの処理結果の確認

発展的な検証：

外れ値の影響調査：極端に大きな値を含むデータでの各スケーラーの動作比較
統計量の変化：スケーリング前後での基本統計量（平均、分散等）の変化を数値で確認
実データでの検証：公開データセット（fetch_california_housingによるカリフォルニア住宅価格データ、load_irisによるIrisデータなど）での前処理効果の確認