統計分析のPython 実現ガイド

【概要】Pandas、SciPy、Matplotlibを用いた統計分析のPython実装ガイドである。記述統計量、ヒストグラム、箱ひげ図、クロス集計表、t検定、一元配置分散分析、正規性検定の7つの統計手法を解説し、各手法のPythonコードと実行結果を示す。データの特徴把握から仮説検証までの分析プロセスを網羅する。

【目次】

  1. 統計手法
  2. 記述統計量
  3. 用語説明
  4. 統計処理の比較
  5. Pythonプログラム例

【サイト内のPython関連主要ページ】

【外部リソース】

統計手法

  1. 記述統計量
  2. ヒストグラム
  3. クロス集計表
  4. 検定

記述統計量

記述統計量は、データセットの特徴を数値で要約する統計指標である。データ全体の特性を把握し、適切な分析手法の選択に役立つ。

基本的な統計量として以下が挙げられる。

用語リスト

統計処理の比較

以下の表は、同じ統計処理を異なるツールで実行する際のコマンドを比較したものである。

処理内容 SPSS R Python (pandas/scipy)
記述統計量 DESCRIPTIVES、FREQUENCIES summary、sd、skewness、kurtosis df.describe()、stats.skew()、stats.kurtosis()
頻度表 FREQUENCIES table value_counts()
クロス集計表 CROSSTABS table pd.crosstab()
集約 AGGREGATE aggregate groupby().agg()
Welchのt検定 T-TEST t.test stats.ttest_ind()
一元配置分散分析 ONEWAY oneway.test stats.f_oneway()
Mann-Whitney U検定 NPAR TESTS wilcox.test stats.mannwhitneyu()

Pythonプログラム例

本節で使用するデータセットの構造を以下に示す。

科目 受講者 得点
国語 A 90
国語 B 80
算数 A 95
算数 B 90
理科 A 80

Pythonのインストールと必要なライブラリのインストール（Windows環境）

  1. Pythonのインストール

    注: Python（バージョン3.12を推奨）がインストール済みの場合は、この手順は不要である。

    winget（Windowsパッケージマネージャー）を使用してインストールを行う。

    1. Windowsで、コマンドプロンプトを管理者権限で起動する（Windowsキーまたはスタートメニューから「cmd」と入力し、右クリックメニューで「管理者として実行」を選択）。
    2. winget（Windowsパッケージマネージャー）が利用可能か確認する。 
      winget --version
      wingetバージョン確認コマンドの実行結果
    3. Pythonのインストール（以下のコマンドでPython 3.12がインストールされる）。 
      reg add "HKLM\SYSTEM\CurrentControlSet\Control\FileSystem" /v LongPathsEnabled /t REG_DWORD /d 1 /f
REM Python をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent
REM Python のパス
set "INSTALL_PATH=C:\Program Files\Python312"
echo "%PATH%" | find /i "%INSTALL_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%INSTALL_PATH%" /M >nul
echo "%PATH%" | find /i "%INSTALL_PATH%\Scripts" >nul
if errorlevel 1 setx PATH "%PATH%;%INSTALL_PATH%\Scripts" /M >nul
  2. 必要なPythonライブラリのインストール
    1. Windowsで、コマンドプロンプトを管理者権限で起動する（Windowsキーまたはスタートメニューから「cmd」と入力し、右クリックメニューで「管理者として実行」を選択）。
    2. 以下のコマンドで必要なライブラリをインストールする。 
      pip install -U pandas numpy matplotlib japanize-matplotlib scipy

【関連する外部ページ】

【サイト内の関連ページ】

基本的なデータ構造とデータフレームの作成

pandasのデータフレームは、表形式のデータを扱う基本構造である。ここでは成績データを辞書から作成し、データフレームへ変換する。データ型を明示的に指定することで、メモリ使用量の削減と処理速度の向上が期待できる。

import pandas as pd

# データの作成
data = {
   '科目': ['国語', '国語', '算数', '算数', '理科'],
   '受講者': ['A', 'B', 'A', 'B', 'A'],
   '得点': [90, 80, 95, 90, 80]
}

# データフレームの作成
df = pd.DataFrame(data)

# データ型の明示的な指定
df = df.astype({
   '科目': 'category',
   '受講者': 'category',
   '得点': 'int32'
})

print("基本データ:")
print(df)
基本データフレームの出力結果

個別の統計量計算

個々の統計量を個別に算出する方法を示す。特定の統計量のみが必要な場合や、計算過程を確認したい場合に有用である。

import pandas as pd
from scipy import stats

# データの作成
data = {
   '科目': ['国語', '国語', '算数', '算数', '理科'],
   '受講者': ['A', 'B', 'A', 'B', 'A'],
   '得点': [90, 80, 95, 90, 80]
}

# データフレームの作成
df = pd.DataFrame(data)

# データ型の明示的な指定
df = df.astype({
   '科目': 'category',
   '受講者': 'category',
   '得点': 'int32'
})

# 基本統計量の個別計算
scores = df['得点']

# 標本標準偏差の計算（ddof=1指定）
print("基本統計量:")
print(f"平均値: {scores.mean():.1f}")
print(f"標準偏差: {scores.std(ddof=1):.1f}")
print(f"中央値: {scores.median():.1f}")
print(f"最大値: {scores.max()}")
print(f"最小値: {scores.min()}")
print(f"第1四分位数: {scores.quantile(0.25):.1f}")
print(f"第3四分位数: {scores.quantile(0.75):.1f}")
print(f"歪度: {stats.skew(scores):.3f}")
print(f"尖度: {stats.kurtosis(scores):.3f}")
個別統計量の計算結果

総合的な統計分析

describeメソッドは、主要な記述統計量を一括で算出する。データの概要を素早く把握したい場合に有用である。

import pandas as pd

# データの作成
data = {
   '科目': ['国語', '国語', '算数', '算数', '理科'],
   '受講者': ['A', 'B', 'A', 'B', 'A'],
   '得点': [90, 80, 95, 90, 80]
}

# データフレームの作成
df = pd.DataFrame(data)

# データ型の明示的な指定
df = df.astype({
   '科目': 'category',
   '受講者': 'category',
   '得点': 'int32'
})

# describe()メソッドによる総合的な統計量の算出
# count:データ数、mean:平均、std:標準偏差、min:最小値、25%:第1四分位、50%:中央値、75%:第3四分位、max:最大値
print("\n総合的な統計量:")
print(df['得点'].describe())

# 科目別の統計量
# groupby()で科目ごとにグループ化し、describe()で各グループの統計量を算出
print("\n科目別の統計量:")
print(df.groupby('科目')['得点'].describe())
describeメソッドによる統計量の出力結果

データの可視化（箱ひげ図とヒストグラム）

データの分布を視覚的に把握することで、数値だけでは見えにくい特徴を発見できる。箱ひげ図はグループ間の比較に、ヒストグラムは分布の形状把握に適している。

import pandas as pd
import matplotlib.pyplot as plt
import japanize_matplotlib  # 日本語表示用
import platform

# OSがWindowsの場合のみフォントを設定
if platform.system() == 'Windows':
    plt.rcParams['font.family'] = 'Meiryo'

# データの作成
data = {
    '科目': ['国語', '国語', '算数', '算数', '理科'],
    '受講者': ['A', 'B', 'A', 'B', 'A'],
    '得点': [90, 80, 95, 90, 80]
}

# データフレームの作成
df = pd.DataFrame(data)

# データ型の明示的な指定
df = df.astype({
    '科目': 'category',
    '受講者': 'category',
    '得点': 'int32'
})

# 箱ひげ図の作成
plt.figure(figsize=(10, 6))
df.boxplot(column='得点', by='科目')
plt.suptitle('')  # 自動で付加されるサブタイトルを削除
plt.title('科目別得点分布', pad=15)  # タイトルの余白調整
plt.ylabel('得点')
plt.grid(True)
plt.savefig('score_distribution.png', bbox_inches='tight')  # 画像を保存
plt.show()  # 画面に表示
plt.close()  # 描画後にクローズ

# ヒストグラムの作成
plt.figure(figsize=(10, 6))
plt.hist(df['得点'], bins=range(0, 101, 10), edgecolor='black')  # binの範囲を0-100に設定
plt.title('得点分布のヒストグラム')
plt.xlabel('得点')
plt.ylabel('頻度')
plt.grid(True)
plt.savefig('score_histogram.png', bbox_inches='tight')  # 画像を保存
plt.show()  # 画面に表示
plt.close()  # 描画後にクローズ
科目別得点分布の箱ひげ図
得点分布のヒストグラム

クロス集計表

クロス集計表は、2つのカテゴリ変数の組み合わせごとの頻度を表形式で示す。変数間の関連性を把握する際に有用である。

import pandas as pd

# データセットサンプルの作成
data = {
   'グループ1': ['a', 'b', 'c', 'a', 'b'],
   'グループ2': ['d', 'd', 'e', 'e', 'e']
}
df = pd.DataFrame(data)

# クロス集計表の作成
# crosstabは2つの系列間でグループ単位での頻度(出現回数)を集計する
# index=行インデックス, columns=列インデックスを指定
cross_table = pd.crosstab(df['グループ1'], df['グループ2'])
print(cross_table)

# (Optional) 行・列の合計を含めたい場合は、margins=True を指定
cross_table_with_margins = pd.crosstab(df['グループ1'], df['グループ2'], margins=True)
print("\n合計付きのクロス集計表:")
print(cross_table_with_margins)
クロス集計表の出力結果

t検定

t検定は、2群の平均値に統計的に有意な差があるかを判断する手法である。ここでは分散が等しくない場合にも適用できるWelchのt検定を実装する。

import numpy as np
from scipy import stats

# シード値を固定して再現性を確保
np.random.seed(42)

# 2群のサンプルデータを正規分布から生成
# group1: 平均0、標準偏差1の正規分布から100個
# group2: 平均0.5、標準偏差1の正規分布から100個
group1 = np.random.normal(0, 1, 100)
group2 = np.random.normal(0.5, 1, 100)

# Welchのt検定を実行
# equal_var=Falseで分散が等しくないことを仮定
# 戻り値はt統計量とp値のタプル
t_stat, p_value = stats.ttest_ind(group1, group2, equal_var=False)

# 結果を小数点以下3桁まで表示
print(f"t値: {t_stat:.3f}")  # t統計量を出力
print(f"p値: {p_value:.3f}") # p値を出力
t検定の実行結果

一元配置分散分析

一元配置分散分析は、3群以上の平均値に差があるかを検定する手法である。t検定は2群間の比較に限られるため、3群以上を同時に比較する場合はこの手法を用いる。

from scipy import stats

# サンプルデータ（数値のグループ別データ）
group_a = [3.42, 3.84, 3.96, 3.76]  # グループAの測定値
group_b = [3.17, 3.63, 3.47, 3.44, 3.39]  # グループBの測定値
group_c = [3.64, 3.72, 3.91]  # グループCの測定値

# 一元配置分散分析の実行
f_stat, p_value = stats.f_oneway(group_a, group_b, group_c)

# 結果の出力（小数点以下3桁で表示）
print(f"F値: {f_stat:.3f}")  # F統計量の値
print(f"p値: {p_value:.3f}")  # 有意確率
一元配置分散分析の実行結果

正規性の検定

Shapiro-Wilk検定は、データが正規分布に従うかを検定する手法である。t検定や分散分析などのパラメトリック検定は正規性を仮定するため、事前にこの検定で確認することが望ましい。

from scipy import stats
import numpy as np

# データ生成：平均0、標準偏差1の正規分布から100個のサンプルを生成
np.random.seed(42)
data = np.random.normal(0, 1, 100)

# Shapiro-Wilk検定の実行
# 帰無仮説：データは正規分布に従う
stat, p_value = stats.shapiro(data)

# 結果の出力（小数点以下3桁まで表示）
print(f"検定統計量: {stat:.3f}")
print(f"p値: {p_value:.3f}")
正規性検定の実行結果