統計分析のRでの実現ガイド
Rを用いた統計分析では、記述統計量の計算、クロス集計、各種検定、グラフ描画などがある。baseパッケージによる基本的な統計処理から、momentsパッケージによる高度な分布解析まで、さまざまな分析手法が提供されている。データフレーム構造を基盤とし、データ処理と結果の可視化が可能である。
統計手法
- 記述統計量
- ヒストグラム
- クロス集計表
- 検定
記述統計量
記述統計量は、データセットの特徴を数値的に要約する統計指標である。データ全体の特性を把握し、適切な分析手法の選択を支援する役割を果たす。
基本的な統計量として以下が挙げられる。
- 平均値(データの中心傾向を示す代表的な指標)
- 標準偏差(データのばらつきの程度を定量化する指標)
- 中央値(データを二分する代表値)
- 四分位点(分布の形状を特徴づける統計量)
- 最大値(データの上限を示す値)
- 最小値(データの下限を示す値)
- 分散(データの変動の大きさを示す指標)
- 歪度(分布の非対称性を評価する指標)
- 尖度(分布の尖り具合を示す指標)
用語説明
- 記述統計量:データの特性を数値指標として要約したものであり、平均値、標準偏差、中央値などの基本的な統計量を含む。データ分析の基礎として、データ理解と意思決定を支援する手法である。
- 平均値:データの総和をデータ数で除した代表値であり、分布の中心傾向を示す基本的な統計量である。外れ値の影響を受けやすい特徴があるため、データの性質に応じた使用が求められる。
- 標準偏差:データの散らばりを示す指標であり、平均値からの平均的な距離を表す。値が大きいほどデータのばらつきが大きいことを示し、データの変動性を理解する上で有用な統計量である。
- 中央値:順序付けられたデータの中央に位置する値であり、外れ値の影響を受けにくい特徴を持つ。非対称な分布において代表値として機能し、データの特性に応じた活用が考慮される。
- 四分位数:データを4等分する境界値であり、第1四分位数、中央値(第2四分位数)、第3四分位数から構成される。分布形状の把握と外れ値の検出に用いられる統計量である。
- 最大値:データセット内の最も大きい値を示す基本統計量であり、データの範囲把握と外れ値の検出に活用される。分析の初期段階における指標として機能する。
- 最小値:データセット内の最も小さい値を示す基本統計量であり、データの範囲把握と外れ値の検出に活用される。データ特性の理解に用いられる指標である。
- 分散:データの散らばりを表す統計量であり、各データ点と平均値の差の二乗平均として定義される。標準偏差の二乗値として表され、データの変動性を評価する指標である。
- 歪度:分布の非対称性を定量化する指標であり、正規分布では0となる。正の値は右側に、負の値は左側に裾が長い分布を示し、データの偏りを評価する統計量である。
- 尖度:分布の尖り具合を示す指標であり、正規分布を基準(3)として評価される。値が大きいほど尖った分布、小さいほど平坦な分布を表し、分布形状の特徴把握に用いられる。
- データフレーム:行と列で構成される2次元のデータ構造であり、Rのbaseパッケージなどで主に使用される。複数の属性と観測値を管理し、分析を可能にする。
- 属性:データベースやデータフレームにおける各列の特性を表す要素であり、分析対象データの特徴を示す情報として機能する。
- 外れ値:データセット内で他のデータから著しく離れた値であり、統計分析結果に影響を与える可能性がある。処理方法の選択が分析の質に影響する場合がある。
- 分布:データの散らばり方や偏りを示す基本的な概念であり、記述統計量によってその特徴を数値的に把握することができる。
- ヒストグラム:データの分布を視覚的に表現するグラフであり、データの範囲を区間分割し、各区間の頻度を棒グラフで表示する。分布の形状や特徴を理解するための一つのツールである。
- クロス集計表:2つの変数間の関係を表形式で示したものであり、変数間の関連性を把握するための基本的な分析手法の一つである。行と列の変数の組み合わせごとの度数を表示する。
- t検定:2群の平均値の差の統計的有意性を評価する検定手法であり、帰無仮説「2群の母平均は等しい」に対してp値を算出し、有意水準との比較により判断を行う。
- Welchのt検定:分散が等しくない可能性がある2群の比較に適用されるt検定の一種であり、等分散を仮定しないため、より広範な状況で使用可能な検定手法である。
- ノンパラメトリック検定:母集団分布の特定の形状を仮定しない検定手法であり、順位や符号などを用いて検定を実施する。データの分布に依存しない特徴を持つ統計手法である。
- 一元配置分散分析:3群以上の平均値の差を同時に検定する統計手法であり、複数群間の差を比較し、p値により統計的有意性を判断する分析ツールである。
- Shapiro-Wilk検定:データの正規性を評価する検定手法であり、帰無仮説「データは正規分布に従う母集団からサンプリングされた」に対してp値を算出し、分布の特性を統計的に判断する手法である。
- p値:統計的検定において、帰無仮説が真であると仮定した場合に、観測されたデータ以上に極端なデータが得られる確率である。一般的に事前に設定した有意水準(例: 0.05)と比較し、仮説検定の判断基準に用いられる指標である。
- データ分析:収集されたデータから情報や知見を抽出するプロセスであり、記述統計量の算出は、この過程における初期ステップとして位置づけられる。
- 統計指標:データの特徴を数値化して表現したものであり、記述統計量はその代表的な例として、データの性質や傾向を評価するための一つの基準として機能する。
統計処理の比較
処理内容 | SPSS言語 | Python (pandas/scipy) | Rシステム |
---|---|---|---|
記述統計量 | FREQUENCIES |
df.describe() , stats.skew() , stats.kurtosis() |
summary , sd , skewness , kurtosis |
頻度表 | FREQUENCIES |
value_counts() |
table |
クロス集計表 | CROSSTABS |
pd.crosstab() |
table |
集約 | AGGREGATE |
groupby().agg() |
aggregate |
Welchのt検定 | T-TEST |
stats.ttest_ind(equal_var=False) |
t.test |
one-way ANOVA | ONEWAY |
stats.f_oneway() |
oneway.test |
Wilcoxon検定 | NPAR TESTS /M-W= |
stats.mannwhitneyu() |
wilcox.test |
Rプログラム例
データセット構造
科目 | 受講者 | 得点 |
---|---|---|
国語 | A | 90 |
国語 | B | 80 |
算数 | A | 95 |
算数 | B | 90 |
理科 | A | 80 |
基本的なデータ構造とデータフレームの作成
本プログラムは、baseパッケージを活用してデータフレームを構築する基本的な実装例である。ベクトルでデータを定義し、data.frame関数でデータフレーム構造に変換することで、データ操作の基盤を作成する。データ構造の理解と操作の基礎となる例である。また、データの整合性チェックや初期分析にも活用できる実装方法を示している。
# データの作成
科目 <- c('国語', '国語', '算数', '算数', '理科')
受講者 <- c('A', 'B', 'A', 'B', 'A')
得点 <- c(90, 80, 95, 90, 80)
# データフレームの作成
df <- data.frame(科目 = 科目, 受講者 = 受講者, 得点 = 得点)
print("基本データ:")
print(df)
個別の統計量計算
baseパッケージの統計関数群を使用して、データの基本統計量を個別に算出する実装例である。平均値、標準偏差、中央値、四分位数などの統計指標を計算し、データの特性を把握する。各統計量の計算過程が明示的であり、データ分析の基礎を理解する上で参考となる例である。また、結果のフォーマット指定により、可読性のある出力を実現している。
# 基本統計量の個別計算
scores <- df$得点
print("基本統計量:")
print(paste("平均値:", mean(scores)))
print(paste("標準偏差:", sd(scores)))
print(paste("中央値:", median(scores)))
print(paste("最大値:", max(scores)))
print(paste("最小値:", min(scores)))
print(paste("第1四分位数:", quantile(scores, 0.25)))
print(paste("第3四分位数:", quantile(scores, 0.75)))
総合的な統計分析
baseパッケージのsummary関数を用いて、データの統計分析を行う実装例である。一回の処理で複数の統計量を同時に算出し、データ概要の把握を可能にする。さらに、aggregate関数と組み合わせることで、カテゴリ別の統計分析も実現している。データ分析の初期段階におけるアプローチの一つを示している。
# summary関数による総合的な統計量の算出
print("\n総合的な統計量:")
print(summary(df$得点))
# 科目別の統計量
print("\n科目別の統計量:")
print(aggregate(得点 ~ 科目, data = df, FUN = summary))
データの可視化,ヒストグラム
baseパッケージのグラフィック機能を使用して、データの分布を視覚的に表現する実装例である。箱ひげ図とヒストグラムという2つの可視化手法を用いて、データの特徴を把握する。日本語表示対応や軸ラベル、グリッド線の追加など、可視化の要素も含まれている。データの理解とプレゼンテーションを支援する実装となっている。
# 日本語フォントの設定
par(family = "HiraKakuProN-W3")
# 箱ひげ図の作成
png("score_distribution.png", width = 800, height = 600)
boxplot(得点 ~ 科目, data = df, main = "科目別得点分布",
ylab = "得点", grid = TRUE)
dev.off()
# ヒストグラム
png("score_histogram.png", width = 800, height = 600)
hist(df$得点, breaks = 5, main = "得点分布のヒストグラム",
xlab = "得点", ylab = "頻度", border = "black")
grid()
dev.off()
歪度,尖度
momentsパッケージを使用して、データの歪度と尖度を計算する実装例である。乱数生成により正規分布に従うデータを作成し、分布の形状特性を定量的に評価する。シード値の固定による再現性の確保や、基本統計量との組み合わせにより、データ特性の把握を可能にしている。分布の非対称性や尖り具合を数値的に理解するための一例である。
# momentsパッケージの読み込み
library(moments)
# 乱数のシードを固定して再現性を確保
set.seed(42)
# データ生成
normal_data <- rnorm(10000)
df <- data.frame(値 = normal_data)
# 基本統計量の計算
print(summary(df))
print(paste("歪度:", round(skewness(normal_data), 3)))
print(paste("尖度:", round(kurtosis(normal_data), 3)))
クロス集計表の例
baseパッケージのtable関数を使用して、2つの変数間の関係を分析する実装例である。カテゴリカル変数間の関連性を表形式で整理し、データの構造を把握することを可能にする。サンプルデータを用いて、クロス集計の基本的な使用方法と結果の解釈方法を示している。データの分布パターンや傾向を把握するための実装例である。
# データセットサンプルの作成
グループ1 <- c('a', 'b', 'c', 'a', 'b')
グループ2 <- c('d', 'd', 'e', 'e', 'e')
df <- data.frame(グループ1 = グループ1, グループ2 = グループ2)
# クロス集計表の作成
print(table(df$グループ1, df$グループ2))
t検定
baseパッケージのt.test関数を使用して、2群間の平均値の差を検定する実装例である。Welchのt検定を実装し、分散が等しくない場合でも検定を可能にしている。乱数生成によるサンプルデータの作成から、検定統計量とp値の算出まで、統計的仮説検定の一連のプロセスを示している。データ分析における統計手法の一実装例である。
# データ生成
set.seed(42)
group1 <- rnorm(100)
group2 <- rnorm(100, 0.5)
# Welchのt検定実行
test_result <- t.test(group1, group2)
print(paste("t値:", round(test_result$statistic, 3)))
print(paste("p値:", round(test_result$p.value, 3)))
一元配置分散分析
baseパッケージのoneway.test関数を用いて、3群以上の平均値の差を同時に検定する実装例である。一元配置分散分析(One-way ANOVA)を実装し、複数群間の差の統計的有意性を評価する。サンプルデータを準備し、F値とp値の算出過程を明示している。集団間の差異を統計的に評価する際のアプローチの一つを示す例である。
# サンプルデータ
group_a <- c(3.42, 3.84, 3.96, 3.76)
group_b <- c(3.17, 3.63, 3.47, 3.44, 3.39)
group_c <- c(3.64, 3.72, 3.91)
# データフレームの作成
data <- data.frame(
値 = c(group_a, group_b, group_c),
グループ = factor(c(rep("A", 4), rep("B", 5), rep("C", 3)))
)
# 分散分析の実行
result <- oneway.test(値 ~ グループ, data = data)
print(paste("F値:", round(result$statistic, 3)))
print(paste("p値:", round(result$p.value, 3)))
正規性の検定
baseパッケージのshapiro.test関数を使用して、データの正規性を検定する実装例である。Shapiro-Wilk検定を実装し、データが正規分布に従うかどうかを統計的に評価する。乱数生成による検証用データの作成から、検定統計量とp値の算出まで、正規性検定の基本的なプロセスを示している。データ分析の前提条件を確認する際に用いられる統計手法の実装例である。
# データ生成
set.seed(42)
data <- rnorm(100)
# Shapiro-Wilk検定
result <- shapiro.test(data)
print(paste("検定統計量:", round(result$statistic, 3)))
print(paste("p値:", round(result$p.value, 3)))