![[kaneko lab.]](https://www.kkaneko.jp/info/logo_png.png){kind=logo}
8．分類，クラスタリング
演習準備
この演習では Python を使用する。Python がインストールされていない場合は，下記の「Python 3.12 のインストール（Windows 上）」を展開し，手順に従いインストールすること。下記の「必要なライブラリのインストール」を実施すること。
Python 3.12 のインストール（Windows 上） [クリックして展開]
以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。
方法1：winget によるインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
winget install -e --id Python.Python.3.12 --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 AssociateFiles=1 InstallLauncherAllUsers=1"--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。
方法2：インストーラーによるインストール
- Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --versionバージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
分類（Classification）
分類とは，特徴ベクトルを分類ラベルに対応づける識別機（classifier）を生成することである．識別機は，トレーニングデータセットとそれに対応する分類ラベル集合から学習を行う．
具体例として，アヤメ（Iris）データセットでは，花の特徴ベクトル（例：(5.9, 3.0, 5.1, 1.8)）を，学習済みの識別機を用いて分類ラベル「virginica」に対応づける．
分類は教師あり学習の一種であり，SVM（Support Vector Machine：サポートベクターマシン）などの手法を用いて実装する．
線形SVM
線形SVMは，線形な決定境界を用いて分類を行う手法である．以下のプログラムでは，アヤメデータセットの3品種（Setosa，Versicolor，Virginica）を線形SVMで分類する．
線形SVMによる分類のプログラム：
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
# アヤメデータセットの読み込み
iris = datasets.load_iris()
X = iris.data
y = iris.target
# データをトレーニングセットとテストセットに分割（テストデータ20%）
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 線形SVMによる分類
svm = SVC(kernel='linear')
svm.fit(X_train, y_train)
y_pred_svm = svm.predict(X_test)
# 精度の評価
print("SVM Accuracy:", accuracy_score(y_test, y_pred_svm))RBFカーネルSVM
RBF（Radial Basis Function：放射基底関数）カーネルを用いたSVMは，非線形な決定境界を学習できる手法である．線形SVMでは分離が困難な，複雑なデータ分布にも対応できる．以下のプログラムでは，アヤメデータセットの3品種をRBFカーネルSVMで分類する．
RBFカーネルSVMによる分類のプログラム：
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
# アヤメデータセットの読み込み
iris = datasets.load_iris()
X = iris.data
y = iris.target
# データをトレーニングセットとテストセットに分割（テストデータ20%）
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# RBFカーネルSVMによる分類
kernel_svm = SVC(kernel='rbf', gamma='scale')
kernel_svm.fit(X_train, y_train)
y_pred_kernel_svm = kernel_svm.predict(X_test)
# 精度の評価
print("Kernel SVM Accuracy (RBF):", accuracy_score(y_test, y_pred_kernel_svm))クラスタリング（Clustering）
クラスタリングは，データのラベルが未知の場合に，特徴ベクトルのみを用いてデータを自然なグループに分ける教師なし学習手法である．その目的は，データの内部構造を発見し，類似したデータポイントを同一クラスタにまとめることである．
k-meansクラスタリング
k-means法は，各クラスタの中心（セントロイド）を反復的に更新することで，データをk個のクラスタに分割するアルゴリズムである．各データポイントは，最も近いセントロイドのクラスタに割り当てられる．k-means法は，クラスタの形状が球状である場合に適している．
以下のプログラムでは，アヤメデータセットにk-means法を適用し，PCA（Principal Component Analysis：主成分分析）を用いて4次元の特徴ベクトルを2次元に次元削減した上で，結果を可視化する．
k-meansクラスタリングのプログラム：
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
# アヤメデータセットの読み込み
iris = datasets.load_iris()
X = iris.data
y = iris.target
# k-means法によるクラスタリング（クラスタ数3）
kmeans = KMeans(n_clusters=3, random_state=42)
y_pred_kmeans = kmeans.fit_predict(X)
# PCA（Principal Component Analysis：主成分分析）による2次元への次元削減と可視化
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis', marker='o', edgecolor='k', s=50)
plt.title("True Labels")
plt.subplot(1, 2, 2)
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y_pred_kmeans, cmap='viridis', marker='o', edgecolor='k', s=50)
plt.title("K-means Clustering")
plt.show()GMM（Gaussian Mixture Model：ガウス混合モデル）
GMMは，データを複数のガウス分布の混合としてモデル化する手法である．k-means法と比較した場合の主な特徴は以下の通りである：
- 柔軟なクラスタ形状：各クラスタをガウス分布でモデル化することで，楕円形など，球状以外の形状のクラスタも表現できる．
- 確率的割り当て：各データポイントのクラスタへの所属を確率的に決定する．k-means法では各データポイントは1つのクラスタに確定的に割り当てられるのに対し，GMMでは各データポイントが複数のクラスタに所属する確率を算出できるため，明確な境界を持たないデータにも対応できる．
- 初期パラメータの設定：各ガウス分布の平均や共分散行列の初期値を設定することで，ドメイン知識（対象分野の専門知識）を反映したクラスタリングを行える．
GMMによるクラスタリングのプログラム：
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.mixture import GaussianMixture
from sklearn.decomposition import PCA
# アヤメデータセットの読み込み
iris = datasets.load_iris()
X = iris.data
y = iris.target
# GMMによるクラスタリング（クラスタ数3）
gmm = GaussianMixture(n_components=3, random_state=42)
y_pred_gmm = gmm.fit_predict(X)
# PCAによる2次元への次元削減と可視化
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis', marker='o', edgecolor='k', s=50)
plt.title("True Labels")
plt.subplot(1, 2, 2)
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y_pred_gmm, cmap='viridis', marker='o', edgecolor='k', s=50)
plt.title("GMM Clustering")
plt.show()