時系列データのプロット(Python, matplotlib, seaborn を使用)(Google Colaboratory へのリンク有り)
1. エグゼクティブサマリー
numpy の配列に,同一の長さの時系列データが,複数入っているとする。そして,別データで,各時系列データのラベル番号があるとする。 このとき,時系列データを,ラベル番号を使って色分けし,プロットする。
本記事では,FordA データセットを題材として,以下の処理を Python(matplotlib, seaborn)で実現する。
- FordA データセット(TSV 形式)をロードし,時系列データとラベル番号を取得する
- ラベル番号ごとにカラーマップ hsv で色分けし,時系列データをプロットする
- 主成分分析(PCA)で時系列データを2次元にマッピングし,散布図としてプロットする
【関連する外部ページ】
Google Colaboratory のページ:
https://colab.research.google.com/drive/1tZmdhdUXMoB_rtQM45u-qgDPo75jTnYZ?usp=sharing
2. 前準備(必要ソフトウェアの入手)
ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.htmlで詳しく解説しているので、必要に応じて参照してください。
Python 3.12 のインストール(Windows 上) [クリックして展開]
以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。
方法1:winget によるインストール
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。
方法2:インストーラーによるインストール
- Python 公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
AIエディタ Windsurf のインストール(Windows 上) [クリックして展開]
Pythonプログラムの編集・実行には、AIエディタの利用を推奨する。ここでは、Windsurfのインストールを説明する。Windsurf がインストール済みの場合、この手順は不要である。
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。
【関連する外部ページ】
Windsurf の公式ページ: https://windsurf.com/
必要なライブラリのインストール [クリックして展開]
管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには,Windows キーまたはスタートメニューから「cmd」と入力し,表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。
python -m pip install -U pip setuptools numpy pandas matplotlib seaborn scikit-learn scikit-learn-intelex
3. 実行のための準備とその確認手順(Windows 前提)
3.1 プログラムファイルの準備
本記事のプログラムは Google Colaboratory 上のノートブックとして実行することを想定している。第1章の Google Colaboratory のリンクからノートブックを開き,各セルを順に実行する。
ローカル環境で実行する場合は,第5章のソースコードをテキストエディタ(メモ帳,Windsurf 等)に貼り付け,main.py として保存する(文字コード:UTF-8)。その際,%matplotlib inline は Jupyter/Google Colaboratory 専用のマジックコマンドであるため,削除すること。
3.2 実行コマンド
Google Colaboratory では,ノートブック内の各セルを上から順に実行する。
ローカル環境では,コマンドプロンプトでファイルの保存先ディレクトリに移動し,以下を実行する。
python main.py
3.3 動作確認チェックリスト
| 確認項目 | 期待される結果 |
|---|---|
| パッケージのインポート | numpy, matplotlib, seaborn, pandas, sklearn が正常にインポートされる |
| FordA データセットのロード | ds_train, ds_test にデータが格納される |
| データの確認(shape の表示) | ds_train[0], ds_train[1], ds_test[0], ds_test[1] の shape が表示される |
| ラベル番号の取得 | classes に重複除去済みのラベル番号が格納される |
| 時系列プロット(top_k=10, alpha=0.1) | ラベル番号ごとに色分けされた時系列データが10本ずつ表示され,凡例と軸ラベルが表示される |
| 時系列プロット(top_k=1, alpha=1) | ラベル番号ごとに1本ずつ不透明で表示される |
| 主成分分析プロット(ds_train) | ds_train を PCA で2次元にマッピングした散布図がラベルで色分けされて表示される |
| 主成分分析プロット(ds_test) | ds_test を PCA で2次元にマッピングした散布図がラベルで色分けされて表示される |
4. 概要・使い方・実行上の注意
4.1 FordA データセットの構造
FordA データセットは TSV 形式で提供される。readucr 関数により,各行の第0列をラベル(y),第1列以降を時系列データ(x)として読み込む。データは訓練用(ds_train)とテスト用(ds_test)に分かれている。
ds_train[1], ds_test[1] からラベル番号を得る。このとき重複を除去する。
4.2 時系列データのプロット
plot_ts 関数は,ラベル付きの時系列データのうち上位 top_k 個をプロットする。色はカラーマップ hsv で割り当て,alpha で透明度を指定する。凡例と軸ラベル(横軸:Time step,縦軸:Value)が表示される。
top_k = 10, alpha = 0.1 の場合:
top_k = 1, alpha = 1 の場合:
4.3 主成分分析の結果である主成分スコアのプロット
ds_train[0], ds_test[0] を主成分分析で2次元にマッピングし,ds_train[1], ds_test[1] を色として散布図を表示する。
ds_train の主成分分析プロット:
ds_test の主成分分析プロット:
5. ソースコード
5.1 パッケージのインポート
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.cm as cm
5.2 FordA データセット(TSV 形式ファイル)のロード
FordA データセット(TSV 形式ファイル)をロードする。
def readucr(filename):
data = np.loadtxt(filename, delimiter="\t")
y = data[:, 0]
x = data[:, 1:]
return (x, y.astype(int))
root_url = "https://raw.githubusercontent.com/hfawaz/cd-diagram/master/FordA/"
ds_train = readucr(root_url + "FordA_TRAIN.tsv")
ds_test = readucr(root_url + "FordA_TEST.tsv")
5.3 データの確認
print(ds_train[0].shape)
print(ds_train[1].shape)
print(ds_test[0].shape)
print(ds_test[1].shape)
5.4 ラベル番号の取得
ds_train[1], ds_test[1] からラベル番号を得る。このとき重複を除去する。
classes = np.unique(np.concatenate((ds_train[1], ds_test[1]), axis=0))
5.5 seaborn の準備
import seaborn as sns
sns.set_theme()
5.6 時系列データのプロット
def plot_ts(x, y, classes, top_k, alpha):
"""ラベル付きの時系列データについて,上位 top_k 個をプロットする。色はカラーマップ hsv で色付けし,alpha は透明度を指定する。"""
MI, MA = np.min(classes), np.max(classes)
plt.figure()
for c in classes:
cval = 0.8 * (c - MI) / (MA - MI)
for i in x[y == c][0:top_k]:
plt.plot(i, alpha=alpha, color=cm.hsv(cval), label=f"class {c}")
handles, labels = plt.gca().get_legend_handles_labels()
by_label = dict(zip(labels, handles))
plt.legend(by_label.values(), by_label.keys(), loc="best")
plt.xlabel("Time step")
plt.ylabel("Value")
plt.show()
plot_ts(x = ds_train[0], y = ds_train[1], classes = classes, top_k = 10, alpha = 0.1)
5.7 設定を変えてプロット
plot_ts(x = ds_train[0], y = ds_train[1], classes = classes, top_k = 1, alpha = 1)
5.8 主成分分析の結果である主成分スコアのプロット
ds_train[0], ds_test[0] を主成分分析で2次元にマッピングし, ds_train[1], ds_test[1] を色として使用する。
import pandas as pd
import sklearn.decomposition
def prin2(A):
"""主成分分析で2つの成分を得る"""
return sklearn.decomposition.PCA(n_components=2).fit_transform(A)
def scatter_plot(M, b, alpha):
"""M の最初の2列を,b で色を付けてプロットする"""
a12 = pd.DataFrame(M[:, 0:2], columns=['a1', 'a2'])
a12['target'] = b
sns.scatterplot(x='a1', y='a2', hue='target', data=a12, palette=sns.color_palette("hls", len(np.unique(b))), legend="full", alpha=alpha)
def pcaplot(A, b, alpha):
"""主成分分析の結果をプロットする"""
scatter_plot(prin2(A), b, alpha)
pcaplot(ds_train[0], ds_train[1], 0.1)
pcaplot(ds_test[0], ds_test[1], 0.1)
6. まとめ
6.1 時系列データのラベル別色分けプロット
numpy 配列に格納された同一長の時系列データを,ラベル番号ごとにカラーマップ hsv で色分けし,matplotlib でプロットする。plot_ts 関数で表示本数(top_k)と透明度(alpha)を指定できる。
6.2 FordA データセットの読み込み
FordA データセットは TSV 形式で提供される。readucr 関数で各行の第0列をラベル,第1列以降を時系列データとして読み込み,訓練データとテストデータに分けて取得する。
6.3 ラベル番号の取得と重複除去
ds_train[1] と ds_test[1] を結合し,np.unique で重複を除去してラベル番号一覧を得る。この一覧をプロット時のクラス分類に使用する。
6.4 主成分分析による2次元マッピング
時系列データを主成分分析(PCA)で2次元にマッピングし,散布図としてプロットする。prin2 関数で2つの主成分を得て,scatter_plot 関数で seaborn の scatterplot を用いてラベルごとに色分け表示する。
6.5 seaborn によるプロットスタイル設定
sns.set_theme() で seaborn のデフォルトテーマを適用し,プロットに統一的なスタイルを設定する。散布図では hls カラーパレットでラベルごとの色分けを行う。