時系列データのプロット(Python, matplotlib, seaborn を使用)(Google Colaboratory へのリンク有り)

1. エグゼクティブサマリー

numpy の配列に,同一の長さの時系列データが,複数入っているとする。そして,別データで,各時系列データのラベル番号があるとする。 このとき,時系列データを,ラベル番号を使って色分けし,プロットする。

本記事では,FordA データセットを題材として,以下の処理を Python(matplotlib, seaborn)で実現する。

  1. FordA データセット(TSV 形式)をロードし,時系列データとラベル番号を取得する
  2. ラベル番号ごとにカラーマップ hsv で色分けし,時系列データをプロットする
  3. 主成分分析(PCA)で時系列データを2次元にマッピングし,散布図としてプロットする

関連する外部ページ

Google Colaboratory のページ:

次のリンクをクリックすると,Google Colaboratoryノートブックが開く。 そして,Googleアカウントでログインすると,Google Colaboratory のノートブック内のコード等を編集したり再実行したりができる。編集した場合でも,他の人に影響が出たりということはない。そして,編集後のものを,各自の Google ドライブ内に保存することもできる。

https://colab.research.google.com/drive/1tZmdhdUXMoB_rtQM45u-qgDPo75jTnYZ?usp=sharing

2. 前準備(必要ソフトウェアの入手)

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.htmlで詳しく解説しているので、必要に応じて参照してください。

Python 3.12 のインストール(Windows 上) [クリックして展開]

以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。

方法1:winget によるインストール

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2:インストーラーによるインストール

  1. Python 公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

AIエディタ Windsurf のインストール(Windows 上) [クリックして展開]

Pythonプログラムの編集・実行には、AIエディタの利用を推奨する。ここでは、Windsurfのインストールを説明する。Windsurf がインストール済みの場合、この手順は不要である。

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

関連する外部ページ

Windsurf の公式ページ: https://windsurf.com/

必要なライブラリのインストール [クリックして展開]

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには,Windows キーまたはスタートメニューから「cmd」と入力し,表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

python -m pip install -U pip setuptools numpy pandas matplotlib seaborn scikit-learn scikit-learn-intelex

3. 実行のための準備とその確認手順(Windows 前提)

3.1 プログラムファイルの準備

本記事のプログラムは Google Colaboratory 上のノートブックとして実行することを想定している。第1章の Google Colaboratory のリンクからノートブックを開き,各セルを順に実行する。

ローカル環境で実行する場合は,第5章のソースコードをテキストエディタ(メモ帳,Windsurf 等)に貼り付け,main.py として保存する(文字コード:UTF-8)。その際,%matplotlib inline は Jupyter/Google Colaboratory 専用のマジックコマンドであるため,削除すること。

3.2 実行コマンド

Google Colaboratory では,ノートブック内の各セルを上から順に実行する。

ローカル環境では,コマンドプロンプトでファイルの保存先ディレクトリに移動し,以下を実行する。

python main.py

3.3 動作確認チェックリスト

確認項目期待される結果
パッケージのインポートnumpy, matplotlib, seaborn, pandas, sklearn が正常にインポートされる
FordA データセットのロードds_train, ds_test にデータが格納される
データの確認(shape の表示)ds_train[0], ds_train[1], ds_test[0], ds_test[1] の shape が表示される
ラベル番号の取得classes に重複除去済みのラベル番号が格納される
時系列プロット(top_k=10, alpha=0.1)ラベル番号ごとに色分けされた時系列データが10本ずつ表示され,凡例と軸ラベルが表示される
時系列プロット(top_k=1, alpha=1)ラベル番号ごとに1本ずつ不透明で表示される
主成分分析プロット(ds_train)ds_train を PCA で2次元にマッピングした散布図がラベルで色分けされて表示される
主成分分析プロット(ds_test)ds_test を PCA で2次元にマッピングした散布図がラベルで色分けされて表示される

4. 概要・使い方・実行上の注意

4.1 FordA データセットの構造

FordA データセットは TSV 形式で提供される。readucr 関数により,各行の第0列をラベル(y),第1列以降を時系列データ(x)として読み込む。データは訓練用(ds_train)とテスト用(ds_test)に分かれている。

ds_train[1], ds_test[1] からラベル番号を得る。このとき重複を除去する。

4.2 時系列データのプロット

plot_ts 関数は,ラベル付きの時系列データのうち上位 top_k 個をプロットする。色はカラーマップ hsv で割り当て,alpha で透明度を指定する。凡例と軸ラベル(横軸:Time step,縦軸:Value)が表示される。

top_k = 10, alpha = 0.1 の場合:

top_k = 1, alpha = 1 の場合:

4.3 主成分分析の結果である主成分スコアのプロット

ds_train[0], ds_test[0] を主成分分析で2次元にマッピングし,ds_train[1], ds_test[1] を色として散布図を表示する。

ds_train の主成分分析プロット:

ds_test の主成分分析プロット:

5. ソースコード

5.1 パッケージのインポート

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.cm as cm

5.2 FordA データセット(TSV 形式ファイル)のロード

FordA データセット(TSV 形式ファイル)をロードする。

def readucr(filename):
    data = np.loadtxt(filename, delimiter="\t")
    y = data[:, 0]
    x = data[:, 1:]
    return (x, y.astype(int))

root_url = "https://raw.githubusercontent.com/hfawaz/cd-diagram/master/FordA/"

ds_train = readucr(root_url + "FordA_TRAIN.tsv")
ds_test = readucr(root_url + "FordA_TEST.tsv")

5.3 データの確認

print(ds_train[0].shape)
print(ds_train[1].shape)
print(ds_test[0].shape)
print(ds_test[1].shape)

5.4 ラベル番号の取得

ds_train[1], ds_test[1] からラベル番号を得る。このとき重複を除去する。

classes = np.unique(np.concatenate((ds_train[1], ds_test[1]), axis=0))

5.5 seaborn の準備

import seaborn as sns
sns.set_theme()

5.6 時系列データのプロット

def plot_ts(x, y, classes, top_k, alpha):
    """ラベル付きの時系列データについて,上位 top_k 個をプロットする。色はカラーマップ hsv で色付けし,alpha は透明度を指定する。"""
    MI, MA = np.min(classes), np.max(classes)
    plt.figure()
    for c in classes:
        cval = 0.8 * (c - MI) / (MA - MI)
        for i in x[y == c][0:top_k]:
            plt.plot(i, alpha=alpha, color=cm.hsv(cval), label=f"class {c}")
    handles, labels = plt.gca().get_legend_handles_labels()
    by_label = dict(zip(labels, handles))
    plt.legend(by_label.values(), by_label.keys(), loc="best")
    plt.xlabel("Time step")
    plt.ylabel("Value")
    plt.show()

plot_ts(x = ds_train[0], y = ds_train[1], classes = classes, top_k = 10, alpha = 0.1)

5.7 設定を変えてプロット

plot_ts(x = ds_train[0], y = ds_train[1], classes = classes, top_k = 1, alpha = 1)

5.8 主成分分析の結果である主成分スコアのプロット

ds_train[0], ds_test[0] を主成分分析で2次元にマッピングし, ds_train[1], ds_test[1] を色として使用する。

import pandas as pd
import sklearn.decomposition

def prin2(A):
    """主成分分析で2つの成分を得る"""
    return sklearn.decomposition.PCA(n_components=2).fit_transform(A)

def scatter_plot(M, b, alpha):
    """M の最初の2列を,b で色を付けてプロットする"""
    a12 = pd.DataFrame(M[:, 0:2], columns=['a1', 'a2'])
    a12['target'] = b
    sns.scatterplot(x='a1', y='a2', hue='target', data=a12, palette=sns.color_palette("hls", len(np.unique(b))), legend="full", alpha=alpha)

def pcaplot(A, b, alpha):
    """主成分分析の結果をプロットする"""
    scatter_plot(prin2(A), b, alpha)

pcaplot(ds_train[0], ds_train[1], 0.1)
pcaplot(ds_test[0], ds_test[1], 0.1)

6. まとめ

6.1 時系列データのラベル別色分けプロット

numpy 配列に格納された同一長の時系列データを,ラベル番号ごとにカラーマップ hsv で色分けし,matplotlib でプロットする。plot_ts 関数で表示本数(top_k)と透明度(alpha)を指定できる。

6.2 FordA データセットの読み込み

FordA データセットは TSV 形式で提供される。readucr 関数で各行の第0列をラベル,第1列以降を時系列データとして読み込み,訓練データとテストデータに分けて取得する。

6.3 ラベル番号の取得と重複除去

ds_train[1] と ds_test[1] を結合し,np.unique で重複を除去してラベル番号一覧を得る。この一覧をプロット時のクラス分類に使用する。

6.4 主成分分析による2次元マッピング

時系列データを主成分分析(PCA)で2次元にマッピングし,散布図としてプロットする。prin2 関数で2つの主成分を得て,scatter_plot 関数で seaborn の scatterplot を用いてラベルごとに色分け表示する。

6.5 seaborn によるプロットスタイル設定

sns.set_theme() で seaborn のデフォルトテーマを適用し,プロットに統一的なスタイルを設定する。散布図では hls カラーパレットでラベルごとの色分けを行う。