青空文庫テキストを用いた自然言語処理演習：感情分析

【概要】

本ページでは、青空文庫で公開されている太宰治『走れメロス』を題材に、Transformer系の学習済みモデルを用いた感情分析を演習する。コードは単体で実行できる独立したPythonスクリプトであり、青空文庫のHTMLページから本文を取得するところから処理を行う。

【目次】

前準備（共通環境構築）
演習１：感情分析（Sentiment Analysis）

【関連する外部ページ】

【サイト内の関連情報】

前準備（共通環境構築）

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

方法 2：インストーラーによるインストール

Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Build Tools・CUDA Toolkit・PyTorch のインストール

本章では、C++ ビルドツール、NVIDIA CUDA Toolkit、PyTorch のインストールを行い、GPU を活用した機械学習プログラムを実行する環境を整える。扱う環境は、Windows 搭載パソコンである。

[Build Tools・CUDA Toolkit・PyTorch のインストール手順を見るには、ここをクリック]

Windows での Build Tools for Visual Studio 2026 のインストール

Build Tools for Visual Studio 2026 は、C++ ソースコードを Windows 用バイナリにコンパイルするための開発ツール群である。unsloth 等の一部 Python パッケージは、インストール時に C++ コードのビルドを必要とするため、これらのツールが必須となる。

以下のコマンドは、Build Tools が未インストールの場合は winget で新規インストールし、インストール済みの場合は setup.exe modify でコンポーネントを追加する（バージョンは変更しない）。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM ============================================================
REM Visual Studio Build Tools + Desktop development with C++
REM （VCTools、MSBuildTools、CMake連携、Clang、Windows 11 SDK）
REM ============================================================
REM 進行中のインストーラーを停止（ロック競合回避）
taskkill /F /IM vs_setup.exe /T >nul 2>&1
taskkill /F /IM vs_installer.exe /T >nul 2>&1
taskkill /F /IM vs_installerservice.exe /T >nul 2>&1

REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加（バージョンは変更しない）
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --includeRecommended --quiet --norestart --nocache
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100"
)

REM 破損時の修復（任意、動作がおかしくなった場合）
REM "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" repair --installPath "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools" --quiet --norestart

REM 導入確認（インストールパスが表示されれば正常）
"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products * -requires Microsoft.VisualStudio.Workload.VCTools -property installationPath

上記のコマンドでは、Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし、続いて以下のコンポーネントを追加している。

VCTools：C++ デスクトップ開発ワークロード（--includeRecommended により、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる）
MSBuildTools：MSBuild によるビルドツールのワークロード
VC.CMake.Project：Windows 向け C++ CMake ツール
VC.Llvm.Clang：Windows 向け C++ Clang コンパイラ
VC.Llvm.ClangToolset：MSBuild から Clang を使用するための clang-cl ツールセット
Windows11SDK.26100：Windows 11 SDK（ビルド 10.0.26100）

追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

Windows での NVIDIA CUDA Toolkit のインストール

NVIDIA CUDA Toolkit は、NVIDIA GPU 上で計算を行うためのコンパイラ・ライブラリ群である。PyTorch や vLLM 等が GPU を利用するために必要となる。GPU を使用しない場合、この手順は不要である。

前提条件：NVIDIA GPU、NVIDIA ドライバ、Build Tools for Visual Studio もしくは Visual Studio が必要である。

インストール中の注意：他のウインドウは閉じておくこと。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

REM NVIDIA CUDA Toolkit 12.8 をシステム領域にインストール
winget install --scope machine --id Nvidia.CUDA --version 12.8 -e --silent --disable-interactivity --force --uninstall-previous --accept-source-agreements --accept-package-agreements --override "-s -n"

REM 環境変数TEMP, TMPの設定（一時ファイルの保存先を短いパスに変更）
mkdir C:\TEMP
setx TEMP "C:\TEMP" /M
setx TMP "C:\TEMP" /M

環境変数 TEMP および TMP を C:\TEMP に変更しているのは、後続のインストール処理で長いパス名や空白を含むパス名がエラーの原因となる場合があるためである。

Windows での PyTorch のインストール

https://pytorch.org のインストールガイドに従い、自環境の CUDA バージョンに対応したコマンドを取得して実行する。CUDA バージョンは以下で確認できる。

nvcc --version

Python 3.12、CUDA 12.6 以上の場合は、管理者権限でコマンドプロンプトを起動し、以下を実行する。cu128 は CUDA 12.8 用のタグである。CUDA バージョンが異なる場合は、上記公式サイトで該当するタグを確認し、URL 末尾の cu128 を置き換えること。

pip install --no-user -U numpy torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

以降の章では、必要に応じて題材に応じた必要なソフトウェアを追加する。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより，既存の VS Code を削除し，全ユーザー共有の設定で再インストールしたうえで，拡張機能（VS Code に機能を追加するソフトウェア）をまとめて導入する．

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして，コマンド全体をコマンドプロンプトにコピー＆ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合，VS Code で使用する Python 本体（インタプリタ：Python プログラムを解釈・実行するソフトウェア）を選択する必要がある．

コマンドパレット（コマンド名で機能を呼び出す VS Code の入力欄）を開く（Ctrl+Shift+P）
Python: Select Interpreter と入力する
表示される一覧から，使用する Python（例：C:\Program Files\Python312\python.exe）を選択する．

Python プログラム実行手順

[Windows での Python プログラム実行手順を見るには、ここをクリック]

Windows での Python 実行手順（Visual Studio Codeを使用）

プログラムファイルの作成と保存

左サイドバーの「エクスプローラー」アイコン（Ctrl+Shift+E）をクリックする
「NO FOLDER OPENED」（作業対象フォルダが未選択の状態）と表示される場合は，「Open Folder」をクリックし，プログラムを保存するフォルダを選択する

続いて「フォルダを信用するか」を確認する画面（フォルダ内のコードを実行してよいか確認する VS Code の仕組み）が表示されるので，チェックして Yes を選択する
フォルダ名の右側に表示される「新しいファイル」アイコンをクリックする
ファイル名（例：aitask.py．ファイル名は何でも良い）を入力し Enter を押す．拡張子は .py（Python ファイルを示す拡張子）とする
実行したいコードを選択し，Ctrl+C でコピーする．VS Code のエディタ領域に Ctrl+V で貼り付ける
Ctrl+S で保存する

プログラムの実行

エディタ右上の三角形「▷」アイコン（Run Python File：現在開いている Python ファイルを実行するボタン）をクリックする．または，エディタ上で右クリックし「ターミナルで Python ファイルを実行」を選択する
VS Code 下部のターミナル（コマンドの入出力を表示する画面）に，実行結果（print 関数の出力等）が表示される
tkinter（Python 標準の GUI ライブラリ）のファイル選択ダイアログを使うプログラムを実行した場合は，ダイアログが開くので対象画像を選択する
VS Code 下部のターミナルで実行結果を確認する．OpenCV ウィンドウ（OpenCV が画像を表示するために開く専用ウィンドウ）が開いた場合はそちらも確認する．OpenCV ウィンドウは，マウスクリックでウィンドウをアクティブ（操作対象の状態）にしてからキーを押すと終了する

ライブラリのインストール

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）

そして，以下のコマンドを実行。ライブラリをインストールする。

pip install --no-user requests beautifulsoup4 transformers fugashi unidic-lite matplotlib

本演習で使うモデルは、日本語BERT系トークナイザーを内部で読み込む。このトークナイザーはMeCab互換の形態素解析器であるfugashiと、UniDic辞書を軽量化したunidic-liteを利用する。また、Transformerモデルの推論にはPyTorchが必要であるため、上記のコマンドではtorchも同時にインストールしている。

初回実行時には、Hugging Face Hubから学習済みモデルが自動的にダウンロードされるため、実行開始までに時間がかかる場合がある。

演習１：感情分析（Sentiment Analysis）

対象作品：太宰治『走れメロス』

手順

次のコードを実行する（メモ帳を用いる場合は a.py のようなファイル名で保存して実行）。青空文庫の本文を取得し、文単位に感情スコアを計算したのち、中心文の前5文・後5文を用いた移動平均を折れ線グラフとして表示する。

ヒント

グラフはsentiment_trend.pngという画像としても保存される。
感情スコアは P(positive) - P(negative) として計算する。値が0より上ならポジティブ寄り、0より下ならネガティブ寄りと判断できる。
移動平均は、各文を中心として前5文・後5文を含めた最大11文から計算する。先頭や末尾では、存在する範囲の文だけを用いる。
移動平均が最大・最小となる付近の中心文がコンソールに表示されるため、グラフの山・谷がどの場面に対応するかの確認に利用できる。

考察ポイント

グラフの起伏が、物語のどの場面（メロスの出発、裏切りへの絶望、友との再会など）に対応しているか確認する。
物語の終盤に向けてスコアがどちらの方向へ変化しているか読み取る。
中立クラスを持たない二値分類モデルであるため、スコアが0付近の場合は「中立」と学習された結果ではなく、positiveとnegativeの確率が近い状態である点に注意する。

# ==========================================
# 1. 感情分析 (Sentiment Analysis)
# 対象作品: 太宰治『走れメロス』
# 追加機能: Matplotlibを使用し、物語の進行に伴う
#           感情スコアの推移を折れ線グラフで可視化する
# ==========================================

import re

import requests
import torch
import matplotlib.pyplot as plt
from bs4 import BeautifulSoup
from transformers import pipeline


def fetch_aozora(url):
    html = requests.get(url).content
    soup = BeautifulSoup(html, "html.parser", from_encoding="shift_jis")
    main_text = soup.find("div", class_="main_text")

    # ルビの読みと、青空文庫の注記を本文から除く。
    # span全体を削除すると本文装飾用spanまで失う可能性があるため、
    # 注記を表すspan.notesだけを削除する。
    for tag in main_text.find_all(["rt", "rp"]):
        tag.decompose()
    for tag in main_text.find_all("span", class_="notes"):
        tag.decompose()
    for tag in main_text.find_all(["h1", "h2", "h3"]):
        tag.decompose()

    text = main_text.get_text()
    text = re.sub(r"［＃[^］]*］", "", text)
    text = text.replace("｜", "")
    text = re.sub(r"\s+", "", text)
    return text


text = fetch_aozora("https://www.aozora.gr.jp/cards/000035/files/1567_14913.html")

# 句点・疑問符・感嘆符で文を区切る。
# 「。」の直後に閉じ括弧が続く場合は、その閉じ括弧も同じ文に含める。
sentences = [
    s for s in re.findall(r"[^。！？]+[。！？]+[」』”’）】》〉〕］]*", text)
    if len(s) >= 5
]

device = 0 if torch.cuda.is_available() else -1

# WRIMEコーパス由来のポジティブ／ネガティブ二値ラベルで
# ファインチューニングされた日本語BERTモデルを使用する。
MODEL_NAME = "llm-book/bert-base-japanese-v3-wrime-sentiment"

analyzer = pipeline(
    "sentiment-analysis",
    model=MODEL_NAME,
    device=device,
)

# 各文についてpositive/negative両方の確率を取得する。
outputs = analyzer(
    sentences,
    truncation=True,
    max_length=512,
    batch_size=8,
    top_k=None,
)

# 感情スコアを P(positive) - P(negative) として計算する。
# これにより、スコアは -1.0 から 1.0 の範囲になり、
# 0を境にポジティブ寄り／ネガティブ寄りを読み取りやすくなる。
scores = []
for out in outputs:
    score_by_label = {item["label"].lower(): item["score"] for item in out}
    scores.append(score_by_label["positive"] - score_by_label["negative"])

# グラフの作成
# 各文を中心として、前5文・後5文を含む最大11文の移動平均を計算する。
radius = 5
moving_avg = []
for i in range(len(scores)):
    start = max(0, i - radius)
    end = min(len(scores), i + radius + 1)
    moving_avg.append(sum(scores[start:end]) / (end - start))

x = list(range(1, len(moving_avg) + 1))

plt.figure(figsize=(12, 5))
plt.plot(x, moving_avg, label="Sentiment Trend (Centered Moving Average)", color="blue")
plt.axhline(0, color="red", linestyle="--", alpha=0.7)
plt.title('Sentiment Journey in "Hashire Meros"')
plt.xlabel("Timeline (Sentence Index)")
plt.ylabel("Sentiment Score: P(positive) - P(negative)")
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.savefig("sentiment_trend.png", dpi=150)

# 移動平均が最大・最小となる付近の中心文を表示する。
peak = max(range(len(moving_avg)), key=lambda i: moving_avg[i])
trough = min(range(len(moving_avg)), key=lambda i: moving_avg[i])

print(f"最も肯定的な付近（中心文番号 {peak + 1}）: {sentences[peak]}")
print(f"最も否定的な付近（中心文番号 {trough + 1}）: {sentences[trough]}")

plt.show()

技術解説：llm-book/bert-base-japanese-v3-wrime-sentiment（BERTによる日本語感情分析モデル）

このコードが利用するモデルは、東北大学自然言語処理研究グループが公開する日本語BERT（cl-tohoku/bert-base-japanese-v3）をベースに、書籍『大規模言語モデル入門』の付属データセットllm-book/wrime-sentimentを用いてファインチューニングしたものであり、positive・negativeの2値分類を出力する。

コードでは、Transformerのpipelineにtop_k=Noneを指定し、各文についてpositiveとnegativeの両方の確率を取得している。そのうえで、感情スコアを P(positive) - P(negative) として計算する。この値は-1.0から1.0の範囲を取り、0より大きければポジティブ寄り、0より小さければネガティブ寄りと解釈できる。

単純な辞書ベースの手法と異なり、BERTは文脈を考慮して文章全体の表現を作るため、「嫌いではない」のような否定を含む表現や、周辺語との関係をある程度考慮できる。ただし、このモデルは二値分類モデルであり、中立クラスを持たない。したがって、感情の薄い叙述文であっても必ずpositiveまたはnegativeの方向に確率が割り当てられる。スコアが0付近の場合は、モデルが中立と判定したという意味ではなく、positiveとnegativeの確率が近いという意味である。

また、学習データがSNS投稿を中心とする口語的な文体であるため、文語調の文学作品に対する精度は保証されない。皮肉、反語、古い語彙、文学的表現については、人間の読解と異なる判定になる可能性がある。そのため、出力結果は作品解釈の正解ではなく、物語全体の感情的な起伏を機械的に観察するための手がかりとして扱う。

なお、このモデルのトークナイザーは、MeCab互換の形態素解析器であるfugashiと、UniDic 2.1.2相当の辞書を含むunidic-liteによる形態素解析ののち、WordPieceでサブワード分割する構成である。これらのパッケージが未導入だと、モデルの読み込み時にトークナイザーを初期化できない。

ベースモデルと事前学習データセット

本モデルのベースとなるcl-tohoku/bert-base-japanese-v3は、以下の仕様で事前学習されている。

アーキテクチャ：BERT baseと同一構成（12層、隠れ次元768、アテンションヘッド12）
語彙サイズ：32768
トークナイザー：MeCab（UniDic 2.1.2辞書）＋WordPieceサブワード分割
事前学習コーパス：
- CC-100（日本語部分）：Common Crawlから構築された多言語ウェブコーパスの日本語サブセット
- 日本語Wikipedia
学習目的関数：Whole Word Maskingを用いたMasked Language Modeling
ライセンス：Apache License 2.0

ファインチューニングに用いたllm-book/wrime-sentimentは、梶原らによるWRIMEデータセットを基に、書籍『大規模言語モデル入門』（技術評論社）のサンプルコード用にポジティブ／ネガティブの2値ラベルへ再構成したものである。WRIMEは、SNS投稿に対してPlutchikの8基本感情を付与した日本語感情分析用データセットであり、書き手の主観的感情と読み手から見た客観的感情の両方を扱う点に特徴がある。