太宰治テキストマイニング(ソースコードと説明と利用ガイド)|金子邦彦研究室

太宰治テキストマイニング

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成

このプログラムの理念と目的

本プログラム「太宰治テキストマイニング・ラボ v2.1」は、Windows 用のデスクトップアプリケーションである。青空文庫で公開されている太宰治の作品から1編を選ぶと、本文の取得、形態素解析、計量的分析、可視化を一つの画面で行う。作品の一覧は、青空文庫の作家別作品リスト(No.35 太宰 治)のうち「公開中の作品」から自動的に作成される。

本プログラムは、分析結果を計算の根拠とともに示すことを方針としている。各分析の図の下には根拠テキスト欄があり、手法の名称、計算式、算出した数値、解釈上の注意が表示される。さらに、データの出典、前処理の内容、ライブラリのバージョン、パラメータ、参考文献を記録として書き出せる。利用者は、文体、語彙、評価表現、話題の推移を数値で確認し、同じ条件で分析を再実行できる。

特徴

図と根拠の併記:各分析タブは、上段に図、下段に根拠テキスト欄を配置した構成である。根拠テキスト欄には、計算式(例:G² = 2[a·ln(a/E1) + b·ln(b/E2)])、統計量、p値、信頼区間、および手法の限界が表示される。

分析結果から本文への移動:分析結果の中の文には、〔文n〕の形式で文番号が付く(n は本文の先頭から数えた文の番号)。根拠テキスト欄で〔文n〕を含む行をダブルクリックすると、「本文」タブに切り替わり、その文が黄色の背景で強調表示される。評価極性の推移のグラフと重要文抽出の散布図では、クリックで文を選び、「選択した文を本文で表示」ボタンを押すと、同様に「本文」タブでその文が強調表示される。数値から見つけた特徴を、本文の文脈で確認できる。

青空文庫形式に合わせた前処理:ルビ(《》)、ルビの開始位置を示す記号(|)、入力者注([#…])を取り除き、本文だけを分析の対象とする。外字注記に Unicode の番号または JIS X 0213 の面区点番号が記載されていれば、元の文字に復元し、復元できない場合は「〓」に置き換える。くの字点(/\、/″\)は「〳〵」「〴〵」に置き換える。取り除いたルビは、語と読みの一覧として「本文」タブに表示される。

再現性の確保:作品ID、取得元のURL、ファイル名、取得日時、底本、前処理で処理した件数、ライブラリのバージョン、すべてのパラメータ、各分析の根拠、参考文献を一つの記録にまとめ、表示および書き出しができる。乱数を使う処理(共起ネットワークの配置、NMFの初期値、ブートストラップ法)はシード値を固定しているため、同じ作品、同じパラメータ、同じバージョンのライブラリであれば、同じ結果が得られる。

機能概要

「▶ 分析開始」ボタンを押すと、次の順序で処理が行われる。

  1. データの取得:選んだ作品の図書カードと本文ファイル(zip形式)を青空文庫から取得する。ルビ付きの本文ファイルが公開されていれば、そのファイルを使う。
  2. 前処理:注記、ルビ、外字を処理する。改行の位置で本文を段落に分け、各段落を「。」「!」「?」「!」「?」の位置(直後の閉じ括弧を含む)で文に分ける。
  3. 形態素解析:Janome で各文を形態素に分け、表層形、原形、品詞を求める。
  4. 分析と可視化:タブを開いた時点で、そのタブの分析を計算し、結果を表示する。

以下の説明で「区間」とは、本文を文字数で等分した各部分を指す。等分する数は、画面左側の共通パラメータ「区間数」で指定する(初期値は10)。

画面操作およびキー操作

作品の選択(画面左側の上部)

「題名で絞り込み」欄に文字を入力すると、題名または副題にその文字を含む作品だけが一覧に表示される。「主要作品のみ(★)」をオンにすると、本プログラムが主要作品として指定した36の題名(走れメロス、人間失格、斜陽など)に一致する作品だけが表示される。「新字新仮名のみ」をオンにすると、新字体と現代仮名遣いで入力された作品だけが表示される。作品を選んで「▶ 分析開始」ボタンを押すか、作品をダブルクリックすると、分析が始まる。旧字・旧仮名の作品を選ぶと、形態素解析と評価極性辞書の照合の精度が下がることを示す注意が表示される。

共通パラメータ(画面左側の下部)

画面上の見出しは「② 共通パラメータ(全分析に適用)」であるが、実際に適用される範囲は項目ごとに異なる。各項目の適用範囲は次のとおりである。

対象品詞、代名詞の除外、除外語の3つの設定は、次の分析には適用されない。「記述統計・文体指標」タブの語彙指標(延べ語数、異なり語数、TTR、MATTR、Yule の K。記号を除くすべての形態素で計算する)、評価極性辞書との照合、および KWIC の検索である。

各タブのスライダーと選択項目

スライダーの値は、つまみを放した時点、またはキー操作で値を変えてキーを放した時点で反映され、そのタブの分析が再計算される。

各図の下にあるツールバーでは、図の拡大、図の移動、画像としての保存ができる。

「本文」タブ

「本文検索」欄に語を入力し、Enter キーを押すか「検索/次へ」ボタンを押すと、一致する箇所がすべて橙色の背景で強調表示され、最初の箇所まで画面が移動する。同じ語で再び操作すると次の箇所へ移動し、最後の箇所の次は最初の箇所に戻る。検索は、入力した文字列と完全に同じ文字列を探す方式であり、正規表現は使えない。ルビ一覧の語をダブルクリックすると、その語で本文検索が行われる。

結果の書き出し

「方法・再現情報」タブで「全結果を書き出し(CSV・図PNG・レポート)」ボタンを押し、保存先のフォルダを選ぶと、そのフォルダの中に「作品名_日付_時刻」という名前のフォルダが作成され、結果が保存される。まだ開いていないタブの分析も、書き出しの際に計算される。図は解像度150dpiのPNG形式、表はBOM付きUTF-8のCSV形式(Excel で開いても文字化けしない形式)、記録は report.txt として保存される。保存が終わると、作成されたフォルダが自動的に開く。

キー操作とマウス操作の一覧

使用技術

Janome(形態素解析)

Python だけで書かれた形態素解析器であり、辞書として IPADIC(mecab-ipadic-2.7.0-20070801)を内蔵している。本プログラムは、Janome が出力する原形を単位として語を数える(例:「いた」は「いる」として数える)。IPADIC は現代日本語を基準とする辞書であるため、旧仮名遣いや古い語彙の解析精度は低い。2026年10月時点で確認できる最新版は 0.5.0(2023年7月公開)であり、動作には Python 3.10 以上が必要である。

日本語評価極性辞書(東北大学 乾・岡崎研究室)

用言編(約5千件の評価表現)と名詞編(約8千5百件の名詞)からなる辞書であり、極性は人手で付与されている。版はいずれも ver.1.0(2008年12月版)であり、本プログラムは公開元から直接取得する。照合は、内容語から始まる語の並びのうち、辞書と一致する最も長いものを採用する方式(最長一致)で行う。名詞編は、ポジティブ(p)とネガティブ(n)の語だけを使う。この辞書による指標は、現代日本語の評価表現を語彙の単位で数えたものであり、登場人物の感情や作品の主題を直接測定するものではない。皮肉、反語、文脈による意味の転換は考慮されない。

計量的手法

以下の説明で「区間」とは、本文を文字数で等分した各部分を指し、等分する数は共通パラメータ「区間数」で指定する。

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\textmining
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller numpy matplotlib janome
pyinstaller --onefile --clean --noconfirm  --collect-all numpy --collect-all matplotlib --collect-all janome textmining.py

実行ファイル:[exe]

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM インストール
pip install -U --no-user numpy matplotlib janome

ソースコード