日本語文学作品の感情極性分析
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
本資料とコードの作成にAIを使用。参考プロンプト: prompt.md (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)
このプログラムの理念と目的
本プログラムは、青空文庫に収録された日本の近代文学作品などの本文を、文ごとに肯定(POSITIVE)・中立(NEUTRAL)・否定(NEGATIVE)の3種類に分類し、原理の異なる2つの手法の判定を突き合わせる実験・学習用のツールである。2つの手法は次のとおりである。
- 手法1(AI):文全体の文脈を読み取る事前学習済み言語モデル(BERT)による分類器
- 手法2(辞書):日本語評価極性辞書に登録された肯定・否定の語句を、文中で数え上げる規則による判定
利用者は、本プログラムを使って次のことを確かめることができる。
- 同じ文に対して、文脈を読むAIと語句を数える辞書の判定がどこで一致し、どこで食い違うか。
- 作品の冒頭から結末まで、肯定・否定の文の割合がどのように推移するか。
- 文体の変換や否定表現の除去などの文章操作によって、各手法の判定がどう変わるか(各手法が文中の何に反応しているか)。
- AIが1つの文を、どのような計算で判定したか。
本プログラムの判定は、作品の感情を正しく測定したものではない。文学作品の各文には正解の感情ラベルがなく、手法1は現代語の文章で学習したAIモデル、手法2は現代語の評価表現を収録した辞書に基づいている。本プログラムが示すのは、正解との一致ではなく、2つの手法の判定の違いである。例外として、筆者と読み手による感情極性の評定(以下、人手の評定)が付いたデータ(WRIME)を解析した場合に限り、人手の評定との一致度も示す。
特徴
- 全ての文に両方の手法を適用し、判定の一致と食い違いを文単位で集計する。判定が食い違った文は一覧で確認できる。
- 手法1には2つのAIモデルがあり、一方での解析が終わると、もう一方での推論が裏で自動的に進む。完了後は、再推論なしで表示するAIモデルを切り替えられる。
- しきい値 θ などの判定・集計条件を変えると、再推論なしで集計レポートと全ての図が更新される。
- どの文についても、両手法の算出根拠を省略なしで表示する。
- 10種類の文章操作を作品の全文に適用し、原文と変換後の文の判定の違いを比較できる。
- AIが文中のどのトークン(AIが扱う文字列の単位)に注目したか、どのトークンが判定にどれだけ寄与したかを図示する。
- 青空文庫のほか、ニュース記事・SNS 投稿・画像の説明文・百科事典の4種のデータを解析できる。
- 判定の色は、色覚の多様性に配慮した Okabe & Ito(2008)の配色に準拠し、肯定を橙、否定を青緑で示す(中立は、同配色に含まれない灰色で示す)。縦768画素のノートPC画面でも全ての設定に届くよう、設定欄と図はスクロールできる。
対象データ
次の5種のデータを扱う。以下では、解析の単位(表の「解析単位」)を、データの種類によらず「作品」と呼ぶ。
| データ | 解析単位 | 段落として扱う単位 |
|---|---|---|
青空文庫(globis-university/aozorabunko-clean) | 1作品 | 空でない1行。同じ作品に複数の表記版がある場合は新字新仮名版を使う。 |
| livedoor ニュースコーパス | 1記事 | 本文の空でない1行 |
| JGLUE JSTS v1.3 | 出現順の1,000文対 | 1文対(2つの文をそれぞれ1文とする)。文対の類似度のラベルは用いない。 |
| WRIME Ver.2 | 筆者ごと・分割(train・dev・test)ごとの投稿の束 | 1投稿。人手の評定を、判定との比較に用いる。 |
| 日本語版ウィキペディア | 1記事 | 見出しを除く空でない1行。本文は解析時に取得し、版IDとともに保存して、以後は同じ版を使う。 |
青空文庫は起動時に準備する。ほかのデータは「⑤ データ・作品の追加」タブで初めて読み込むときに配布元から取得し、プログラムと同じフォルダの downloaded_data に保存する。利用条件(非営利に限る、改変したものを配布しない、など)はデータごとに異なり、「⑧ ヘルプ」タブに記載している。
処理の内容
1. 準備(起動時に自動実行)
起動すると、形態素解析器、推論デバイス(GPU または CPU)の判定、日本語評価極性辞書、青空文庫コーパス、2つのAIモデルの利用可否を順に準備する。初回はインターネットからダウンロードし、2回目以降はプログラムと同じフォルダに保存したファイルを使う(AIモデルの利用可否は起動のたびに確認し、接続できない場合は前回の結果を使う)。画面上部の表示が「準備完了」になると操作できる。推論には、VRAM 3GB 以上の CUDA 対応 GPU(NVIDIA 製)があれば GPU を、なければ CPU を使う。
2. 文分割
段落ごとに、本文を文に分割する。文は「。」「!」「?」などで区切り、鉤括弧などの括弧の内側では区切らない。青空文庫では、本文に残る注記([#…])を取り除いてから分割する。このコーパスはルビなどの記法が配布元で除去済みのため、本文中の《…》は本文の二重山括弧として残す。
「と」の両方、または『と』の両方を含む文、および「または『で始まる文を「会話文」とし、それ以外を「地の文」とする。この区別は表記だけに基づくため、引用や心内語も会話文に含まれる。
3. 手法1(AI)による判定
BERT は、文中の全ての語どうしの関係を自己注意という仕組みで計算し、各語の表現を文全体の文脈に応じて変える言語モデルである(Devlin et al. 2019)。本プログラムは、肯定・中立・否定の3クラスに分類するよう追加学習された BERT をAIモデルとして用いる。
文をサブワード(単語をさらに細かく分けた、AIが扱う文字列の単位。トークンともいう)に分割し、先頭に [CLS]、末尾に [SEP] という特別なトークンを付けて入力する。AIモデルは [CLS] の位置の最終層の表現を文全体の代表とし、そこから3クラスの確率を出力する。最も高い確率(最大クラス確率)が、利用者の設定した下限より低い場合は中立とし、それ以外は最も確率の高いクラスを判定とする。入力できるトークン数の上限(最大系列長)を超える文は、末尾を切り捨てて推論し、切り捨てた文数を集計レポートに記録する。
AIモデルは次の2つから選ぶ。
| 観点 | LoneWolfgang/bert-for-japanese-twitter-sentiment(2024年、既定) | koheiduck/bert-japanese-finetuned-sentiment(2022年、比較用) |
|---|---|---|
| 基盤 | 東北大学の日本語 BERT を基に、日本語ツイート約2,800万件で語彙を作り直し、事前学習を継続したAIモデル | 東北大学の日本語 BERT(tohoku-nlp/bert-base-japanese-whole-word-masking、旧名 cl-tohoku/…。日本語 Wikipedia で学習) |
| 3クラス分類の学習データ | 日本語ツイートの感情データセット(JTS1k) | 非公開 |
| 単語分割に用いる形態素解析辞書 | MeCab + unidic-lite | MeCab + IPAdic(基盤のAIモデルの学習時の構成に合わせて明示的に指定) |
| ライセンス | Apache License 2.0 | 表示なし(基盤のAIモデルは CC BY-SA) |
2つのAIモデルは出力ラベルの並び順が異なるが、本プログラムはラベル名から肯定・中立・否定へ対応付けるため、同じ規則で比較できる。いずれも現代語(SNS・Wikipedia)を基盤とするAIモデルであり、近代文学の文体とは領域が異なる。
4. 手法2(辞書)による判定
辞書は、東北大学 乾・岡崎研究室の日本語評価極性辞書(用言編:小林ら 2005、名詞編:東山ら 2008)である。肯定と否定の両方で登録されている表記、極性が中立のみの語句、極性の判定が保留されている語句(名詞編で「?p?n」などと記された語句)は除外し、肯定(+1)または否定(−1)が一意に決まる語句だけを照合に用いる。以下では、文中で辞書と一致した語句を「極性表現」と呼ぶ。現代語の評価表現を収録した辞書であるため、近代文学の語彙や文語表現には一致しないことがある。
文を fugashi と形態素解析辞書 IPAdic で形態素(意味をもつ最小の単位)に分割し、各位置から最大5形態素までの連なりを、長いものから順に辞書と照合する。照合は「表記のまま」「末尾の語だけを基本形に戻した形」「全ての語を基本形に戻した形」の3通りで行う。
極性表現の直後3形態素以内に、否定表現(品詞が助動詞または形容詞の、ない・ぬ・ん・まい・なし など)が奇数個あれば、極性を反転する。否定表現の探索は、句点・感嘆符・疑問符・セミコロン・鉤括弧・三点リーダ(これらを含む記号の連なりを含む)、接続助詞(て・ば・が・けど など)、次の極性表現のいずれかの手前で打ち切り、読点では打ち切らない。たとえば「嬉しくて楽しくない」の「ない」は「楽しく」だけを反転し、「良いが行かない」の「良い」は反転しない。
極性表現の極性値(反転後の値)の合計または平均を文極性値 v とする。v がしきい値 θ 以上なら肯定、−θ 以下なら否定、それ以外または極性表現が0件なら中立とする。
5. 2手法の一致度の指標
両手法の判定を、行をAIの判定、列を辞書の判定とする3×3の分割表にまとめ、次の指標を求める。正解ラベルがないため、いずれの指標も2手法の一致度を示すものであり、どちらかの正しさを示すものではない。
- 観測一致率 p_o:判定が一致した文の割合である。両手法とも中立と判定した文も一致に数えるため、極性表現を含まない文が多いと値が高くなる。
- Cohen の κ(Cohen 1960):観測一致率から、各手法のラベルの割合から計算される偶然の一致の期待値を差し引いた一致度である。1 は完全な一致、0 は偶然と同程度の一致を表す。目安として Landis & Koch(1977)の区分(0未満 poor、0.20以下 slight、0.40以下 fair、0.60以下 moderate、0.80以下 substantial、それより上 almost perfect)を併記する。
- κ の95%信頼区間:κ の推定値の不確かさを表す区間で、2通りの方法で求める。1つは、文を互いに独立とみなす Fleiss, Cohen & Everitt(1969)の近似式による区間である。もう1つは、段落(JSTS は同じ画像に由来する文対、WRIME は投稿)を単位に復元抽出を1,000回繰り返すクラスタ・ブートストラップ法(パーセンタイル法)による区間である。後者は、同じ段落の文が話題や文体を共有して独立でないことを反映する(段落をまたぐ依存は反映しない)。
- PABAK(Byrt et al. 1993):ラベルの出現頻度の偏りと、2手法の判定の偏りの影響を除いた一致度である。3クラスでは (3p_o − 1)/2 で求める。
WRIME では、投稿ごとに判定をまとめ、人手の評定(正を肯定、0を中立、負を否定とする)との正解率・F1・κ も求める。投稿の判定は、AIは投稿内の文の3クラスの確率の平均から、辞書は投稿内の全ての極性表現の極性値から、文と同じ規則で決める。
6. 推移の表し方(中心移動平均)
作品内の推移は、各文を中心とする w 文の範囲(窓)に含まれる文のラベル値(肯定=+1、中立=0、否定=−1)の平均で表す。この値は、窓内の(肯定の文数 − 否定の文数)÷ 窓内の文数に等しく、個々の文の感情の強さを表すものではない。作品の両端では窓を縮めて平均する。
7. AIの判断を説明する手法
- 自己注意の重み:最終層で、[CLS] が各トークンにどれだけ注目したかを示す。注意の重みは、そのままではAIの判断の理由を表さないことが知られている(Jain & Wallace 2019)。
- 遮蔽法(Zeiler & Fergus 2014; Li et al. 2016):トークンを1つずつ伏せ字用の特別なトークン [MASK] に置き換え、確率差 P(肯定) − P(否定) がどれだけ変わるかを測る。
- 統合勾配(Sundararajan, Taly & Yan 2017):内容を持たない基準の入力([CLS] と [SEP] 以外を、空きを埋める特別なトークン [PAD] にした系列)から入力文までの経路に沿って、確率差 P(肯定) − P(否定) の勾配を積分し、各トークンの寄与を求める。寄与の合計は、基準の入力から入力文への確率差の変化量に等しくなる性質(完全性)がある。本プログラムは積分を分点数 m の数値計算で近似し、寄与の合計と変化量の差を検算として示す。差は m を増やすと小さくなる。寄与の値は基準の入力の選び方に依存する。
8. 文章操作の比較実験
次の10種類の操作のいずれかを作品の全文に適用し、原文と変換後の文の判定を比較する。
| 操作 | 内容 |
|---|---|
| ① 括弧類の除去 | 「」『』()などを除去する。 |
| ② 感嘆符・疑問符・三点リーダ等の除去 | !?を「。」に置き換え、…・―などを除去する。 |
| ③ である調(常体)への統一 | です・ます等の文末を、である・る・た等に変換する。 |
| ④ です・ます調(敬体)への統一 | る・た・ない・だ等の文末を、ます・ました・ません・です等に変換する。 |
| ⑤ 文末の終助詞・間投助詞の除去 | よ・ね・な・わ・か等を文末から取り除く。 |
| ⑥ 否定表現の除去 | ない・ぬ・ず・ん・まい等を除去し、直前の語を肯定形に活用し直す。 |
| ⑦ 修飾語の除去 | 形容詞・副詞・連体詞を除去する(否定の「ない」は残す)。 |
| ⑧ 読点の除去 | 「、」などの読点を全て除去する。 |
| ⑨ 感情語の伏せ字化 | 極性表現を「*」に置き換える。 |
| ⑩ 全文のひらがな化 | 各語を読み仮名(ひらがな)に置き換える。 |
変換は規則に基づく処理であるため、文語や複雑な活用を含む文は変換されないことがある。実際に文面が変化した文の数と割合は、図と表に表示される。文面が変化しなかった文は、AIへの入力が同一であるため、原文の推論結果をそのまま用いる。
出力
集計レポート
作品ごとに次の内容をテキストで表示する。
- 解析条件(解析範囲、使用したAIモデル、推論デバイス、判定規則)
- 先頭5文の判定と算出根拠
- 全体のラベル比率と、地の文・会話文それぞれのラベル比率
- 作品を10等分した区間ごとの肯定・否定の割合
- 3×3分割表と一致度の指標(観測一致率、κ と2通りの95%信頼区間、PABAK、両手法とも中立と判定した文の数、一方が肯定・他方が否定と判定した文の数など)
- WRIME の場合のみ:人手の評定との比較(投稿単位の正解率・F1・κ と混同行列)
- AIの最大クラス確率の統計(文の長さとの相関を含む)
- 頻出した極性表現(辞書に登録された極性による分類と、否定表現による極性反転を適用した後の極性による分類)
2作品以上を解析した場合は作品間の比較表が加わる。末尾には、結果を解釈する際の注意が付く。
図
- 作品別の図:上段は文番号に沿った推移で、AIのラベル値、AIの確率差 P(肯定) − P(否定)、辞書のラベル値のそれぞれの中心移動平均と、両手法とも中立と判定した文の割合を示す。中段は段落ごとの平均と、一定数の段落(段落ブロック)ごとの平均を示す。下段は10等分区間ごとの肯定・否定の割合と、3×3分割表を示す。
- 作品間比較の図(2作品以上):作品別のラベル比率、10区間の推移、一致度(観測一致率、両手法とも中立と判定した文の割合、κ と95%信頼区間)を示す。
- 感度分析の図:辞書のしきい値 θ、またはAIの最大クラス確率の下限の一方だけを変化させたときの、観測一致率・κ・中立と判定した文の割合の変化を示す。
結果の一括保存
「結果を一括保存」を押すと、プログラムと同じフォルダの outputs の中に日時名のフォルダが作られ、次のファイルが保存される。保存される内容は、押した時点の判定・集計条件と、表示中のAIモデルによる結果である。
| ファイル | 内容 |
|---|---|
sentiment_作家名_作品名_AIモデル名.csv | 文ごとの判定結果(文番号、段落番号、会話文/地の文、本文、AIの判定・最大クラス確率・3クラスの確率、辞書の判定と文極性値、極性表現)。文字コードは BOM 付き UTF-8 で、Excel でそのまま開ける。青空文庫以外のデータでは、「作家名_作品名」の部分がデータの種類・位置・見出しになる。 |
sentiment_作家名_作品名_AIモデル名.png | 作品別の図 |
sentiment_comparison_AIモデル名.png | 作品間比較の図(2作品以上の場合) |
sensitivity_AIモデル名.png | 感度分析の図 |
summary.txt | 集計レポート |
notable_sentences.txt | 判定不一致・低確率の文の一覧 |
transform_….png/.txt | 文章操作の比較結果(実行した場合) |
integrated_gradients.png/.txt | 統合勾配の結果(実行した場合) |
log.txt | 実行ログ |
画面操作
画面上部(全タブ共通)とキー操作
- 状態表示:準備・解析の進み具合を表示する。
- 「全画面表示へ(F11)」:全画面表示と通常表示を切り替える。全画面にすると文字は標準より2ポイント大きくなり、通常表示に戻すと標準の大きさに戻る(「A−」「A+」で変えた大きさは、切り替えのたびに標準を基準に設定し直される)。
- 「A−」「A+」:画面・集計レポート・図の文字サイズを一括して変更する(8〜28ポイント)。
- 「AIの仕組み可視化 ON」:オンのとき、選んだ文のAIの内部処理を「⑥ AIの仕組みと算出根拠」タブに図示する。
画面はタブで切り替える。メイン以外の各タブの上部には、緑色の「← メイン画面(解析・集計レポート)に戻る」ボタンがある。次のキー操作は、メインウィンドウ内であれば、集計レポート欄や入力欄にカーソルがある状態でも有効であり、図の別ウィンドウでは無効である。
| 操作 | 働き |
|---|---|
| F11/Esc | 全画面表示と通常表示の切り替え/全画面表示の解除 |
| Ctrl++(または Ctrl+=)/Ctrl+- | 文字サイズを大きく/小さくする |
| Ctrl+H | メイン画面に戻る |
| 集計レポート欄で Ctrl+A/Ctrl+C | 全選択/コピー(集計レポート欄は書き換えできない) |
「① メイン(集計)」タブ:左側の設定欄
① 解析対象の作品
夏目漱石・芥川龍之介・太宰治の各10作品(コーパス内に見つかった作品のみ)が並び、初期状態では芥川龍之介『羅生門』が選ばれている。クリックで選択し、Ctrl+クリックで最大3作品まで同時に選べる。4作品目を選ぶと直前の選択に戻る。作品をダブルクリックすると、その作品をすぐに解析する。
② 手法1のAIモデル
LoneWolfgang 2024(既定)と koheiduck 2022(比較用)をラジオボタンで選ぶ。各ボタンの下に、「表示中」「計算済み」「推論中(進捗と残り時間)」「未計算」「利用不可(理由)」などの状態が表示される。選んだときの動作は次のとおりである。
- 計算済みのAIモデルを選ぶと、即座に結果が切り替わる。
- 裏で推論中のAIモデルを選ぶと、推論が完了した時点で自動的に切り替わる。
- 未計算(裏の推論を中断した場合を含む)のAIモデルを選ぶと、その時点で裏の推論が始まり、完了後に自動的に切り替わる。
- 解析前に選んだAIモデルは、次に「▶ 解析を実行」を押したときに使われる。
AIモデルを切り替えると、文章操作の比較と統合勾配の結果は消去される。必要であれば、切り替えた後に改めて実行する。
③ 推論条件(変更後は再解析が必要)
| 項目 | 範囲(初期値) | 意味 |
|---|---|---|
| 解析する文数の上限 N | 100〜3000文(600文) | 作品の先頭から解析する文数である。値を大きくすると作品のより広い範囲を扱えるが、推論時間が長くなる。 |
| 作品全体を解析する | オフ | オンにすると N を無視して作品の全文を解析する。 |
| 最大系列長 | 128〜512トークン(512) | 値を下げると処理は軽くなるが、末尾を切り捨てられる文が増える。 |
| GPU を使用する | — | 推論に使える GPU が検出された場合のみ選べ、その場合は初期状態でオンになる。オフにすると CPU で推論する。 |
「▶ 解析を実行」で解析を始める。「■ 中断」を押すと、実行中の処理(解析・文章操作など。なければ裏の推論)を、処理中のまとまり(バッチ)が終わった時点で停止する。解析後に推論条件や作品の選択を変えると、再解析が必要である旨の案内が表示される。
④ 判定・集計条件(変更すると再推論なしで即座に反映される)
| 項目 | 範囲(初期値) | 意味 |
|---|---|---|
| 最大クラス確率の下限 | 0.34〜0.99(0.34) | AIの最大クラス確率がこの値より低い文を中立とみなす。最大クラス確率は必ず1/3以上であるため、0.34ではほとんど置き換えは起きない。0.5以上にすると、最大クラス確率の低い判定が中立に置き換わる。 |
| 文極性値の集計方式 | 合計(sum)/平均(mean) | 合計は極性表現の極性値を足し合わせ、平均は1件あたりの値にする。平均では、極性表現を多く含む文の値が大きくなりにくい。 |
| 判定しきい値 θ | 合計:1〜6の整数(1) 平均:0.05〜1.00(切り替え時 0.5) | 値を上げるほど、中立と判定される文が増える。合計方式では v が整数になるため、θ も整数刻みである。 |
| 否定表現による極性反転 | オン | オフにすると、否定表現を考慮しない場合との違いを確かめられる。 |
| 中心移動平均の窓幅 w | 5〜100文(20) | 値を大きくすると、推移グラフの細かな上下が均される。 |
| 段落ブロックの大きさ | 1〜30段落(10) | 作品別の図の中段で、何段落ずつまとめて平均するかを決める。 |
「① メイン(集計)」タブ:右側
集計レポートが表示される。上部のボタンの働きは次のとおりである。
- 作品別の図を開く:作品ごとに別ウィンドウで図を表示する。
- 作品間比較の図:2作品以上を解析した場合に使える。
- 感度分析の図:判定・集計条件を変えたときの一致度の変化を表示する。
- 結果を一括保存:集計レポート・図・CSV などをまとめて保存する。
- 保存先を開く:保存したフォルダをエクスプローラーで開く(Windows のみ)。
作品別の図のウィンドウ
- 上段の推移グラフをクリックすると、その位置の文が選ばれ(縦の点線)、ウィンドウ下部に両手法の算出根拠と前後2文が表示される。
- ←/→ キーで、選ぶ文を1文ずつ前後に移動する。グラフの山や谷の原因となった文を確認するときに使う。
- 下部のツールバーで拡大・移動・画像保存ができる。拡大・移動のモード中は、クリックしても文は選ばれない。
- マウスホイールで縦、Shift+ホイールで横にスクロールする。
「② 不一致・低確率の文」タブ
AIと辞書の判定が食い違った文(分割表の対角以外の6つの組み合わせ)を、AIの最大クラス確率が高い順に、組み合わせごとに3文まで表示する。続いて、AIの最大クラス確率が0.6未満の文を、低い順に最大20文表示する。判定が食い違った文には、否定表現・疑問や反語・比喩・会話文など、判定の差の手掛かりが付記される。行をクリックすると、その文の内部処理が「⑥ AIの仕組みと算出根拠」タブに表示される(「AIの仕組み可視化」がオンの場合)。
「③ 文章操作の比較実験」タブ
- 「対象作品」と「文章操作」を選び、「▶ 操作を適用して比較」を押す。操作は、メイン画面の文数 N に関係なく作品の全文に適用される。N より後ろの文はこのときに初めて推論されるため、作品が長いと時間がかかる。
- 上段の図は、原文(実線)と変換後の文(破線・点線)の推移を手法ごとに重ね、最下段に差(変換後の文 − 原文)と、文面が変化した文の割合を示す。図をクリックすると、その文が下の一覧で選ばれる(一覧に含まれていない文の場合は、一覧の表示が「すべての文」に切り替わる)。
- 中段の表には、ラベル比率・観測一致率・κ の変化と、推移の差の数値が表示される。
- 下段左の一覧は、「文面が変化した文」(初期値)「AIの判定が変化した文」「辞書の判定が変化した文」「すべての文」から絞り込める。一覧は、確率差 P(肯定) − P(否定) の変化の絶対値が大きい順に並ぶ。文を選ぶと、右側に原文と変換後の文の算出根拠と、確率の増減 ΔP が並ぶ。
- 一覧で文を選ぶと、下部の入力欄にその文の原文が入る。入力欄を自由に書き換え、「▶ 原文⇔編集文を比較」で原文との違いを確かめられる。「選択中の操作を適用」を押すと、選んでいる文章操作を入力欄の文に適用する。
「④ 原文⇔変換文」タブ
直前に行った文章操作について、原文(左)と変換後の文(右)を1文1行で並べて、作品の全文を表示する。変化のない文は灰色、挿入・変更された文字は黄色、削除された文字は赤の取り消し線で示される。左右は連動してスクロールする。
「⑤ データ・作品の追加」タブ
- 上部の「データ」で5種のデータから1つを選び、「読み込み(未取得のときは取得)」を押す。
- 検索欄に名称の一部を入力して、左の一覧(青空文庫は作家〔作品数の多い順〕、livedoor はカテゴリ、JSTS は train・valid・test、WRIME は筆者)を絞り込む。1つを選ぶと、右の一覧に作品が文数とともに表示される。日本語版ウィキペディアでは、検索欄に入れた語で記事を検索する(入力を止めて約0.6秒後)。
- 作品を選んで「選択した作品を解析対象リストに追加」を押す。「追加してメイン画面で選択」を押すか作品をダブルクリックすると、追加と同時にメイン画面でその作品が選ばれる(最大3作品)。
「⑥ AIの仕組みと算出根拠」タブ
選んだ文、または入力欄に書いた文について、内部処理を4つの小タブで示す。入力欄の文を対象にするときは「▶ 入力文を可視化」を押す。入力欄の文と、「③ 文章操作の比較実験」タブの一覧で選んだ変換後の文は、表示中のAIモデルで、解析時と同じ最大系列長と推論デバイスを使って計算される(解析前は画面の設定値を使う)。
- 手法1:ニューラル言語モデルの内部:自己注意の重み、各トークンを [MASK] に置き換えたときの確率差の変化、AIモデルの出力値と3クラスの確率、最大クラス確率と下限の比較を図示する。
- 手法2:評価極性辞書の照合:形態素ごとに表記・基本形・品詞を並べ、極性表現を色分けし、否定表現を赤枠で示し、文極性値と判定の範囲を数直線で示す。
- 統合勾配:分点数 m(20〜300、初期値50)を選んで「▶ 統合勾配を計算」を押す。対象は、最後に選んだ文(「③ 文章操作の比較実験」タブの一覧で選んだ場合は変換後の文)、または最後に「▶ 入力文を可視化」を押した入力文である(どちらもなければ入力欄の文)。結果には、各トークンの寄与と、寄与の合計と確率差の変化量の差(検算)が表示される。
- 算出根拠:両手法の算出根拠を省略なしで表示し、2手法の処理の段階を表で対比する。
「⑦ 実行ログ」タブ・「⑧ ヘルプ」タブ
実行ログには、ダウンロード、推論の進捗と残り時間、保存結果などが時刻つきで記録される。処理が完了しなかった場合の詳細もここに表示される。ヘルプには、操作法、手法と統計指標の説明、データ・AIモデル・ライブラリのライセンスと使用条件が収録されている。
exeファイルの作成手順
cd /d c:\users\user\proj\aozora_pn
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest numpy torch transformers datasets fugashi ipadic unidic-lite matplotlib
pyinstaller --onefile --clean --noconfirm --collect-all numpy --collect-all torch --collect-all transformers --collect-all datasets --collect-all fugashi --collect-all ipadic --collect-all unidic-lite --collect-all matplotlib --collect-data unidic_lite aozora_pn.py
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
ソースコード実行のための前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
以下を実行する。
REM PyTorch をインストール(GPU対応版)
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install --no-user transformers datasets fugashi ipadic unidic-lite matplotlib
ソースコード
保存し、Visual Studio Code などで実行する。