ローカル翻訳エンジンと試用 GUI(日本語・英語・中国語(簡体字)・インドネシア語)(ソースコードと説明と利用ガイド)|金子邦彦研究室

ローカル翻訳エンジンと試用 GUI(日本語・英語・中国語(簡体字)・インドネシア語)

プログラムの動作の様子の動画:[動画]

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

説明資料: [PDF], [PPTX] , [動画]

本資料とコードの作成にAIを使用。参考プロンプト: prompt.txt (実際にはこのプロンプトを変更したり、追加のプロンプトを与えている場合がある)

このプログラムの目的

日本語・英語・中国語(簡体字)・インドネシア語の4言語を、利用者のPC上で相互に翻訳するプログラムである。ネットワークを使うのは、モデルを初めてダウンロードするときだけである。原文は外部へ送信されない。

本プログラムは、改行と箇条書きを保ったまま翻訳し、訳文を規則で検査する。そのうえで、問題がありそうな訳文と、言語判定の信頼度スコア(判定の確からしさを表す0〜1の値)が基準値0.70を下回る原文を表示する。

使い方は2通りある。ほかのPythonプログラム(音声認識アプリなど)から読み込む「翻訳モジュール」と、本プログラムを直接実行すると起動する「試用GUI」である。両者は同じ翻訳処理を使う。

翻訳の処理

翻訳は次の順に行われる。

  1. 言語判定:モデルを使わずに原文の言語を判定する。そのため、モデルを読み込む前でも動く。判定結果には信頼度スコアが付く。信頼度スコアは確率ではなく、短い文や複数の言語が混ざった文では低くなる。信頼度スコアが基準値を下回る場合は、翻訳元が「自動判定」であれば、判定結果を確かめるよう注意を表示する。対応言語以外の文字(ハングル、キリル文字など)が半分を超える原文と、文字を含まない原文は「判定できない」とする。翻訳元が「自動判定」の場合、判定できない原文は翻訳しない。
  2. 翻訳先の切り替え:翻訳元と翻訳先が同じ言語の場合は、翻訳先を切り替えて注意を表示する。翻訳元が日本語なら英語に、それ以外なら日本語に切り替える。
  3. 文の分割:行頭の箇条書きの記号・番号・字下げを取り出し、各行を文に分ける。翻訳元が「自動判定」の場合は文ごとにも言語を判定し、信頼度スコアが基準値以上で翻訳先と同じ言語と判定された文は、翻訳せずに原文のまま残す。
  4. 翻訳:文ごとに、次の指定をモデルに渡す。ただし、モデルが指定の形式を公開していない場合は渡さない。
    • 背景情報:直前までの原文の文(最大300文字)
    • 用語集:利用者が指定する原語と訳語の組のうち、その文に原語を含む組
    • 日本語の文体:敬体(です・ます体)か常体(だ・である体)か。翻訳先が日本語の場合だけ指定できる
  5. 検査と生成し直し:訳文を規則で検査する。検査項目は、訳文が空、訳文の途切れ(生成するトークン数の上限に達して途中で切れた訳文)、語句の繰り返し、訳文の言語の誤り、URL・メールアドレス・数値・英字の語や型番の欠落、原文に無い数値の追加、長さの異常、用語集の訳語の欠落、日本語の文体の不一致である。各検査項目には問題の深刻さに応じた重みがある。重みの合計が4以上の文は生成し直し、重みの合計が最も小さい訳文を採用する。数値は、桁区切り、単位(万・億・juta・ribuなど)、漢数字、英語・インドネシア語の数詞(twenty、dua puluhなど)、12時間制による表記の違いを同じ値とみなして検査する。崩れたURLとメールアドレスは、原文の表記に直す。採用した訳文に残った問題は、注意として表示する。
  6. 文体の統一:日本語の文体を「指定しない」場合に、訳文に敬体と常体が混ざったときは、少ない方の文体の文を、多い方の文体で生成し直す。重みの合計が増える場合は置き換えず、そろえられなかった文の数を注意に表示する。
  7. 結合:行頭の記号・改行・空行を元に戻し、訳文を組み立てる。

規則による検査は、誤訳が無いことを保証しない。注意が出た文は、原文と照らし合わせて確かめる。

モデル

2系統のモデルから選ぶ。

CAT-Translateの開発元の評価(BLEU:訳文と人手の訳の一致の度合いを表す指標)では、英日に限ると3.3b(34.80)が7b(34.31)を上回る。開発元が公開した評価に、2系統を同じ条件で比べたものは無い。

初めて使うモデルはダウンロードする。そのため、インターネットへの接続と、次の容量のディスクの空きが必要である。2回目以降は、ネットワークに接続しなくても動く。

モデル重み(モデルのファイル)の大きさ
Hy-MT2-1.8B約4.1 GB
Hy-MT2-7B約16.1 GB
CAT-Translate-1.4b約2.8 GB
CAT-Translate-3.3b約6.7 GB
CAT-Translate-7b約15.0 GB

必要なメモリ(GPUではGPUのメモリ、CPUではPCのメモリ)は、重みの大きさに約1.6 GB(1.5 GiB)を加えた値として見積もる。この値は実測していない目安である。

推奨:使用デバイス、メモリの容量、翻訳方向から、推奨するモデルを理由とともに表示する。候補は、日英・英日ではCAT-Translate、それ以外の方向と翻訳元が決まらない場合(「自動判定」で、判定結果が無いか信頼度スコアが基準値を下回る場合)はHy-MT2である。候補のうちメモリに収まるモデルから、GPUでは最も大きいモデルを、CPUでは最も小さいモデルを推奨する。CPUでの生成は、メモリから重みを読み出す速さで時間が決まることが多く、時間が重みの大きさにほぼ比例するためである。メモリに収まるモデルが無い場合は、推奨できるモデルが無いことを表示する。推奨は表示だけであり、モデルは自動では切り替わらない。

モジュールとしての利用

TranslationEngine(主な引数:model_key、device、progress_callback、cache_dir)

TranslationSession

音声認識との連携に使い、直前の発話を背景情報としてモデルに渡す。翻訳元を指定せず、今回の発話の信頼度スコアが基準値を下回る場合は、直前の発話の言語を翻訳元とし、このことを注意に含める。話題や話者が変わったらreset()を呼ぶ。

翻訳結果には、訳文、実際に使われた翻訳元と翻訳先、言語判定の結果、処理時間、使用デバイス、使用モデル、注意の一覧が含まれる。

画面の操作

python translate.pyを実行すると起動する。画面には次のタブがある。

以下は「翻訳」タブの操作である。

モデル・デバイス

翻訳の設定

原文・訳文・用語集

表示

キー操作

実行上の注意点

exeファイルの作成手順


cd /d c:\users\user\proj\translate
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install -U --no-user pyinstaller pytest torch transformers accelerate huggingface_hub lingua-language-detector jinja2
pyinstaller --onefile --clean --noconfirm  --collect-all torch --collect-all transformers --collect-all accelerate --collect-all huggingface_hub --collect-all lingua-language-detector --collect-all jinja2 translate.py

実行ファイル:[exe]

実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM PyTorch をインストール(GPU対応版)
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user transformers accelerate huggingface_hub lingua-language-detector jinja2

ソースコード

保存し、Visual Studio Code などで実行する。