日本語・インドネシア語・英語・中国語のリアルタイム音声翻訳システム
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
このプログラムの目的
日本語・インドネシア語・英語・中国語の 4 言語について、マイクに入力された発話または音声ファイルを音声認識で文字に変換し、指定した言語へ翻訳して画面に表示する Windows アプリケーションである。音声認識・翻訳・音声合成はすべてこの PC 上で実行されるため、発話の内容が外部のサービスへ送られることはない。通信が発生するのは、各モデルを初めて使うときのダウンロードだけである。推論は認識・翻訳とも CTranslate2 で行う。
翻訳方向は、4 言語の全順列 12 通りから 1 つを固定して指定できる(固定方向)。加えて、2 言語の組み合わせ 6 通りの会話モードでは、話された言語を自動判定して組みのもう一方の言語へ翻訳するため、2 人が交互に話す際に方向を切り替える操作が要らない。翻訳せずに認識結果だけを表示するモード(文字起こしのみ)もあり、合計 19 通りから選ぶ。画面の文言は英語と選択中の言語を併記する(文字起こしのみのモードでは 4 言語を併記する)。認識結果(原文)と訳文は、時刻付きで蓄積する別ウィンドウ(結果ウィンドウ)に表示する。認識結果と訳文だけを大きな文字で表示する別ウィンドウ(相手向け表示)も開けるため、画面を相手に向けて見せる使い方にも対応する。
発話の開始と終了の判定は、入力の絶対的な音量ではなく、暗騒音(背景雑音)に対する SN 比(信号対雑音比)で行う。さらに、切り出した発話ごとに目標レベルへ正規化してから認識する。この 2 つにより、マイクが遠くて声が小さい場合と、普通の声量の場合とを、同じ設定のまま扱う。
特徴
暗騒音に追従する発話区間検出
マイク入力は 0.1 秒ごとのブロックに分けられ、各ブロックについて音声帯域(200〜3800 Hz)に帯域制限した実効値(RMS)を求める。レベルの単位 dBFS は、ここでは実効値 1.0 を 0 dB とする対数表示である(フルスケールの正弦波は約 −3 dBFS になる)。発話していない間の暗騒音レベルは、直近 4 秒間の実効値の下位 25 パーセンタイルとして推定するため、咳や物音のような短時間の突発音の影響を受けにくい。推定値は下降には即座に追従し、上昇は毎秒 12 dB までに制限される。発話中は、直近 2 秒間の実効値の最小値に向けてのみ推定値を上げる。推定値の下限は −75 dBFS である。開始直後の 1 秒は暗騒音の測定にあて、この間は発話判定を行わない(測定値の中央値を暗騒音の初期値とする)。発話開始のしきい値と終了のしきい値は別に設定されており(ヒステリシス)、判定が短時間に切り替わり続けることを防ぐ。発話開始と判定された時点より前の音声も一定時間分さかのぼって含めるため、語頭が欠けにくい。こうして切り出した音声を、以下では発話区間と呼ぶ。
使用環境に応じた 2 通りのしきい値設定
画面の使用環境で選ぶ。「静か(屋内)」では、発話開始のしきい値を暗騒音 +6 dB(絶対下限 −68 dBFS)、発話終了のしきい値を暗騒音 +3 dB(絶対下限 −74 dBFS)とし、開始のしきい値以上のブロックが 0.3 秒(3 ブロック)続くと発話開始、終了のしきい値未満が 0.7 秒続くと発話終了と判定し、開始前 0.4 秒分をさかのぼって含める。「騒がしい(飲食店・屋外)」では、開始 +12 dB(絶対下限 −58 dBFS)、終了 +6 dB(絶対下限 −64 dBFS)、開始判定の継続 0.4 秒(4 ブロック)、終了判定の継続 0.9 秒、さかのぼり 0.5 秒となる。発話開始のしきい値は低めに設定し、雑音に由来する出力は認識後の判定で取り除く方針である。切り替わるのは発話区間の切り出し方だけで、音声認識と翻訳の設定は両者で同一である。
長い発話の分割
発話が 7 秒を超えて続いた場合は、0.3 秒の無音(息継ぎ)を見つけた時点で区切って認識に回す。このとき、直前のさかのぼり分を次の発話区間の先頭に含めるため、語の途中で切れても続きが繋がる。息継ぎが無いまま 12 秒に達した場合は、直近 3 秒の範囲で最もレベルの低いブロック(語と語の間である可能性が高い位置)の直後で区切り、それ以降の音声を次の発話区間の先頭に回す。12 秒を上限とすることで、話し続けても表示までの待ち時間が長くなりすぎない。0.35 秒未満の発話区間、全体の実効値が発話終了の絶対下限を下回る発話区間、無音でないブロックが発話開始の判定に要するブロック数(3 または 4)に満たない発話区間は、認識に回さずに破棄する。
発話ごとの自動レベル調整
認識前に、直流成分を除き、80 Hz 付近以下を減衰させる零位相の高域通過処理(空調音や机の振動に由来する低周波成分の除去。80 Hz での減衰量は 6 dB)を施したうえで、実効値が 0.06(約 −24 dBFS)に近づく利得を与える。利得は、標本ピーク値が 0.95 を超えない範囲、かつ最大 30 dB までに制限され、1 倍を下回ることはない。したがって、小さな声は増幅し、普通から大きな声はそのまま扱う。必要な利得が 18 dB 以上だった場合は入力レベルが低い旨を、処理前の標本ピーク値が 0.99 以上に達した場合はクリッピング(波形の飽和)の可能性がある旨を、結果ウィンドウにそれぞれ 1 度だけ案内する。
音声認識モデル・復号・翻訳モデルを選べる
音声認識モデルは、small(約 2.44 億パラメータ、約 483 MB)、large-v3-turbo(約 8.09 億、約 1.62 GB)、large-v3(約 15.5 億、約 3.09 GB)の 3 つから選ぶ。音声認識の復号は、ビーム幅(復号中に保持する候補系列の数)2 の「速度優先」とビーム幅 5 の「精度優先」から選ぶ。翻訳モデルは、NLLB-200 distilled 1.3B(約 13 億パラメータ、約 1.4 GB)と、GPU 向けの NLLB-200 3.3B(約 33 億パラメータ、約 6.7 GB)から選ぶ。計算型(重みと演算の数値形式)は、実行時に CTranslate2 へ対応状況を問い合わせ、CPU では int8、GPU では float16 を第一候補として決める。
会話モードの言語判定
音声区間検出(Silero VAD)で非発話部分を除いた音声の先頭 30 秒について、音声認識モデルが出力する言語識別の事後確率を求め、選択中の 2 言語に限定して比較し、値が大きい方の言語で認識する。非発話部分を除いた結果、発話が残らない場合は、言語識別も認識も行わない。さらに、認識結果の文字体系(仮名、漢字、ラテン文字)で判定を補正し、補正によって言語が変わった場合は、その言語を指定して認識をやり直す。やり直した結果が得られない場合、または文字体系がその言語と矛盾する場合は、最初の結果を採用する。文字起こしのみのモードでは、同じ処理を 4 言語に限定して行う。結果ウィンドウに表示される「言語識別の事後確率」は、Whisper が対応する全言語に対するモデルの出力値であり、2 言語の間で正規化した値でも、較正された統計的信頼度でもない。値が大きいことは認識内容の正しさを示すものではない。
誤出力の除去
無音や雑音に対して音声認識モデルが音声に存在しない文字列を生成する現象(ハルシネーション)に備え、次の出力を破棄する。「ご視聴ありがとうございました」「Thanks for watching」「请不吝点赞」などの定型句を含む 60 文字以下の出力、同じ断片の繰り返しだけで構成される出力、8 文字以上で 2 種類以下の文字だけから成る出力、文字体系が言語と矛盾する出力である。音声認識モデルは、時刻付きの認識結果をセグメントという単位で出力する。セグメントのうち、非発話確率(そのセグメントが発話を含まない確率としてモデルが出力する値)が 0.6 以上のもの、または圧縮率(認識結果の文字列のバイト数を、zlib で圧縮した後のバイト数で割った値。同じ語句の繰り返しが多いと大きくなる)が 2.4 以上のものも採用しない。マイク入力ではさらに、セグメントの長さの合計が 0.25 秒未満の場合、その合計が 1 秒未満かつ発話区間の長さの 2 割未満の場合、記号と空白を除いて 4 文字以下の出力または謝辞だけの出力で非発話確率が 0.3 以上の場合、4 文字以上の同じ内容が 8 秒以内に繰り返された場合も破棄する。破棄した件数は、操作画面の下部の状態表示に示される。平均対数確率による棄却は行わない(正規の発話でもしきい値を下回ることがあるため)。
本アプリの合成音声の除去
音声合成の再生中もマイク入力の処理は止めない。スピーカーから出た合成音声をマイクが拾った場合は、直前 12 秒以内に合成した文と認識結果を照合し、記号と空白を除いて 4 文字以上の認識結果について、類似度(Python の difflib.SequenceMatcher による、一致する文字数の 2 倍を両者の文字数の和で割った値)が 0.82 以上の場合、または 6 文字以上で一方が他方を含む場合に、その発話を破棄する。発話区間の 6 割以上が再生中(再生終了後 0.4 秒を含む)と重なっていた場合は、類似度 0.45 以上で破棄する。ヘッドセットとスピーカーのどちらを使うかを設定する項目は無い。
CPU と GPU の切り替え
起動時に CTranslate2 へ CUDA デバイス数を問い合わせ、さらに CUDA 12 用の cuBLAS と cuDNN の DLL を読み込めるかを確かめる。両方を満たす場合に GPU を選択でき、前回の選択が無い場合の初期値も GPU とする。GPU はあるが DLL を読み込めない場合は、GPU を選べない理由が画面に表示される。音声認識モデル・翻訳モデルの選択と実行デバイスの選択は独立しており、どのモデルも CPU と GPU の双方で実行できる。一般に、パラメータ数が多いモデルほど誤りは少なくなるが、1 発話あたりの処理時間は長くなり、その差は GPU より CPU で大きくなる。
音声ファイルの処理
入力元としてマイクのほかに音声ファイル(wav, mp3, m4a, flac, ogg)を選べる。ファイルは音声区間検出で最長 30 秒のチャンクに分け、各チャンクを一括推論(バッチ推論)で独立に処理し、セグメントごとに開始・終了時刻を付けて表示する。進捗バーは、処理を終えたセグメントの終了時刻が音声全体の長さに占める割合を示す。チャンクの間で文脈を受け渡さないため、逐次処理とは認識結果が異なる場合がある。会話モードと文字起こしのみのモードでも、言語の判定は発話部分の先頭 30 秒で 1 回だけ行い、ファイル全体をその言語として処理する。
機能概要
マイク入力の処理は次の順序で行われる。
- 音声の取り込み:選択したマイクから 16 kHz・モノラルで 0.1 秒単位に音声を受け取る。
- 発話区間の切り出し:暗騒音に対する SN 比で発話の開始と終了を判定する。
- 音声の整形:高域通過処理と、目標レベルへの正規化を行う。
- 音声認識:faster-whisper で文字に変換する。このとき同ライブラリ内蔵の Silero VAD による非発話部分の除去も適用される。
- 翻訳:認識結果を文単位に分け、NLLB-200 に翻訳先の言語を指定して翻訳する。
- 出力:認識結果(原文)と訳文を時刻付きで結果ウィンドウに追記する。相手向け表示を開いていればその内容も更新し、読み上げが有効であれば訳文を音声合成で再生する。認識の開始から表示までの時間(処理待ちの時間を除く)が状態表示に示される。
音声の取り込み、発話区間検出、認識と翻訳、読み上げはそれぞれ別のスレッドで動き、キューを介して受け渡される。内蔵の音声合成は別のプロセスで動く。処理待ちの発話が 3 件以上になった場合は、発話を破棄せず順に処理するが入力に追いついていない旨を 1 度だけ案内する。
会話ログは自動保存される。起動後に初めて開始したときに、logs フォルダへ conversation_日付_時刻.txt(BOM 付き UTF-8)が作られ、以後はそのファイルに、開始ごとの時刻と翻訳方向、認識結果と訳文の行が逐次書き出される。入力レベルやクリッピングの案内、エラーの通知は画面にのみ表示され、ログには含まれない。
読み上げには、Windows の音声合成(SAPI)を用いる。日本語は ja-JP、英語は en-US / en-GB / en-AU / en-CA、インドネシア語は id-ID、中国語は zh-CN / zh-SG の順に音声を探す。SAPI5 の一覧に加えて、レジストリに OneCore 音声の登録先がある場合はその一覧も検索する。Windows に音声が無い言語は、内蔵の音声合成(sherpa-onnx。日本語・インドネシア語・英語は Supertonic 3、中国語は Piper「xiao_ya」)で読み上げる。内蔵の音声合成もこの PC 上だけで動作する。言語ごとに使用する音声は、画面の「Synthesis voices(使用する合成音声)」の欄に示される。
モデルの取得・読み込み、認識、翻訳、読み上げのいずれかでエラーが発生した場合は、処理を停止し、エラーの内容を状態表示と結果ウィンドウに表示する。GPU に関するエラーでは、実行デバイスを CPU にするか、より小さい音声認識モデルまたは翻訳モデルを選ぶよう案内する。マイクの接続が失われた場合も処理を停止し、その旨を表示する。いずれの場合も、再度開始すると、停止していた読み上げの処理と内蔵の音声合成のプロセスは必要に応じて起動し直される。
翻訳方向、音声認識モデル、復号の設定、翻訳モデル、実行デバイス、使用環境、入力元、選択した音声ファイル、マイク、読み上げの有無、結果ウィンドウと相手向け表示を開いているか、文字サイズ、操作画面と結果ウィンドウの位置と大きさは、開始時と終了時に settings.json に保存され、次回の起動時に復元される。
画面操作およびキー操作
Direction(翻訳方向)
19 項目から選ぶ一覧である。前半 12 項目は「Japanese → English」のような固定方向で、指定した言語で認識し、指定した言語へ翻訳する。続く 6 項目は「Conversation: Japanese ⇔ Indonesian (language auto-detected)」のような会話モードで、話された言語を自動判定して組みのもう一方の言語へ翻訳する。最後の 1 項目は「Transcribe only (no translation)(文字起こしのみ)」で、話された言語を 4 言語の中から自動判定して認識結果だけを表示する。選択を変えると、画面全体の文言が英語と選択中の言語の併記に切り替わる。前回の選択が無い場合の初期値はインドネシア語 → 日本語である。動作中も変更でき、マイク入力では次の発話から反映される(音声ファイルの処理では、開始時の翻訳方向を用いる)。会話モードまたは文字起こしのみのモードで開始すると、言語識別の事後確率の意味が結果ウィンドウに表示される。
⇄ Swap(入れ替え)
固定方向を選んでいるときに押すと、逆方向(例:Japanese → English から English → Japanese)に切り替える。会話モードと文字起こしのみのモードは方向を持たないため、これらの選択中は無効になる。
Audio input(音声の入力元:マイク / 音声ファイル)
マイクを選ぶとマイクの一覧が、音声ファイルを選ぶとファイル選択ボタンが表示される。
Microphone(マイク)
16 kHz・モノラルで実際に開けるマイクだけが並び、Windows の既定のマイクが初期選択される(前回選んだマイクがある場合はそれを復元する)。該当するマイクが 1 つもない場合は、その旨が表示され、マイク入力では開始できない。
Speech recognition model(音声認識モデル)
Standard (small)、High accuracy (large-v3-turbo)、Highest accuracy (large-v3) から選ぶ。パラメータ数とダウンロード量、および処理時間との関係が下に表示される。CPU で large-v3-turbo または large-v3 を選んだ場合は、1 発話の処理に数秒以上かかることがある旨が案内される。
Decoding(復号:ビーム探索)
速度優先(ビーム幅 2)と精度優先(ビーム幅 5)から選ぶ。ビーム幅は広げるほど誤りが減る傾向にあるが、計算量は増える。faster-whisper の既定値は 5 である。この設定は音声認識にのみ適用される。
Translation model(翻訳モデル)
Standard (NLLB-200 distilled 1.3B) と High accuracy, for GPU (NLLB-200 3.3B) から選ぶ。パラメータ数とダウンロード量が下に表示される。NLLB-200 3.3B は GPU では float16 で実行し、音声認識モデルとは別に約 8 GB の GPU メモリを使用する(GPU メモリ 16 GB 程度の GPU を想定している)。CPU でこのモデルを選んだ場合は、読み込みに時間がかかり 1 文の翻訳に数秒以上かかることがある旨が案内される。
Compute device(実行デバイス:CPU / GPU)
処理を実行する装置を選ぶ項目である。GPU は、CUDA 対応 GPU があり、CUDA 12 用の cuBLAS と cuDNN を読み込める場合にのみ選択できる。
Environment(使用環境:静か(屋内) / 騒がしい(飲食店・屋外))
発話の開始と終了を判定するしきい値と、判定に要する時間を切り替える項目である。周囲の雑音で発話が誤検出される場合は「騒がしい」を選ぶ。
マイク、音声認識モデル、復号の設定、翻訳モデル、実行デバイス、使用環境は、動作中は変更できない。停止して選び直し、再度開始すると反映される。
▶ Start / ■ Stop(開始・停止)
処理の開始と停止を切り替える。F5 キーでも切り替えられる。開始時には、モデルの読み込み(初回はダウンロード)と初回の推論(ウォームアップ)のため待ち時間が生じ、その状況が状態表示と進捗バーに示される。読み上げが有効な場合は、内蔵の音声合成を必要とする言語の音声モデルもこのときに準備する。マイク入力では、開始直後の約 1 秒は暗騒音を測定するため、話さずに待つ。停止すると、再生待ちの読み上げは破棄される。
Clear(表示を消去)/Open log(ログを開く)/Copy latest result(最新の結果をコピー)
Clear は結果ウィンドウの表示を消し、入力レベル・クリッピング・処理の遅れの案内を再度表示できる状態に戻し、破棄件数の表示を 0 に戻す。保存済みのログファイルは消えない。Open log は自動保存されたログファイルを Windows の既定のアプリで開く(まだログが無い場合は logs フォルダを開く)。Copy latest result は最新の訳文(文字起こしのみのモードでは認識結果)をクリップボードへコピーする。
Read translations aloud(訳文を音声合成で読み上げる)
訳文を音声合成で読み上げる。Windows の音声の検索が済むと操作できるようになる。内蔵の音声合成を必要とする言語の音声モデルは、読み上げを有効にした状態で開始したとき、または動作中にチェックを入れたときに準備する(初回はダウンロードする)。準備が済む前に得られた訳文は読み上げない。読み上げ待ちが 8 件に達すると、古いものから破棄する。チェックを外すと、再生中の読み上げを止め、再生待ちの分は破棄される。
Results window(結果ウィンドウ)
結果ウィンドウを開く。認識結果は灰色、訳文は青で表示する。表示が 4000 行を超えると、古い行から 500 行ずつ削除される。
Partner view(相手向け表示)
黒地に、認識結果(灰色)と訳文(白の太字)だけを表示する別ウィンドウを開く。文字起こしのみのモードでは、認識結果を訳文の位置に表示する。訳文の文字サイズは、ウィンドウに収まる最大の大きさ(24〜120 ポイント)に自動調整され、最小の大きさでも収まらない場合は、先頭を「…」で省いて末尾を表示する。原文は訳文の 0.42 倍(12〜40 ポイント)の大きさで最大 2 行表示する。1 件の訳文は、空白を除いた文字数を言語ごとの読字速度(日本語 4、中国語 9、インドネシア語 17、英語 20 文字/秒。Netflix の字幕ガイドラインの上限値)で割った時間(2〜7 秒の範囲に収める)が経過するまで表示を続ける。その間に届いた訳文は、経過後に、新しいもの最大 3 件を届いた順につなげて表示する。このウィンドウは常に最前面に表示される。F11 キーまたはダブルクリックで全画面、Esc で元に戻る。ウィンドウ側の閉じるボタンで閉じてもよく、その場合はチェックが自動的に外れる。
Input level(入力レベル:dBFS)のメーター
音声帯域(200〜3800 Hz)に帯域制限した実効値を、−70〜0 dBFS の範囲で 10 dB 間隔の目盛とともに表示する。バーは上昇には即座に追従し、下降時は毎秒 60 dB で減衰させて表示する。右端の数値はバーの値である。点線は暗騒音レベルの推定値、橙色の線は発話開始のしきい値(暗騒音 +6 dB と絶対下限 −68 dBFS の高い方。使用環境が「騒がしい」の場合は +12 dB と −58 dBFS の高い方)である。バーの色は、しきい値未満で灰色、しきい値以上で緑となり、直近 1 秒以内に入力の標本ピーク値がフルスケールの 99% 以上に達した場合(クリッピングの可能性がある場合)は赤になる。赤が続く場合はマイクの入力音量を下げる。発話中と判定されている間は、メーターの右に「Speech detected(発話を検出中)」が表示される。
文字サイズのスライダー
結果ウィンドウにあり、認識結果(原文)の行と訳文の行について、それぞれ ×1.0、×1.2、×1.5、×2.0、×2.5、×3.0 の 6 段階で文字を拡大する。基準の大きさは原文が 11 ポイント、訳文が 14 ポイントの太字である。Ctrl + マウスホイールで両方を同時に変更できる。
キー操作
F5 キーで開始と停止を切り替える。相手向け表示では F11 キーまたはダブルクリックで全画面、Esc キーで元に戻る。結果ウィンドウでは Ctrl + マウスホイールで文字サイズを変える。このほか、Tab キーによるフォーカス移動、フォーカスのあるボタンやチェックボックスの Space キーでの実行、一覧やスライダーの矢印キーでの変更、ウィンドウの閉じる操作(Alt+F4 を含む)での終了が使える。終了時には、設定の保存、マイクの停止、読み上げの終了、ログファイルの終了処理が行われる。
使用技術
音声認識:faster-whisper(CTranslate2 版 Whisper)
faster-whisper は、OpenAI の Whisper を Transformer 向け推論エンジン CTranslate2 で再実装したものである。本プログラムは faster-whisper 1.1 以降を前提とし、small(Systran/faster-whisper-small)、large-v3-turbo(mobiuslabsgmbh/faster-whisper-large-v3-turbo)、large-v3(Systran/faster-whisper-large-v3)を、選択に応じて Hugging Face Hub から取得する。large-v3-turbo は Whisper large-v3 のデコーダを 32 層から 4 層に減らした派生モデルで、開発元の OpenAI は、品質のわずかな低下と引き換えに大幅に高速化したと説明している。認識は、30 秒単位で復号する際に直前の認識結果を次の復号の条件(プロンプト)として与えない設定と、圧縮率が 2.4 を超えた場合に温度を 0.0 → 0.2 → 0.4 と上げて再復号する設定で行う。同じ語句の繰り返しを禁止する設定や繰り返しへの減点は、正当に繰り返される語句の確率まで下げるため用いず、繰り返しの暴走は圧縮率による再復号と棄却で除く。認識時の非発話部分の除去には faster-whisper が同梱する Silero VAD を用い、しきい値 0.35、最小発話 100 ms、最小無音 250 ms、前後の余白 250 ms を指定している。この VAD は、マイク入力を継続的に監視して発話を切り出す SN 比による検出とは別に、認識対象の音声の内部で働く仕組みである。
翻訳:NLLB-200(CTranslate2 変換版)
Meta の No Language Left Behind プロジェクトによる多言語翻訳モデル NLLB-200 を、CTranslate2 形式に変換したものを用いる。標準の翻訳モデルは蒸留版の NLLB-200 distilled 1.3B を int8 で保存したもの(OpenNMT/nllb-200-distilled-1.3B-ct2-int8)、GPU 向けの翻訳モデルは NLLB-200 3.3B を float16 で保存したもの(entai2965/nllb-200-3.3B-ctranslate2-float16)である。保存時と異なる計算型で実行する場合は、読み込み時に型を変換する(標準の翻訳モデルを GPU で使う場合は float16、3.3B を CPU で使う場合は int8)。トークン化には、変換済みモデルと同じリポジトリの tokenizer.json を tokenizers ライブラリで直接読み込む。言語は jpn_Jpan(日本語)、ind_Latn(インドネシア語)、eng_Latn(英語)、zho_Hans(簡体字中国語)のコードで指定する。NLLB-200 の入力形式に従い、原文側は言語コードで始めて末尾に </s> を付け、出力側は先頭に翻訳先の言語コードを与える。認識結果は句読点で文に分け(220 文字を超える文は読点・カンマで分け)、一括で翻訳し、日本語と中国語では空白を入れずに連結する。生成の設定はビーム幅 CPU 2 / GPU 4、最大 256 トークンである。繰り返しの抑制は、同じトークン列の繰り返しの禁止だけで行い、禁止する長さは翻訳先が英語・インドネシア語の場合は 4 トークン、日本語・中国語の場合は 6 トークンとする。英語・インドネシア語で 3 トークンにしないのは、「one of the」のように 1 文の中で正当に繰り返される句まで生成できなくなるためであり、日本語・中国語で長くするのは、トークンが短く、助詞などが 1 文の中で正当に繰り返されるためである。既出トークンへの減点は、機能語のように正当に繰り返されるトークンの確率も下げるため用いない。
音声入力・信号処理・画面
マイク入力は sounddevice(PortAudio)、画面は Python 標準の Tkinter(ttk)で構成する。発話区間検出に用いる帯域内の実効値は、ハン窓を掛けた高速フーリエ変換(FFT)から 200〜3800 Hz の成分を取り出して算出する。認識前の高域通過処理は、周波数領域で振幅特性 f²/(f²+80²)(f は周波数 [Hz])を掛ける方式で、位相を変えずに 80 Hz 付近以下を減衰させる。
読み上げ:Windows の音声合成(SAPI)と内蔵の音声合成(sherpa-onnx)
pywin32 経由で Windows の音声合成インターフェース SAPI を利用し、言語ごとに 1 つの音声を選んで再生する。SAPI5 の一覧に加え、OneCore 音声の登録先がレジストリにある場合はその一覧も検索する。Windows に音声が無い言語は、sherpa-onnx(1.13.8 以降)による内蔵の音声合成で読み上げる。日本語・インドネシア語・英語には Supertonic 3(約 129 MB)、中国語には Piper の標準中国語音声 xiao_ya(約 60 MB)を用い、音声モデルは sherpa-onnx の公式リリースから自動でダウンロードする。内蔵の音声合成は別プロセスで実行する。sherpa-onnx が同梱する onnxruntime.dll を、faster-whisper が Silero VAD に使う onnxruntime と同じプロセスに読み込むと、版の不一致で失敗することがあるためである。子プロセスでは、sherpa-onnx に同梱の DLL を、System32 などにある別の版の onnxruntime.dll より先に探させる。pywin32 は必須である。
モデルの保存場所
スクリプト(実行ファイル化した場合は実行ファイル)と同じ場所の models フォルダに保存する。音声認識モデルは models/asr/モデル名、翻訳モデルは models/nllb-200-distilled-1.3B-ct2-int8 または models/nllb-200-3.3B-ct2-float16、内蔵の音声合成のモデルは models/tts/モデル名に置かれ、Hugging Face のキャッシュ(環境変数 HF_HOME)は models/_hf_cache を指す。取得が完了したフォルダには目印のファイルが作られ、以後は通信せずにそのモデルを読み込む。会話ログは同じ場所の logs フォルダ、設定は settings.json に保存される。
実行ファイル化(PyInstaller --onefile)
PyInstaller 6 以降の --onefile で、1 つの実行ファイルにできる。作成コマンドはコードの冒頭に記載している。faster_whisper のデータ(Silero VAD のモデル)と sherpa_onnx の DLL は自動では同梱されないため、そのコマンドのオプションで同梱する。内蔵の音声合成の子プロセスも同じ実行ファイルとして起動される。--windowed で作成した場合は標準出力と標準エラー出力が存在しないため、ライブラリによる書き込みは破棄される。
実行上の注意点
- 各モデルは初めて使うときにダウンロードするため、その時点でネットワーク接続が必要であり、時間がかかる。音声認識モデルと翻訳モデルは開始時に、内蔵の音声合成のモデルは読み上げを有効にした状態で開始したとき、または動作中に読み上げを有効にしたときに取得する。取得量は、音声認識モデルが small で約 483 MB、large-v3-turbo で約 1.62 GB、large-v3 で約 3.09 GB、翻訳モデルが NLLB-200 distilled 1.3B で約 1.4 GB、NLLB-200 3.3B で約 6.7 GB、内蔵の音声合成のモデルが Supertonic 3 で約 129 MB、Piper xiao_ya で約 60 MB である。モデルを切り替えると、そのモデルが追加で必要になる。取得済みのモデルは models フォルダ内のファイルが再利用される。
- 翻訳モデル NLLB-200 の利用許諾は CC-BY-NC 4.0(非営利)である。業務や商用での利用を検討する場合は、この条件を確認する必要がある。内蔵の音声合成のモデルにも、それぞれの配布元が定める利用条件がある。
- 翻訳モデルの提供元は、このモデルを研究用として公開しており、実運用向けには公開していないこと、1 文単位の翻訳を前提とすること、医療や法務などの専門分野の文章には適さないこと、出力を認証翻訳(公式の訳文)として用いることはできないことを明示している。重要な判断を伴う場面では、訳文をそのまま根拠にしない運用が必要である。
- 1 つの発話は 7 秒を超えると息継ぎで区切られ、息継ぎが無い場合は12 秒で分割される。息継ぎを挟んで話すと、語の途中で区切られにくい。
- 固定方向(例:Japanese → English)を選んでいる間は、指定した言語として認識される。2 人が交互に別の言語で話す場面では、会話モードを選ぶ。会話モードでも、選択した 2 言語以外を話した場合は、その 2 言語のうち事後確率が大きい方として扱われる。
- マイクの接続が失われた場合は自動的に停止し、その旨が表示される。デバイスを確認したうえで、もう一度開始する。
- 処理中にエラーが起きた場合は処理が停止し、画面にエラーが表示される。GPU 使用時にエラーが繰り返される場合は、GPU のメモリ不足が考えられるため、CPU に切り替えるか、より小さい音声認識モデルまたは翻訳モデルを選ぶ。
- GPU を使う場合は、CTranslate2 が要求する cuBLAS(CUDA 12 用)と cuDNN 9(CUDA 12 用)が必要である。これらの DLL は、PATH の通ったフォルダ、環境変数 CUDA_PATH の bin、pip の nvidia-cublas-cu12・nvidia-cudnn-cu12 が置く site-packages/nvidia/*/bin(実行ファイルに同梱した場合はその展開先)から探す。CUDA 12 かつ cuDNN 8 の環境では ctranslate2 を 4.4.0 に下げるという回避方法が、faster-whisper の公式ドキュメントで案内されている。CUDA 11 用の回避方法として案内されている ctranslate2 3.24.0 は、本プログラムが前提とする faster-whisper 1.1 以降の要件(ctranslate2 4.0 以上)を満たさないため、CUDA 11 環境では GPU を使えない。
- Windows に翻訳先の言語の音声が無い場合も、内蔵の音声合成で読み上げられる。Windows の音声で読み上げたい場合は、Windows の設定で言語と音声機能を追加する。
- 相手向け表示は常に最前面に出るため、他の作業の妨げになる場合はチェックを外して閉じる。
exeファイルの作成手順
c:\users\user\proj\transcribeに、ソースコードtranscribe.pyを置く。
実行時にインターネット接続がなくても済むようにいくつかの特別の設定を行っている。
cd /d c:\users\user\proj\transcribe
python -m venv venv
venv\Scripts\activate.bat
python -m pip install --upgrade pip
pip install pyinstaller sounddevice pytest "faster-whisper>=1.1" ctranslate2 tokenizers huggingface_hub numpy sounddevice pywin32 "sherpa-onnx>=1.13.8"
REM ここでコードを起動 python transcribe.py モデルファイルをダウンロード
pyinstaller --onefile --clean --noconfirm --windowed --add-data "models:models" --collect-data faster_whisper --collect-binaries ctranslate2 --collect-binaries onnxruntime --collect-all sherpa_onnx transcribe.py
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
ソースコード実行のための前準備
Python 3.12 のインストール
Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。
[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]
Windows での Python 3.12 のインストール
以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。
方法 1:winget によるインストール
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。
--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。
REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"
REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"
REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
方法 2:インストーラーによるインストール
- Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
- ダウンロードしたインストーラーを実行する。
- 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから
pythonコマンドを実行できない。 - 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。
インストールの確認
コマンドプロンプトで以下を実行する。
python --version
バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。
Python の開発環境 Visual Studio Code のインストールと Python 用の設定
Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。
[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]
Windows での Visual Studio Code のインストールと Python 用の設定手順
1. VS Code と拡張機能のインストール
以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.
【インストールコマンドの実行方法】
管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。
インストールコマンド
REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)
REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T
REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"
REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f
REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"
REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"
REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===
2. Python インタプリタの選択
同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.
- コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(
Ctrl+Shift+P) Python: Select Interpreterと入力する
- 表示される一覧から,使用する Python(例:
C:\Program Files\Python312\python.exe)を選択する.
必要なライブラリをシステム領域にインストール
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
以下を実行する。
REM インストール
set "CUDA_TAG=cu128"
pip install --no-user -U numpy torch --index-url https://download.pytorch.org/whl/%CUDA_TAG%
pip install -U --no-user "faster-whisper>=1.1" ctranslate2 tokenizers huggingface_hub sounddevice pywin32 "sherpa-onnx>=1.13.8" onnxruntime-gpu