Whisper のインストール，Whisper を使う Python プログラム（音声からの文字起こし，翻訳）（Python，PyTorch を使用）（Windows 上）

【要約】 Whisperは，音声からの文字起こしや翻訳に使用されるモデルである．このページで説明するWhisperのインストール（Windows）および動作確認手順に従い，Pythonプログラムを使用して実行することができる．FFmpegをインストールすることで，音声ファイルからの文字起こしを実行し，結果をテキストファイルに保存することも可能である．

【目次】

1. 前準備
2. Whisper のインストール（Windows 上）
3. Whisper の動作確認（Windows 上）
4. Whisper を使う Python プログラムの実行（Windows 上）

Whisper

Whisperは，音声からの文字起こし，翻訳 訓練されたモデルが既存のデータセットにゼロショットで適用可能であり、データセット固有のファインチューニングを必要とせずに高品質な結果を達成することを特徴とする．

【文献】

Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever, Robust Speech Recognition via Large-Scale Weak Supervision, arXiv:2212.04356, 2022.

https://cdn.openai.com/papers/whisper.pdf

【サイト内の関連ページ】

• マイクに話しかけた言葉を，リアルタイムにAIが認識（whisper, whisper_mic, Python を使用）（Windows 上）別ページ »で説明

【関連する外部ページ】

• Paper with Code のページ: https://paperswithcode.com/paper/robust-speech-recognition-via-large-scale-1
• Introducing Whisper のページ: https://openai.com/index/whisper/
• GitHub のページ: https://github.com/openai/whisper

【関連項目】 mallorbc の whisper_mic

CUDAツールキットは、GPU上でコードをコンパイルするためにC++コンパイラを必要とする。そのため、事前にMicrosoft C++ Build Tools または Visual Studio (C++開発ワークロードを含む) をインストールしておく必要がある。

REM VC++ ランタイム
winget install --scope machine --accept-source-agreements --accept-package-agreements --silent --id Microsoft.VCRedist.2015+.x64

REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
winget install --id Microsoft.VisualStudio.2022.BuildTools --accept-source-agreements --accept-package-agreements ^
    --override "--passive --wait --norestart --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.ComponentGroup.ClangCL --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.Windows11SDK.26100"

winget list Microsoft.VisualStudio.2022.BuildTools

winget install --scope machine --accept-source-agreements --accept-package-agreements Microsoft.VisualStudio.2022.Community --override "--quiet --add Microsoft.VisualStudio.Workload.NativeDesktop Microsoft.VisualStudio.ComponentGroup.NativeDesktop.Core Microsoft.VisualStudio.Component.VC.CLI.Support Microsoft.VisualStudio.Component.CoreEditor Microsoft.VisualStudio.Component.NuGet Microsoft.VisualStudio.Component.Roslyn.Compiler Microsoft.VisualStudio.Component.TextTemplating Microsoft.VisualStudio.Component.Windows11SDK.26100 Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.ASAN Microsoft.VisualStudio.Component.Vcpkg"

winget install -e --id Python.Python.3.12 --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 AssociateFiles=1 InstallLauncherAllUsers=1"

python --version

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --accept-source-agreements --accept-package-agreements --force --custom "/NORESTART /NOCANCEL /COMPONENTS=""gitlfs"" /o:EditorOption=Notepad /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:DefaultBranchOption=main /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled"

python -m pip install --upgrade pip

python -m pip uninstall torch torchvision torchaudio
# 必要に応じて torchtext, xformers などもアンインストール
# python -m pip uninstall torchtext xformers

# 公式サイトで取得した pip install コマンドを実行
# 例 (CUDA 11.8):
python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

python -c "import torch; print(f'PyTorch Version: {torch.__version__}'); print(f'CUDA Available: {torch.cuda.is_available()}')"

注意点:
conda 環境では，PyTorch のような複雑な依存関係を持つライブラリの場合，pip よりも依存関係の問題が発生することがあります．問題が発生した場合は，pip を使用したインストール（セクション3）を試すことを検討してください．

(1) Miniconda Prompt (または Anaconda Prompt) の起動
管理者として実行で Miniconda Prompt を起動します．

(2) PyTorch のインストール
【注意】 必ず公式サイトで Package に Conda を選択し，生成されたコマンドを使用してください．以下は CUDA 11.8 環境向けの 一例 です．

# 公式サイトで取得した conda install コマンドを実行
# 例 (CUDA 11.8):
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

-c pytorch -c nvidia は，PyTorch と NVIDIA の公式 conda チャネルを指定しています．

(3) インストールの確認

python -c "import torch; print(f'PyTorch Version: {torch.__version__}'); print(f'CUDA Available: {torch.cuda.is_available()}')"

関連情報

【サイト内の関連ページ】

• Windows での PyTorch のインストール: 別ページ »で説明

【関連する外部ページ】

• PyTorch 公式サイト (インストール): https://pytorch.org/get-started/locally/
• PyTorch 公式サイト (トップ): https://pytorch.org/

Whisper のインストール（Windows 上）

FFmpeg のインストール（Windows 上）

Windows での FFmpeg のインストール（Windows 上）: 別ページ »で説明

Whisperのインストール（Windows上）

1. 以下の手順を管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。
。
2. Whisper本体をダウンロードしてインストールします。以下のコマンドを実行してください。

   （注意：環境によっては依存関係のあるFFmpegのインストールも別途必要になる場合があります。）

   python -m pip install -U openai-whisper
   

   
3. （オプション）動作確認用ファイルの準備

   ここでは例として、ホームディレクトリに必要なファイルをダウンロードします。Whisperの公式リポジトリをクローン（複製）することで、テスト用の音声ファイルなどを取得できます。

   まず、ホームディレクトリに移動します。

   cd /d c:%HOMEPATH%
   

   もし以前に同じ名前の 'whisper' ディレクトリが存在する場合は、以下のコマンドで削除します。（注意：このコマンドは 'whisper' フォルダとその中身を完全に削除します。必要なファイルが含まれていないか確認してください。）

   rmdir /s /q whisper
   

   公式リポジトリをクローンします。

   git clone --recursive https://github.com/openai/whisper.git
   

   

コマンドラインでのWhisperの基本的な使い方

インストールが完了したら、コマンドラインからWhisperを使ってみましょう。先ほど（オプションで）ダウンロードしたテスト用音声ファイル (`jfk.flac`) を使って、基本的な文字起こしを試してみます。

基本的なコマンドの書式は以下の通りです。

whisper <音声ファイルパス> --model <モデルサイズ> --language <言語>

• <音声ファイルパス>：文字起こししたい音声ファイルのパスを指定します。（例: `%HOMEPATH%\whisper\tests\jfk.flac`）。MP3, WAV, M4A, MP4など様々な形式に対応しています。
• --model <モデルサイズ>：使用するモデルのサイズを指定します。tiny, base, small, medium, large (または `large-v2`, `large-v3` など最新版) があります。モデルが大きいほど精度は高くなりますが、計算リソース（メモリ、時間）も多く必要になります。tiny.en, base.en, small.en, medium.en といった英語専用モデルもあります。
• --language <言語>：音声の言語を指定します（例: English, Japanese）。指定しない場合、Whisperが自動検出を試みますが、明示的に指定する方が確実です。対応言語は多数あります（例: Chinese, German, Spanish, Russian, Korean, French など）。

1. 次のコマンドを実行して文字起こしを行います。

   実行すると、文字起こし結果がコンソールに表示され、同時に音声ファイルと同じディレクトリにテキストファイル（`.txt`, `.vtt`, `.srt`など）としても保存されます。

   smallモデル, English で実行する場合：

   whisper %HOMEPATH%/whisper/tests/jfk.flac --model small --language English
   

   

   largeモデル, Japanese で実行する場合（もし日本語音声ファイルがあれば）：
   （注意：jfk.flacは英語の音声ファイルのため、Japaneseを指定しても英語として認識される可能性が高いです。日本語の音声ファイルでお試しください。）

   whisper <日本語音声ファイルのパス> --model large --language Japanese
   

   （例：`%HOMEPATH%/whisper/tests/jfk.flac` を large, Japanese で実行した場合の表示例）

   whisper %HOMEPATH%/whisper/tests/jfk.flac --model large --language Japanese
   

2. （補足）音声ファイルの再生

   Windowsでは、コマンドプロンプトから以下のようにパスを指定して実行すると、関連付けられたアプリケーションで音声ファイルが再生される場合があります。（環境によります）

   あるいは、エクスプローラーでファイルを直接ダブルクリックして再生することもできます。

   %HOMEPATH%\whisper\tests\jfk.flac
   

   

4. PythonプログラムからのWhisper利用

コマンドラインだけでなく、PythonスクリプトからWhisperライブラリを直接利用することも可能です。これにより、他のプログラムと連携させたり、より複雑な処理を行ったりすることができます。ここでは、ファイル選択ダイアログで選んだ複数の音声ファイルを順番に文字起こしする簡単な例を示します。

1. Pythonスクリプトの作成

   まず、作業用のディレクトリに移動し、テキストエディタでPythonスクリプトファイルを作成します。ここでは例として、先ほど `git clone` した `whisper` ディレクトリ内に `small.py` という名前で作成します。（別の場所、別のファイル名でも構いません）

   Windows で コマンドプロンプト を起動し、以下を実行します。

   cd /d c:%HOMEPATH%\whisper
   notepad small.py
   

   
2. プログラムコードの入力

   開いたエディタ（メモ帳）に、以下のPythonコードをコピー＆ペーストして保存します。

   このプログラムは、公式の GitHub のページ: https://github.com/openai/whisperで公開されているサンプルコードを参考に、ファイル選択機能などを追加したものです。

   import whisper
   
   # 使用するモデルをロード（初回はダウンロードが実行される）
   # "tiny", "base", "small", "medium", "large"などを指定可能
   model = whisper.load_model("small")
   
   # ファイル選択ダイアログ表示のためのライブラリをインポート
   import tkinter as tk
   from tkinter import filedialog
   
   # ファイル選択ダイアログの準備
   root = tk.Tk()
   root.withdraw() # 空のTkinterウィンドウを非表示にする
   # ファイル選択ダイアログを開き、複数選択を可能にする
   fpaths = filedialog.askopenfilenames()
   
   # 選択された各ファイルに対して処理を実行
   for fpath in root.tk.splitlist(fpaths):
       print("Processing file: ", fpath)
       # 文字起こしを実行（言語を日本語に指定）
       # 必要に応じて language="english" などに変更
       result = model.transcribe(fpath, language="japanese")
       # 結果のテキスト部分を表示
       print("Transcription:")
       print(result["text"])
       print("-" * 20) # ファイルごとの区切り線
   

   コードの簡単な説明:

   • import whisper: Whisperライブラリを使えるようにします。
   • model = whisper.load_model("small"): 使用するWhisperモデル（ここでは "small"）をメモリに読み込みます。指定したモデルがローカルにない場合、自動的にダウンロードされます。
   • import tkinter ...: ファイル選択ダイアログを表示するための準備です。Pythonの標準ライブラリを使用しています。
   • fpaths = filedialog.askopenfilenames(): ファイル選択ダイアログを表示し、ユーザーが選択したファイル（複数可）のパスを取得します。
   • for fpath in ...: 選択されたファイルパスのリストを一つずつ取り出し、ループ処理を行います。
   • result = model.transcribe(fpath, language="japanese"): 各ファイルパス (`fpath`) をWhisperの `transcribe` メソッドに渡し、文字起こしを実行します。ここでは言語を日本語 (`language="japanese"`) に指定していますが、英語の場合は `language="english"` などと指定します。言語を指定しない場合は自動検出されます。
   • print(result["text"]): 文字起こし結果（辞書形式）の中から、テキスト部分 (`"text"`) を取り出してコンソールに出力します。
3. Python プログラムの実行

   作成したPythonスクリプトを実行するには、コマンドプロンプトでスクリプトを保存したディレクトリ（この例では `c:%HOMEPATH%\whisper`）にいることを確認し、以下のコマンドを実行します。

   python small.py
   

   コマンドを実行するとファイル選択ダイアログが表示されるので、文字起こししたい音声ファイルを選択してください（Ctrlキーを押しながらクリックすると複数選択できます）。

   
   Python実行環境について:

   • Windows では通常 python コマンドを使用します。（環境によっては Python ランチャーの py コマンドも利用可能です）
   • Ubuntu などのLinux環境やmacOSでは python3 コマンドを使用するのが一般的です。

   Python 開発環境（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど）を利用すると、コードの編集や実行、デバッグがより効率的に行えます。

   Python のより詳しい情報: 別ページ »

4. 実行結果の確認

   ファイル選択後、選択されたファイルの処理が順番に行われ、完了すると各ファイルの文字起こし結果がコマンドプロンプトの画面に出力されます。