CREPE のインストール，CREPE を用いた音声分析プログラム（音のピッチ推定）（Python，TensorFlow を使用）（Windows 上）

前準備

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100"

winget list Microsoft.VisualStudio.BuildTools

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

python --version

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"

REM 7-Zip をシステム領域にインストール
winget install --scope machine --id 7zip.7zip -e --silent --installer-type msi --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/qn /norestart"
REM 7-Zip のパス設定
powershell -NoProfile -Command "$p='C:\Program Files\7-Zip'; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and $c -notlike \"*$p*\"){[Environment]::SetEnvironmentVariable('Path',\"$p;$c\",'Machine')}"

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100"

winget list Microsoft.VisualStudio.BuildTools

NVIDIA CUDA Toolkit 12.8のインストール

• 前提条件（NVIDIA CUDA Toolkit インストール前）: NVIDIA GPU，NVIDIA ドライバ，および Build Tools for Visual Studio もしくは Visual Studio が必要である．
• インストール中の注意: なるべく他のウインドウはすべて閉じておくこと．

以下のコマンドを管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

REM NVIDIA CUDA Toolkit 12.8 をシステム領域にインストール
winget install --scope machine --id Nvidia.CUDA --version 12.8 -e --silent --disable-interactivity --force --uninstall-previous --accept-source-agreements --accept-package-agreements --override "-s -n"

REM 環境変数TEMP, TMPの設定（一時ファイルの保存先を短いパスに変更）
mkdir C:\TEMP
set "TEMP_PATH=C:\TEMP"
setx TEMP "%TEMP_PATH%" /M >nul
setx TMP "%TEMP_PATH%" /M >nul

NVIDIA cuDNN 8.9.7 のインストール（Windows 上）

zlib のインストール（Windows 上）

1. 次のコマンドを管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

次のコマンドは，zlibをインストールし，パスを通すものである．

cd /d c:%HOMEPATH%
rmdir /s /q zlib
git clone https://github.com/madler/zlib
cd zlib
del CMakeCache.txt
rmdir /s /q CMakeFiles
cmake . -A x64 -T host=x64 -DCMAKE_INSTALL_PREFIX=c:/zlib
cmake --build . --config Release --target INSTALL
powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"Path\", \"Machine\"); $oldpath += \";c:\zlib\bin\"; [System.Environment]::SetEnvironmentVariable(\"Path\", $oldpath, \"Machine\")"
powershell -command "[System.Environment]::SetEnvironmentVariable(\"ZLIB_HOME\", \"C:\zlib\", \"Machine\")"

【関連する外部ページ】

• zlib の公式ページ: https://www.zlib.net/

【関連項目】 zlib

NVIDIA cuDNN 8.9.7 のインストール（Windows 上）

1. NVIDIA cuDNN のウェブページを開く

   https://developer.nvidia.com/cuDNN

2. ダウンロードしたいので，cuDNNのところにある「Download cuDNN」をクリック．
   
3. cuDNN Downloads のページで「Archive of Previous Releases」をクリック
   
4. 「cuDNN 8.x - 1.x」をクリック
   
5. ダウンロードしたいバージョンを選ぶ

   ここでは「NVIDIA cuDNN v8.9.7 for CUDA 11.x」を選んでいる．

   このとき，画面の「for CUDA ...」のところを確認し，使用するNVIDIA CUDA のバージョンに合うものを選ぶこと．

   
6. Windows にインストールするので Windows 版を選ぶ
   
7. NVIDIA Developer Program メンバーシップに入る

   NVIDIA cuDNN のダウンロードのため．

   「Join now」をクリック．その後，画面の指示に従う． 利用者本人が，電子メールアドレス，表示名，パスワード，生年月日を登録．利用条件等に合意．

   
8. ログインする
   
9. 調査の画面が出たときは，調査に応じる
10. ライセンス条項の確認
    
11. ダウンロードが始まる．
    
12. ダウンロードした .zip ファイルを展開（解凍）する． その中のサブディレクトリを確認しておく．
    Windows での展開（解凍）に便利な 7-Zip: 別ページ »で説明
    
13. NVIDIA CUDA ツールキットをインストールしたディレクトリを確認する．「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8」のようになっている．
    
14. 確認したら， さきほど展開してできたすべてのファイルとディレクトリを，NVIDIA CUDA ツールキットをインストールしたディレクトリにコピーする
    
15. パスが通っていることを確認．

    次の操作により，cudnn64_8.dll にパスが通っていることを確認する．

    Windows のコマンドプロンプトを開き，次のコマンドを実行する．エラーメッセージが出ないことを確認．

    where cudnn64_8.dll
    

    
16. Windows の システム環境変数 CUDNN_PATH の設定を行う． Windows では， コマンドプロンプトを管理者として開き， 次のコマンドを実行することにより， システム環境変数 CUDNN_PATH の設定を行うことができる．
    コマンドプロンプトを管理者として実行: 別ページ »で説明

    powershell -command "[System.Environment]::SetEnvironmentVariable(\"CUDNN_PATH\", \"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\", \"Machine\")"
    

    

TensorFlow 2.10.1 のインストール（Windows 上）

1. 以下の手順を管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。
2. TensorFlow 2.10.1 のインストール（Windows 上）

   次のコマンドを実行することにより，TensorFlow 2.10.1 および関連パッケージ（tf_slim，tensorflow_datasets，tensorflow-hub，Keras，keras-tuner，keras-visualizer）がインストール（インストール済みのときは最新版に更新）される． そして，Pythonライブラリ（Pillow, pydot, matplotlib, seaborn, pandas, scipy, scikit-learn, scikit-learn-intelex, opencv-python, opencv-contrib-python）がインストール（インストール済みのときは最新版に更新）される．

   python -m pip uninstall -y protobuf tensorflow tensorflow-cpu tensorflow-gpu tensorflow-intel tensorflow-text tensorflow-estimator tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
   python -m pip install -U protobuf tensorflow==2.10.1 tf_slim tensorflow_datasets==4.8.3 tensorflow-hub tf-keras keras keras_cv keras-tuner keras-visualizer
   python -m pip install git+https://github.com/tensorflow/docs
   python -m pip install git+https://github.com/tensorflow/examples.git
   python -m pip install git+https://www.github.com/keras-team/keras-contrib.git
   python -m pip install -U pillow pydot matplotlib seaborn pandas scipy scikit-learn scikit-learn-intelex opencv-python opencv-contrib-python
   

crepe のインストールとテスト実行（Windows 上）

1. 以下の手順を管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。
2. crepe のインストール
   * 「 python -m pip install ...」は，Pythonのライブラリをインストールするためのコマンド．

   cd /d c:%HOMEPATH%
   rmdir /s /q crepe
   git clone https://github.com/marl/crepe
   cd crepe
   python setup.py install
   

   
3. 動作確認のため，ピッチ推定を行ってみる

   crepe --model-capacity medium --save-activation tests\sweep.wav
   more tests\sweep.f0.csv
   

   
4. 「crepe -h」 を実行することにより，説明が表示される．
   

CREPE のプログラム

プログラム１つめ

1. Windows で，コマンドプロンプトを実行
2. エディタを起動

   cd /d c:%HOMEPATH%
   notepad pycrepe.py
   

   
3. エディタで，次のプログラムを保存
   このPythonプログラムは，ユーザーが選択した音声ファイルを解析し，ピッチ情報を抽出する．結果は出力フォルダに保存され，周波数とアクティベーションの要約統計とグラフが表示される．音声処理にはオープンソースのcrepeライブラリを使用している．

   【説明】

   このプログラムは以下の主な機能を持っている．

   1. ユーザーが音声ファイル（WAV形式）を選択できる．
   2. 音声ファイルを処理し，ピッチ情報（時間，周波数，信頼度，アクティベーション）を抽出する．
   3. 抽出された情報を，指定された出力フォルダ内のテキストファイルに保存する．
   4. 周波数とアクティベーションの平均と標準偏差を計算し，画面に表示する．
   5. 周波数とアクティベーションのグラフを ASCII 文字で描画し，画面に表示する．

   【使用法】

   1. プログラムを実行すると，「音声ファイルを選択してください．複数選択できます．」というメッセージが表示される．このとき，複数のファイルを選択することもできる．
   2. 「出力フォルダを選択してください．」というメッセージが表示される．結果を保存する出力フォルダを選択できる．
   3. 進捗状況がプログレスバーで表示される．
   4. 音声ファイル名，出力ファイルのパス，サンプリングレート，音声の長さ（秒），周波数の平均と標準偏差，アクティベーションの平均と標準偏差，周波数のグラフ（ASCII文字で描画）が表示される．
   5. 出力フォルダには，各音声ファイルの結果がテキストファイルで保存される．

   import os
   import tkinter as tk
   from tkinter import filedialog
   
   import crepe
   from scipy.io import wavfile
   from tqdm import tqdm
   
   # パラメータの設定
   CONFIG = {
       "step_size": 10,  # ピッチ推定のステップサイズ（ミリ秒）
   }
   
   def select_files(file_type, file_extension):
       """ファイルを選択する関数"""
       try:
           if 'google.colab' in str(get_ipython()):
               from google.colab import files
               uploaded = files.upload()
               file_paths = list(uploaded.keys())
           else:
               root = tk.Tk()
               root.withdraw()
               file_paths = filedialog.askopenfilenames(filetypes=[(file_type, file_extension)])
       except NameError:
           root = tk.Tk()
           root.withdraw()
           file_paths = filedialog.askopenfilenames(filetypes=[(file_type, file_extension)])
       return file_paths
   
   def select_output_folder():
       """出力フォルダを選択する関数"""
       root = tk.Tk()
       root.withdraw()
       output_folder = filedialog.askdirectory(title="Select output folder")
       return output_folder
   
   def process_audio_file(audio_path, output_folder):
       """音声ファイルを処理する関数"""
       try:
           sr, audio = wavfile.read(audio_path)
           time, frequency, confidence, activation = crepe.predict(
               audio, sr, viterbi=True, step_size=CONFIG["step_size"]
           )
   
           audio_name = os.path.splitext(os.path.basename(audio_path))[0]
           output_file = os.path.join(output_folder, f"{audio_name}_result.txt")
   
           with open(output_file, "w") as file:
               file.write(f"Processing audio file: {audio_path}\n")
               file.write(f"Time: {time}\n")
               file.write(f"Frequency: {frequency}\n")
               file.write(f"Confidence: {confidence}\n")
               file.write(f"Activation: {activation}\n")
   
           audio_length = len(audio) / sr
           return audio_name, output_file, frequency, activation, sr, audio_length
   
       except Exception as e:
           print(f"Error processing audio file: {audio_path}")
           print(f"Error message: {str(e)}")
           return None, None, None, None, None, None
   def plot_line_graph(data, width=50, height=20, min_value=None, max_value=None):
       if min_value is None:
           min_value = data.min()
       if max_value is None:
           max_value = data.max()
   
       if max_value - min_value == 0:
           print("Cannot plot a graph with constant values.")
           return
   
       normalized_data = [(val - min_value) / (max_value - min_value) for val in data]
       graph = [" "] * (width * height)
   
       for i in range(len(normalized_data)):
           x = i * (width - 1) // (len(normalized_data) - 1)
           y = int((1 - normalized_data[i]) * (height - 1))
           graph[y * width + x] = "*"
   
       for y in range(height):
           print("".join(graph[y * width : (y + 1) * width]))
   
   def main():
       """メイン関数"""
       print('音声ファイルを選択してください。複数選択できます。')
       audio_paths = select_files("Audio Files", "*.wav")
   
       if not audio_paths:
           print("No audio files selected. Exiting.")
           return
   
       print('出力フォルダを選択してください。')
       output_folder = select_output_folder()
   
       if not output_folder:
           print("No output folder selected. Exiting.")
           return
   
       print("Processing audio files...")
       results = []
       for audio_path in tqdm(audio_paths, desc="Progress"):
           result = process_audio_file(audio_path, output_folder)
           results.append(result)
   
       print("Processing completed.")
       print("\nResults:")
       for audio_name, output_file, frequency, activation, sr, audio_length in results:
           if audio_name is not None:
               print(f"Audio file: {audio_name}")
               print(f"Output file: {output_file}")
               print(f"Sampling rate: {sr} Hz")
               print(f"Audio length: {audio_length:.2f} seconds")
               print(f"Frequency summary: Mean={frequency.mean():.2f}, Std={frequency.std():.2f}")
               print(f"Activation summary: Mean={activation.mean():.2f}, Std={activation.std():.2f}")
               print("Frequency graph:")
               plot_line_graph(frequency, width=50, height=20)
               print("---")
   
   if __name__ == "__main__":
       main()
   

   
4. Python プログラムの実行

   プログラムを pycrepe.pyのようなファイル名で保存したので， 「python pycrepe.py」のようなコマンドで行う．

   python pycrepe.py
   

   
5. ファイルダイアログが開くので，音声ファイルを選ぶ．

   このとき，音声ファイルを複数選ぶことができる．

6. 次に出力結果を保存するフォルダを選ぶ．
7. 結果の確認
   

プログラム２つめ

1. Windows で，コマンドプロンプトを実行
2. エディタを起動

   cd /d c:%HOMEPATH%
   notepad pycrepeplt.py
   

   
3. エディタで，次のプログラムを保存
   このPythonプログラムは，ユーザーが選択した音声ファイルを解析し，ピッチ情報を抽出する．結果は出力フォルダに保存され，周波数とアクティベーションの要約統計が表示される．さらに，ピッチの散布図とアクティベーションのカラーマップが生成される．音声処理にはオープンソースのcrepeライブラリを使用している．

   【説明】

   このプログラムは以下の主な機能を持っている．

   1. ユーザーが音声ファイル（WAV形式）を選択できる．
   2. 音声ファイルを処理し，ピッチ情報（時間，周波数，信頼度，アクティベーション）を抽出する．
   3. 抽出された情報を，指定された出力フォルダ内のテキストファイルに保存する．
   4. 周波数とアクティベーションの平均と標準偏差を計算し，画面に表示する．
   5. ピッチの散布図とアクティベーションのカラーマップを生成し，出力フォルダに保存する．

   【使用法】

   1. プログラムを実行すると，「音声ファイルを選択してください．複数選択できます．」というメッセージが表示される．このとき，複数のファイルを選択することもできる．
   2. 「出力フォルダを選択してください．」というメッセージが表示される．結果を保存する出力フォルダを選択できる．
   3. 進捗状況がプログレスバーで表示される．
   4. 音声ファイル名，出力ファイルのパス，サンプリングレート，音声の長さ（秒），周波数の平均と標準偏差，アクティベーションの平均と標準偏差が表示される．
   5. 出力フォルダには，各音声ファイルの結果がテキストファイルで保存される．
   6. 出力フォルダには，各音声ファイルのピッチの散布図とアクティベーションのカラーマップが画像ファイルで保存される．

   import os
   import tkinter as tk
   from tkinter import filedialog
   
   import crepe
   import numpy as np
   import matplotlib.pyplot as plt
   from scipy.io import wavfile
   from tqdm import tqdm
   
   # パラメータの設定
   CONFIG = {
       "step_size": 10,  # ピッチ推定のステップサイズ（ミリ秒）
   }
   
   def select_files(file_type, file_extension):
       """ファイルを選択する関数"""
       try:
           if 'google.colab' in str(get_ipython()):
               from google.colab import files
               uploaded = files.upload()
               file_paths = list(uploaded.keys())
           else:
               root = tk.Tk()
               root.withdraw()
               file_paths = filedialog.askopenfilenames(filetypes=[(file_type, file_extension)])
       except NameError:
           root = tk.Tk()
           root.withdraw()
           file_paths = filedialog.askopenfilenames(filetypes=[(file_type, file_extension)])
       return file_paths
   
   def select_output_folder():
       """出力フォルダを選択する関数"""
       root = tk.Tk()
       root.withdraw()
       output_folder = filedialog.askdirectory(title="Select output folder")
       return output_folder
   
   def process_audio_file(audio_path, output_folder):
       """音声ファイルを処理する関数"""
       try:
           sr, audio = wavfile.read(audio_path)
           time, frequency, confidence, activation = crepe.predict(
               audio, sr, viterbi=True, step_size=CONFIG["step_size"]
           )
   
           audio_name = os.path.splitext(os.path.basename(audio_path))[0]
           output_file = os.path.join(output_folder, f"{audio_name}_result.txt")
   
           with open(output_file, "w") as file:
               file.write(f"Processing audio file: {audio_path}\n")
               file.write(f"Time: {time}\n")
               file.write(f"Frequency: {frequency}\n")
               file.write(f"Confidence: {confidence}\n")
               file.write(f"Activation: {activation}\n")
   
           audio_length = len(audio) / sr
           return audio_name, output_file, time, frequency, activation, sr, audio_length
   
       except Exception as e:
           print(f"Error processing audio file: {audio_path}")
           print(f"Error message: {str(e)}")
           return None, None, None, None, None, None, None
   
   def visualize_pitch(time, frequency, output_folder, audio_name):
       """ピッチを散布図でビジュアライズする関数"""
       plt.figure(figsize=(10, 4))
       plt.scatter(time, frequency)
       plt.xlabel("Time (s)")
       plt.ylabel("Frequency (Hz)")
       plt.title(f"Pitch Estimation - {audio_name}")
       plt.grid(True)
       plt.tight_layout()
       plt.savefig(os.path.join(output_folder, f"{audio_name}_pitch.png"))
       plt.close()
   
   def visualize_activation(activation, output_folder, audio_name):
       """アクティベーションをカラーマップでビジュアライズする関数"""
       plt.figure(figsize=(10, 4))
       plt.imshow(activation.T, aspect='auto', origin='lower', cmap='jet')
       plt.xlabel("Time")
       plt.ylabel("Pitch")
       plt.title(f"Activation - {audio_name}")
       plt.colorbar(label="Activation")
       plt.tight_layout()
       plt.savefig(os.path.join(output_folder, f"{audio_name}_activation.png"))
       plt.close()
   
   def main():
       """メイン関数"""
       print('音声ファイルを選択してください。複数選択できます。')
       audio_paths = select_files("Audio Files", "*.wav")
   
       if not audio_paths:
           print("No audio files selected. Exiting.")
           return
   
       print('出力フォルダを選択してください。')
       output_folder = select_output_folder()
   
       if not output_folder:
           print("No output folder selected. Exiting.")
           return
   
       print("Processing audio files...")
       results = []
       for audio_path in tqdm(audio_paths, desc="Progress"):
           result = process_audio_file(audio_path, output_folder)
           results.append(result)
   
       print("Processing completed.")
       print("\nResults:")
       for audio_name, output_file, time, frequency, activation, sr, audio_length in results:
           if audio_name is not None:
               print(f"Audio file: {audio_name}")
               print(f"Output file: {output_file}")
               print(f"Sampling rate: {sr} Hz")
               print(f"Audio length: {audio_length:.2f} seconds")
               print(f"Frequency summary: Mean={frequency.mean():.2f}, Std={frequency.std():.2f}")
               print(f"Activation summary: Mean={activation.mean():.2f}, Std={activation.std():.2f}")
               visualize_pitch(time, frequency, output_folder, audio_name)
               visualize_activation(activation, output_folder, audio_name)
               print("---")
   
   if __name__ == "__main__":
       main()
   

   
4. Python プログラムの実行

   プログラムを pycrepeplt.pyのようなファイル名で保存したので， 「python pycrepeplt.py」のようなコマンドで行う．

   python pycrepeplt.py
   

   
5. ファイルダイアログが開くので，音声ファイルを選ぶ．

   このとき，音声ファイルを複数選ぶことができる．

6. 次に出力結果を保存するフォルダを選ぶ．
7. 結果の確認

   指定した「出力結果を保存するフォルダ」に png 形式の画像ファイルができるので確認．