日本語対応のLLM，チャットボット（Text generation web UI，日本語 LLM cyberagent/open-calm を使用）（Windows 上）

前準備

Git のインストール（Windows 上）

Gitは，バージョン管理システム．ソースコードの管理や複数人での共同に役立つ．

【サイト内の関連ページ】

Windows での Git のインストール: 別ページ »で説明している．

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN 8.6 のインストール（Windows 上）

【サイト内の関連ページ】

NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．

• Windows での Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.6 のインストールと動作確認: 別ページ »で説明している．

【関連する外部ページ】

• Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
• NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
• NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
• NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
• winimage の ZLIB DLL の公開ページ: http://www.winimage.com/zLibDll/

Text generation web UI のダウンロード（Windows 上）

実行には、必要なメモリを備えたGPUが必要です。

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. Text generation web UI のダウンロード

   cd %HOMEPATH%
   rmdir /s /q text-generation-webui
   git clone https://github.com/oobabooga/text-generation-webui
   

   

Text generation web UI の起動，モデルと実行（Windows 上）

実行には、必要なメモリを備えたGPUが必要です。

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. Text generation web UI の起動

   初回起動では、Minicoda がインストールされる。miniconda を用いて Python 等がインストールされる．さらに、Ninja, git, PyTorch, whisper, bitsandbytes, LLaMA, virtualenv 等がインストールされる。

   cd %HOMEPATH%\text-generation-webui
   start_windows.bat
   

   
3. 初回起動では、GPU の選択を行う

   NVIDIA グラフィックスボードを持っている場合は A を選ぶ． CPU モードで動かす場合には D を選ぶ．

   
4. インストールが終わると 「Running on local URL: http://127.0.0.1:7860」のように表示されるので確認する
   
5. 画面の指示に従い、Web ブラウザで http://127.0.0.1:7860 にアクセス

   http://127.0.0.1:7860

6. ここでは，次で公開されているモデルを使うことにする（モデルはhttps://huggingface.coで検索できる）
   • cyberagent/open-calm-small, 160M, https://huggingface.co/cyberagent/open-calm-small
   • cyberagent/open-calm-medium, 400M, https://huggingface.co/cyberagent/open-calm-medium
   • cyberagent/open-calm-large, 830M, https://huggingface.co/cyberagent/open-calm-large
   • cyberagent/open-calm-1b, 1.4B, https://huggingface.co/cyberagent/open-calm-1b
   • cyberagent/open-calm-3b, 2.7B, https://huggingface.co/cyberagent/open-calm-3b
   • cyberagent/open-calm-7b, 6.8B, https://huggingface.co/cyberagent/open-calm-7b
7. 「cyberagent/open-calm-3b」のダウンロード

   「Model」のタブで，「Download custom model or LoRA」に「cyberagent/open-calm-3b」を指定して， 「Download」をクリック．ダウンロードの終了を待つ．

   
8. ダウンロードが終了すると「Done!」と表示される．
   
9. 「Model」の右横のボタンをクリックして，モデルの一覧を更新
   
10. 「Model」の下のリストで，「cyberagent/open-calm-3b」を選ぶ

    選んだら、「Load」をクリック

    
11. ロード終了の確認
12. 対話を行ってみる
    

Text generation web UI の実行

cyberagent/open-calm-3b, 2.7B, https://huggingface.co/cyberagent/open-calm-3b

cyberagent/open-calm-1b, 1.4B, https://huggingface.co/cyberagent/open-calm-1b

cyberagent/open-calm-large, 830M, https://huggingface.co/cyberagent/open-calm-large

cyberagent/open-calm-medium, 400M, https://huggingface.co/cyberagent/open-calm-medium を使用