llama-cpp-python のインストールと動作確認（大規模言語モデル，チャットボット）（Python，PyTorch を使用）（Windows 上）

【概要】

llama-cpp-python のインストールと，大規模言語モデル Qwen3 を用いたチャットボットの動作確認を行う．

llama-cpp-python

llama-cpp-python は，llama.cpp の Python バインディングであり，単一 GPU や CPU など限られた計算資源で大規模言語モデル (large language model) の推論を行うためのライブラリである．GGUF 形式に量子化されたモデルを読み込むことで，VRAM が少ない環境でも大規模言語モデルを動作させることができる．GPU の VRAM に収まらない層は自動的に CPU 側へ割り当てられるため，GPU 単体では動作しない規模のモデルも実行できる．

【文献】

Georgi Gerganov et al.: llama.cpp: LLM inference in C/C++.

公式のソースコード（GitHub のページ）: https://github.com/ggml-org/llama.cpp

【目次】

前準備
llama-cpp-python のインストール
チャットボットを動かす（llama-cpp-python，Qwen3 を使用）（Windows 上）
チャットボットに対話，音声合成を行う Python プログラム（llama-cpp-python，Qwen3 を使用）（Windows 上）

【関連する外部ページ】

llama-cpp-python の GitHub のページ: https://github.com/abetlen/llama-cpp-python
llama.cpp の GitHub のページ: https://github.com/ggml-org/llama.cpp
Qwen3 の Hugging Face のページ: https://huggingface.co/Qwen/Qwen3-4B-GGUF

【サイト内の関連情報】

対話システム，chatBOT: PDFファイル, パワーポイントファイル

前準備

Build Tools for Visual Studio 2026（ビルドツール）のインストール

Build Tools for Visual Studio 2026（ビルドツール）のインストールを行い、C/C++ コードのビルド環境を整える。

[Build Tools for Visual Studio 2026（ビルドツール）のインストール手順を見るには、ここをクリック]

Windows での Build Tools for Visual Studio 2026 のインストール

Build Tools for Visual Studio は，Visual Studio の IDE を含まない C/C++ コンパイラ，ライブラリ，ビルドツール等のコマンドライン向け開発ツールセットである。インストール済みの場合，この手順は不要である。

以下のコマンドは、Build Tools が未インストールの場合は winget で新規インストールし、インストール済みの場合は setup.exe modify でコンポーネントを追加する（バージョンは変更しない）。

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

REM ============================================================
REM Visual C++ 再頒布可能パッケージ (VCRedist 2015-)
REM ============================================================
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"
if not "%ERRORLEVEL%"=="0" ( color 0c & echo VCRedist のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM ============================================================
REM Visual Studio Build Tools + Desktop development with C++
REM （VCTools、MSBuildTools、CMake連携、Clang、Windows 11 SDK）
REM ============================================================
REM 進行中のインストーラーを停止（ロック競合回避。対象プロセスが存在しない場合は
REM taskkillがエラーを返すが、これは想定内であるため出力のみ抑制する）
taskkill /F /IM vs_setup.exe /T >nul 2>&1
taskkill /F /IM vs_installer.exe /T >nul 2>&1
taskkill /F /IM vs_installerservice.exe /T >nul 2>&1
taskkill /F /IM msiexec.exe /T >nul 2>&1

REM Build Tools + Desktop development with C++（VCTools）+ 追加コンポーネント（一括）
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加（バージョンは変更しない）
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM
REM BuildTools のインストールパスを vswhere.exe で取得（メジャーバージョンに依存しない）
set "VSWHERE=C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe"
set "BT_PATH="
for /f "usebackq delims=" %P in (`"%VSWHERE%" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do set "BT_PATH=%P"
if not defined BT_PATH ( color 0c & echo Build Tools のインストールパスを取得できませんでした & ping 127.0.0.1 -n 6 >nul & color )

REM 破損時の修復（任意、動作がおかしくなった場合）
REM if defined BT_PATH "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" repair --installPath "%BT_PATH%" --quiet --norestart
REM 導入確認（インストールパスが表示されれば正常）
"%VSWHERE%" -products * -requires Microsoft.VisualStudio.Workload.VCTools -property installationPath

上記のコマンドでは、Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし、続いて以下のコンポーネントを追加している。

VCTools：C++ デスクトップ開発ワークロード（--includeRecommended により、MSVC コンパイラ、C++ AddressSanitizer、vcpkg、CMake ツール、Windows 11 SDK 等の推奨コンポーネントが含まれる）
MSBuildTools：MSBuild によるビルドツールのワークロード
VC.CMake.Project：Windows 向け C++ CMake ツール
VC.Llvm.Clang：Windows 向け C++ Clang コンパイラ
VC.Llvm.ClangToolset：MSBuild から Clang を使用するための clang-cl ツールセット
Windows11SDK.26100：Windows 11 SDK（ビルド 10.0.26100）

追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

インストール完了の確認

winget list Microsoft.VisualStudio.BuildTools

Visual Studio を必要とするとき

Visual Studio の機能を必要とする場合は，追加インストールできる。

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1：winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。そして、コマンド全体をコマンドプロンプトにコピー＆ペーストする。

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映（システムPATHを再取得して連結）
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2：インストーラーによるインストール

Python公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Git のインストール

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。以下を実行する．

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

NVIDIA ドライバ，NVIDIA CUDA ツールキット 12.8，NVIDIA cuDNN のインストール（Windows 上）

【サイト内の関連ページ】 NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．

Windows での NVIDIA ドライバ，NVIDIA CUDA ツールキット 12.8，NVIDIA cuDNN のインストール手順: 別ページ »で説明

【関連する外部ページ】

NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn

PyTorch のインストール（Windows 上）

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。以下の手順を実行する．
PyTorch のページを確認
PyTorch の公式ページ: https://pytorch.org/index.html
次のようなコマンドを実行する（実行するコマンドは，PyTorch のページに表示されるコマンドを使う）．
次のコマンドを実行することにより， PyTorch （NVIDIA CUDA 12.8 用）がインストールされる．但し，Anaconda3を使いたい場合には別手順になる．
事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 12.8 が前もってインストール済みであるとする）．
PyTorch で，GPU が動作している場合には，「torch.cuda.is_available()」により，True が表示される．
```
python -m pip install -U --no-user --ignore-installed pip
python -m pip uninstall -y torch torchvision torchaudio torchtext xformers
python -m pip install -U --no-user torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu128

python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
```
Anaconda3を使いたい場合には， Anaconda プロンプト (Anaconda Prompt) を管理者として実行し，次のコマンドを実行する．
```
conda install -y pytorch torchvision torchaudio pytorch-cuda=12.8 cudnn -c pytorch -c nvidia
py -c "import torch; print(torch.__version__, torch.cuda.is_available())"
```
【サイト内の関連ページ】
- Windows での PyTorch のインストール: 別ページ »で説明
【関連する外部ページ】
- PyTorch の公式ページ: https://pytorch.org/index.html

llama-cpp-python のインストール

公式ページ https://github.com/abetlen/llama-cpp-python の記載に従う．

管理者権限でコマンドプロンプトを起動する（手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。以下の手順を実行する．
ダウンロードとインストール
CUDA に対応したビルド済みホイールを使ってインストールする．NVIDIA CUDA ツールキット 12.8 の環境では，次のとおり CUDA 12 系のホイール（cu124）を指定する．
```
python -m pip install -U --no-user llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu124
```
動作確認のため，Qwen3-4B で実行してみる．
Qwen3 は，Alibaba Cloud の Qwen チームによって開発された，事前学習済みの大規模言語モデル (large language model) である．多言語対応の性能が高く，0.6B から 235B まで複数サイズの GGUF 量子化モデルが公開されている．

GGUF 形式の量子化済みモデルファイルをダウンロードするため，huggingface_hub をインストールし，次のコマンドでダウンロードする．
```
python -m pip install -U --no-user huggingface_hub
```
```
huggingface-cli download Qwen/Qwen3-4B-GGUF Qwen3-4B-Q4_K_M.gguf --local-dir .
```
実行の結果，エラーメッセージが出ないことを確認する．
```
python -c "from llama_cpp import Llama; llm = Llama(model_path='Qwen3-4B-Q4_K_M.gguf', n_gpu_layers=-1); print(llm('Hello,', max_tokens=32))"
```

チャットボットを動かす（llama-cpp-python，Qwen3 を使用）（Windows 上）

次のコマンドを実行する．プログラム中にプロンプトが記載されている．プログラムの実行により，プロンプトと，回答が表示される．

日本語を含む多言語に対応している．

Qwen3 は，Alibaba Cloud の Qwen チームによって開発された，事前学習済みの大規模言語モデル (large language model) である．多言語対応の性能が高く，0.6B から 235B まで複数サイズの GGUF 量子化モデルが公開されている．

Qwen3-0.6B を使う場合

huggingface-cli download Qwen/Qwen3-0.6B-GGUF Qwen3-0.6B-Q4_K_M.gguf --local-dir .
python -m llama_cpp.server --model Qwen3-0.6B-Q4_K_M.gguf --n_gpu_layers -1

Qwen3-4B を使う場合

Qwen3-0.6B より大きなメモリが必要である．メモリが足りない場合には動作しない．

huggingface-cli download Qwen/Qwen3-4B-GGUF Qwen3-4B-Q4_K_M.gguf --local-dir .
python -m llama_cpp.server --model Qwen3-4B-Q4_K_M.gguf --n_gpu_layers -1

チャットボットに対話，音声合成を行う Python プログラム（llama-cpp-python，Qwen3 を使用）（Windows 上）

Windows で，コマンドプロンプトを実行
エディタを起動
```
cd /d c:%HOMEPATH%
notepad qa.py
```

エディタで，次のプログラムを保存

"""Run a chatBOT with llama-cpp-python and Qwen3 models."""
import argparse
import win32com.client
from llama_cpp import Llama

speech = win32com.client.Dispatch("Sapi.SpVoice")


def main(args):
    # Model
    print("Initialize...")
    llm = Llama(model_path=args.model, n_gpu_layers=-1, n_ctx=args.n_ctx)

    context = (
        "A chat between a curious human and a knowledgeable artificial intelligence assistant.\n"
        "Human: Hello! What can you do?\n"
        "Assistant: As an AI assistant, I can answer questions and chat with you.\n"
    )

    # Chat
    print(context, end="")
    while True:
        inp = input("Human: ")
        if not inp:
            print("exit...")
            break

        speech.Speak(inp)

        context += "Human: " + inp + "\n"
        output = llm(context, max_tokens=96, temperature=0.7, stop=["\n"])
        answer = output["choices"][0]["text"]

        print(answer, end="")
        speech.Speak(answer)
        context += answer + "\n"

    # Shutdown
    llm.close()


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--model", type=str, default="Qwen3-4B-Q4_K_M.gguf",
        help="The path to the GGUF model file.")
    parser.add_argument("--n-ctx", type=int, default=4096,
        help="The context window size.")
    args = parser.parse_args()

    main(args)

プログラム実行
プログラムを qa.py のようなファイル名で保存したので，「python qa.py --model Qwen3-0.6B-Q4_K_M.gguf」のようなコマンドで行う．「--model」のところは，使用するQwen3の GGUF モデルファイル名を指定する．
```
cd /d c:%HOMEPATH%
python qa.py --model Qwen3-0.6B-Q4_K_M.gguf
```