金子邦彦研究室人工知能Windows で動く人工知能関係 Pythonアプリケーション,オープンソースソフトウエア)Alpaca.cpp のインストールと動作確認(大規模言語モデル)(Windows 上)

Alpaca.cpp のインストールと動作確認(大規模言語モデル)(Windows 上)

このページでは,Alpaca.cpp のインストールと動作確認を行う. 公式ページの手順に従う. 利用条件は,利用者で確認すること.

目次

  1. 前準備
  2. Alpaca.cpp のインストール(Windows 上)
  3. Alpaca.cpp の動作確認のためチャットしてみる(Windows 上)

Alpaca.cpp

大規模言語モデルの一種. Stanford Alpaca の派生である.

関連する外部ページ

前準備

Git のインストール(Windows 上)

Gitは,バージョン管理システム.ソースコードの管理や複数人での共同に役立つ.

サイト内の関連ページ

Windows での Git のインストール: 別ページ »で説明している.

関連する外部ページ

Git の公式ページ: https://git-scm.com/

CMake のインストール(Windows 上)

CMake はビルドツールである.

サイト内の関連ページ

Windows での cmake のインストール: 別ページ »で説明している.

関連する外部ページ

CMake の公式ダウンロードページ: https://cmake.org/download/

Build Tools for Visual Studio 2022 (ビルドツール for Visual Studio 2022),Visual Studio 2022 のインストール(Windows 上)

サイト内の関連ページ

関連する外部ページ

Alpaca.cpp のインストール(Windows 上)

  1. Windows で,コマンドプロンプト管理者として実行

    コマンドプロンプトを管理者として実行: 別ページ »で説明

  2. Alpaca.cpp のソースコードのダウンロード

    次のコマンドを実行.

    cd %HOMEPATH%
    rmdir /s /q alpaca.cpp
    git clone --recursive https://github.com/antimatter15/alpaca.cpp
    

    [image]
  3. Alpaca.cpp のインストール

    次のコマンドを実行.

    cd %HOMEPATH%
    cd alpaca.cpp
    rmdir /s /q build
    mkdir build
    cd build
    cmake ..
    cmake --build . --config RELEASE
    
  4. 終了の確認

    エラーメッセージが出ていないこと.

    [image]
  5. Alpaca.cpp のモデル Alpaca 7b q4 のダウンロード
    cd %HOMEPATH%
    cd alpaca.cpp
    cd build
    cd release
    curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
    

    [image]

Alpaca.cpp の動作確認のためチャットしてみる(Windows 上)

次のコマンドを実行.

英語での対話ができるようである.

cd %HOMEPATH%
cd alpaca.cpp
cd build
cd release
.\chat.exe

[image]