ImaginAIry のインストールと動作確認(画像合成,画像編集,Prompt Based Masking,Image to Image)(Stable Diffusion,InstructPix2Pix,Stable Diffusion 2 Depth,Python を使用)(Windows 上)

ImaginAIry は,Python から stable diffusion 画像の生成を扱う機能を持ったソフトウエア.

目次

  1. 前準備
  2. ImaginAIry のインストール(Python,pip を使用)(Windows 上)
  3. 動作確認のため動かしてみる(Windows 上)

サイト内の関連ページ

Ubuntu について: 別ページ »で説明

関連する外部ページ

ImaginAIry の GitHub のページ: https://github.com/brycedrennan/imaginAIry

前準備

Build Tools for Visual Studio 2022 のインストール(Windows 上)

Build Tools for Visual Studio は,Visual Studio の IDE を含まない C/C++ コンパイラ,ライブラリ,ビルドツール等のコマンドライン向け開発ツールセットである。

以下のコマンドを管理者権限コマンドプロンプトで実行する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

REM VC++ ランタイム
winget install --scope machine --id Microsoft.VCRedist.2015+.x64 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet /norestart"

REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
winget install --id Microsoft.VisualStudio.2022.BuildTools --accept-source-agreements --accept-package-agreements ^
    --override "--passive --wait --norestart --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.ComponentGroup.ClangCL --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.Windows11SDK.26100"

--add で追加されるコンポーネント

上記のコマンドでは,まず Build Tools 本体と Visual C++ 再頒布可能パッケージをインストールし,次に setup.exe を用いて以下のコンポーネントを追加している。

インストール完了の確認

winget list Microsoft.VisualStudio.2022.BuildTools

上記以外の追加のコンポーネントが必要になった場合は Visual Studio Installer で個別にインストールできる。

Visual Studio の機能を必要とする場合は、追加インストールできる。

Python 3.12 のインストール(Windows 上) [クリックして展開]

以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。

方法1:winget によるインストール

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2:インストーラーによるインストール

  1. Python 公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Git のインストール

管理者権限コマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

REM Git をシステム領域にインストール
winget install --scope machine --id Git.Git -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /NOCANCEL /SP- /CLOSEAPPLICATIONS /RESTARTAPPLICATIONS /COMPONENTS=""icons,ext\reg\shellhere,assoc,assoc_sh"" /o:PathOption=Cmd /o:CRLFOption=CRLFCommitAsIs /o:BashTerminalOption=MinTTY /o:DefaultBranchOption=main /o:EditorOption=VIM /o:SSHOption=OpenSSH /o:UseCredentialManager=Enabled /o:PerformanceTweaksFSCache=Enabled /o:EnableSymlinks=Disabled /o:EnableFSMonitor=Disabled"

関連する外部ページ

Build Tools for Visual Studio 2022,NVIDIA ドライバ,NVIDIA CUDA ツールキット 11.8,NVIDIA cuDNN 8.9.7 のインストール(Windows 上)

サイト内の関連ページNVIDIA グラフィックスボードを搭載しているパソコンの場合には, NVIDIA ドライバNVIDIA CUDA ツールキットNVIDIA cuDNN のインストールを行う.

関連する外部ページ

PyTorch のインストール(Windows 上)

  1. 以下の手順を管理者権限コマンドプロンプトで実行する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
  2. PyTorch のページを確認

    PyTorch の公式ページ: https://pytorch.org/index.html

  3. 次のようなコマンドを実行(実行するコマンドは,PyTorch のページの表示されるコマンドを使う).

    次のコマンドを実行することにより, PyTorch 2.3 (NVIDIA CUDA 11.8 用)がインストールされる. 但し,Anaconda3を使いたい場合には別手順になる.

    事前に NVIDIA CUDA のバージョンを確認しておくこと(ここでは,NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする).

    PyTorch で,GPU が動作している場合には,「torch.cuda.is_available()」により,True が表示される.

    python -m pip install -U --ignore-installed pip
    python -m pip uninstall -y torch torchvision torchaudio torchtext xformers
    python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118
    
    python -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
    
    Anaconda3を使いたい場合には, Anaconda プロンプト (Anaconda Prompt)管理者として実行し, 次のコマンドを実行する. (PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため,Anaconda3を使わないことも検討して欲しい).
    conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia
    py -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
    

    サイト内の関連ページ

    関連する外部ページ

ImaginAIry のインストール(Python,pip を使用)(Windows 上)

  1. 以下の手順を管理者権限コマンドプロンプトで実行する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
  2. インストール
    python -m pip install -U imaginairy
    
  3. 関連ファイルをダウンロード
    cd /d c:%HOMEPATH%
    rmdir /s /q imaginAIry
    git clone --recursive https://github.com/brycedrennan/imaginAIry
    

動作確認のため動かしてみる(Windows 上)

https://github.com/brycedrennan/imaginAIry の手順に従う.

テキストからの画像生成(Stable Diffusion を使用)

Windows で,管理者権限コマンドプロンプトを起動(手順:Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」)。

次を実行することにより,画像ファイルが生成される.画像ファイル名が表示されるので確認.

imagine "海沿いを走る"
imagine "a scenic landscape"

テキストからの画像生成,Stable Diffusion のバージョンを 2.1 に指定

Windows で,管理者権限コマンドプロンプトを起動(手順:Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」)。

次を実行することにより,画像ファイルが生成される.画像ファイル名が表示されるので確認.

imagine --model SD-2.1 "海沿いを走る"
imagine --model SD-2.1 "a scenic landscape"

画像編集(InstructPix2Pix を使用)

InstructPix2Pix を使用している

InstructPix2Pix の GitHub のページ: https://github.com/timothybrooks/instruct-pix2pix

Windows で,管理者権限コマンドプロンプトを起動(手順:Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」)。

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit scenic_landscape_winter.jpg "make a sky sunset"

元画像

画像編集の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit 000032_337692011_PLMS40_PS7.5_a_photo_of_a_dog.jpg "make a dog white"

元画像

画像編集の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit 000056_293284644_PLMS40_PS7.5_photo_of_a_bowl_of_fruit.jpg "make fruits vegetables"

元画像

画像編集の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "make a man long hair" --prompt-strength 20

元画像

画像編集の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "add glasses"

元画像

画像編集の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "make color tropical"

元画像

画像編集の結果

Prompt Based Masking(clipseg を使用)

clipseg を使用している.

clipseg の GitHub のページ: https://github.com/timojl/clipseg

Windows で,管理者権限コマンドプロンプトを起動(手順:Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」)。

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
imagine ^
    --init-image girl_with_a_pearl_earring.jpg ^
    --mask-prompt "face AND NOT (bandana OR hair OR blue fabric){*6}" ^
    --mask-mode keep ^
    --init-image-strength .2 ^
    --fix-faces ^
   "a young girl" "an old lady" "white dressed" "fireman"

元画像

Prompt Based Masking の結果

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
imagine ^
    --init-image 000056_293284644_PLMS40_PS7.5_photo_of_a_bowl_of_fruit.jpg ^
     --mask-prompt "fruit OR fruit stem{*6}" ^
    --mask-mode replace ^
    --mask-modify-original ^
    --init-image-strength .1 ^
    "ball" "animal doll" "soup" "rice" "candy" "pencil" 

元画像

Prompt Based Masking の結果

Image-to-Image(Stable Diffusion 2 Depth を使用)

Stable Diffusion 2 Depth を使用している.

Windows で,管理者権限コマンドプロンプトを起動(手順:Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」)。

cd /d c:%HOMEPATH%
cd imaginAIry
cd assets
imagine --model SD-2.0-depth --init-image mona-lisa.jpg --init-image-strength 0.05  "professional headshot photo of a woman" -r 4 -w 1024 -h 1024 --steps 50