ImaginAIry のインストールと動作確認（画像合成，画像編集，Prompt Based Masking，Image to Image）（Stable Diffusion，InstructPix2Pix，Stable Diffusion 2 Depth，Python を使用）（Windows 上）

前準備

Git のインストール（Windows 上）

Gitは，バージョン管理システム．ソースコードの管理や複数人での共同に役立つ．

【サイト内の関連ページ】

Windows での Git のインストール: 別ページ »で説明している．

【関連する外部ページ】

Git の公式ページ: https://git-scm.com/

Python のインストール（Windows 上）

【サイト内の関連ページ】

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
• Windows での Anaconda3 のインストール: 別ページ »で説明している．
• Python のまとめ: 別ページ »にまとめている．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN 8.6 のインストール（Windows 上）

【サイト内の関連ページ】

NVIDIA グラフィックスボードを搭載しているパソコンの場合には， NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNN のインストールを行う．

• Windows での Build Tools for Visual Studio 2022，NVIDIA ドライバ，NVIDIA CUDA ツールキット 11.8，NVIDIA cuDNN v8.6 のインストールと動作確認: 別ページ »で説明している．

【関連する外部ページ】

• Build Tools for Visual Studio 2022 （ビルドツール for Visual Studio 2022）の公式ダウンロードページ: https://visualstudio.microsoft.com/ja/visual-cpp-build-tools/
• NVIDIA ドライバのダウンロードの公式ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
• NVIDIA CUDA ツールキットのアーカイブの公式ページ: https://developer.nvidia.com/cuda-toolkit-archive
• NVIDIA cuDNN のダウンロードの公式ページ: https://developer.nvidia.com/cudnn
• winimage の ZLIB DLL の公開ページ: http://www.winimage.com/zLibDll/

PyTorch のインストール（Windows 上）

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. PyTorch のページを確認

   PyTorch のページ: https://pytorch.org/index.html

3. 次のようなコマンドを実行（実行するコマンドは，PyTorch のページの表示されるコマンドを使う）．

   次のコマンドは， PyTorch 2.0 （NVIDIA CUDA 11.8 用） をインストールする． 但し，Anaconda3を使いたい場合には別手順になる．

   事前に NVIDIA CUDA のバージョンを確認しておくこと（ここでは，NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする）．

   PyTorch で，GPU が動作している場合には，「torch.cuda.is_available()」により，True が表示される．

   python -m pip install -U --ignore-installed pip
   python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118
   python -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
   

   

   Anaconda3を使いたい場合には， Anaconda プロンプト (Anaconda Prompt) を管理者として実行し， 次のコマンドを実行する． （PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため，Anaconda3を使わないことも検討して欲しい）．

   conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia
   py -c "import torch; print(torch.__version__, torch.cuda.is_available())" 
   

   【サイト内の関連ページ】

   • Windows での PyTorch のインストール: 別ページ »で説明している．

   【関連する外部ページ】

   • PyTorch のページ: https://pytorch.org/index.html

ImaginAIry のインストール（Python，pip を使用）（Windows 上）

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. インストール

   python -m pip install -U imaginairy
   

   
3. 関連ファイルをダウンロード

   cd %HOMEPATH%
   rmdir /s /q imaginAIry
   git clone --recursive https://github.com/brycedrennan/imaginAIry
   

   

動作確認のため動かしてみる（Windows 上）

https://github.com/brycedrennan/imaginAIry の手順に従う．

テキストからの画像生成（Stable Diffusion を使用）

Windows で，コマンドプロンプトを管理者として実行

次を実行することにより，画像ファイルが生成される．画像ファイル名が表示されるので確認．

imagine "海沿いを走る"

imagine "a scenic landscape"

テキストからの画像生成，Stable Diffusion のバージョンを 2.1 に指定

Windows で，コマンドプロンプトを管理者として実行

次を実行することにより，画像ファイルが生成される．画像ファイル名が表示されるので確認．

imagine --model SD-2.1 "海沿いを走る"

imagine --model SD-2.1 "a scenic landscape"

画像編集（InstructPix2Pix を使用）

InstructPix2Pix を使用している

InstructPix2Pix の GitHub のページ: https://github.com/timothybrooks/instruct-pix2pix

Windows で，コマンドプロンプトを管理者として実行

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit scenic_landscape_winter.jpg "make a sky sunset"

元画像

画像編集の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit 000032_337692011_PLMS40_PS7.5_a_photo_of_a_dog.jpg "make a dog white"

元画像

画像編集の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit 000056_293284644_PLMS40_PS7.5_photo_of_a_bowl_of_fruit.jpg "make fruits vegetables"

元画像

画像編集の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "make a man long hair" --prompt-strength 20

元画像

画像編集の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "add glasses"

元画像

画像編集の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
aimg edit spock.jpg "make color tropical"

元画像

画像編集の結果

Prompt Based Masking（clipseg を使用）

clipseg を使用している．

clipseg の GitHub のページ: https://github.com/timojl/clipseg

Windows で，コマンドプロンプトを管理者として実行

cd %HOMEPATH%
cd imaginAIry
cd assets
imagine ^
    --init-image girl_with_a_pearl_earring.jpg ^
    --mask-prompt "face AND NOT (bandana OR hair OR blue fabric){*6}" ^
    --mask-mode keep ^
    --init-image-strength .2 ^
    --fix-faces ^
   "a young girl" "an old lady" "white dressed" "fireman"

元画像

Prompt Based Masking の結果

cd %HOMEPATH%
cd imaginAIry
cd assets
imagine ^
    --init-image 000056_293284644_PLMS40_PS7.5_photo_of_a_bowl_of_fruit.jpg ^
     --mask-prompt "fruit OR fruit stem{*6}" ^
    --mask-mode replace ^
    --mask-modify-original ^
    --init-image-strength .1 ^
    "ball" "animal doll" "soup" "rice" "candy" "pencil" 

元画像

Prompt Based Masking の結果

Image-to-Image（Stable Diffusion 2 Depth を使用）

Stable Diffusion 2 Depth を使用している．

Windows で，コマンドプロンプトを管理者として実行

cd %HOMEPATH%
cd imaginAIry
cd assets
imagine --model SD-2.0-depth --init-image mona-lisa.jpg --init-image-strength 0.05  "professional headshot photo of a woman" -r 4 -w 1024 -h 1024 --steps 50