Stable Diffusion WebUI にStable Diffusion 2.x のカスタムモデルである、Waifu Diffusion 1.5、Replicant V3 をインストールする手順を紹介します。

概要

多くの画像生成モデル(checkpoint)が提供されているのは、Stable Diffusion 1.x (1.5)をもとにしたモデルですが、 バージョン 2.x (2023年6月時点では 2.1)のカスタムモデルも存在しています。
バージョン2系でメジャーなモデルの一つに、Replicant V3, Waifu Diffusion 1.5 があります。 この記事では、Automatic1111 Stable Diffusion Web UI でバージョン2系のモデルを利用する手順を紹介します。

事前準備

Stable Diffusion WebUIをインストールします。インストール手順はこちらの記事を参照してください。

手順:モデル(Stable Diffusion 2.1)のインストール

Stable Difussion 2.1 のリポジトリのページ(https://huggingface.co/stabilityai/stable-diffusion-2-1/)にアクセスします。
下図のページが表示されます。
[Files]タブをクリックします。


Filesタブが選択され、ファイル一覧が表示されます。モデルファイルはルートディレクトリにあります。 "v2-1_768-ema-pruned.safetensors" のファイルをダウンロードします。


VAEファイルをダウンロードします。[VAE]ディレクトリの項目をクリックします。"diffusion_pytorch_model.safetensors"ファイルをダウンロードします。



ダウンロードした"v2-1_768-ema-pruned.safetensors"ファイルは、次のディレクトリに配置します。
Put Stable Diffusion checkpoints here.txt ファイルがあります。



VAEファイル("diffusion_pytorch_model.safetensors"ファイル)を配置します。次のディレクトリに配置します。
Put VAE here.txt ファイルがあります。


"diffusion_pytorch_model.safetensors"ファイルを配置します。

手順:モデル(Replicant V3)のインストール

Waifu Diffusion 1.5ベースでトレーニングされたモデルとして、Replicant V3があります。こちらを利用すると、高品質なイラストを生成できます。
Replicant V3をインストールします。

Replicant V3のハブ(https://huggingface.co/gsdf/Replicant-V3.0)にアクセスします。下図のページが表示されます。
[Files]のタブをクリックします。


下図のファイルの一覧ページが表示されます。"Replicant-V3.0_fp32.safetensors" または "Replicant-V3.0_fp16.safetensors" をダウンロードします。


今回は、"Replicant-V3.0_fp32.safetensors" をダウンロードしました。


ダウンロードした、"Replicant-V3.0_fp32.safetensors" ファイルを以下のディレクトリに配置します。



Stable Diffusion Web UIを起動し、Webブラウザでアクセスします。


ページ左上の[Stable Diffusion checkpoint]のドロップダウンリストボックスをクリックします。 ドロップダウンリストが表示されますので、"Replicant-V3.0"の項目をクリックして選択します。



a 1girl, standing against wall, のプロンプトで画像を生成します。出力できました。



high steel towerのプロンプトで画像を生成します。こちらもプロンプトに合ったイメージが出力できました。 彩度が低めの落ち着いたトーンで画像が生成される傾向にあるようです。

手順:モデル(Waifu Diffusion 1.5)のインストール

続いてWaifu Diffusion 1.5をインストールします。2023年6月時点では、Beta3 が最新版です。
Waifu Diffusionのリポジトリのページ(https://huggingface.co/waifu-diffusion)にアクセスします。 [waifu-diffusion/wd-1-5-beta3]の項目をクリックします。


Waifu Diffusion 1.5 Beta 3のページが表示されます。ページの[Files and versions]をクリックします。


[Files and versions]のタブが選択され、ファイルの一覧が表示されます。 "wd-illusion-fp16.safetensors","wd-ink-fp16.safetensors","wd-mofu-fp16.safetensors","wd-radiance-fp16.safetensors"のファイルをダウンロードします。 "wd-beta3-base-fp16.safetensors"は学習に利用するモデルのため、通常は使いません。


モデルのファイルをダウンロードします。


モデルのファイルをダウンロードできました。


ダウンロードした"wd-illusion-fp16.safetensors","wd-ink-fp16.safetensors","wd-mofu-fp16.safetensors","wd-radiance-fp16.safetensors"のファイルは、 次のディレクトリに配置します。


VAEファイルはバージョン1.4のものを利用するのが推奨です。
https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt のページにアクセスし、 "kl-f8-anime2.ckpt" ファイルをダウンロードします。


"kl-f8-anime2.ckpt" ファイルを次のディレクトリに配置します。

画像生成: Waifu Diffusion 1.5

Stable Diffusion Web UIを起動します。


画面左上の[Stable Diffusion checkpoint] のドロップダウンリストボックスをクリックします。 ドロップダウンリストが表示されます。追加した、Stable Diffusion 2.1 のモデルと、Waifu Diffusion 1.5 Beta3 の4つのモデルが追加されていることが 確認できます。


[wd-ink-fp16.safetensors]の項目をクリックして選択します。


プロンプトを入力して[Generate]ボタンをクリックして画像を生成します。次のプロンプトを利用します。


[Generate]ボタンをクリックすると画像が生成されました。



動作確認は以上で完了です。

モデルの比較

Waifu Diffusion の4つのモデルで生成される画像の違いを確認します。
プロンプトは以下を利用します。シード値は固定しません。

Illustion

背景がややリアル、キャラクターの塗りもややリアルに近い仕上がりになる印象です。

Ink

コミカルな出力結果になります。漫画的、手書き感のある仕上がりになる印象です。

mofu

やや芸術的、あるいはポップ感のある仕上がりになる印象です。キャラクターの外形の線が、ほぼ無くなる印象です。

radiance

mofuと似た仕上がりになりますが、キャラクターの線はmofuより目立つ印象です。

Waifu Diffusion 他の出力例

Inkの出力がこれまでと一味違う出力傾向のため、いくつか出力してみました。

教室が描画できました。



手書き感のあるアイスショップが生成されました。なかなか良いと思います。



固有名詞(ミハス)を入れて、 かなり無茶振りしてみましたが、結構いい感じのイメージが生成されました。Negative prompt に"Photo"を指定しないと、 写真素材の影響が強まり、実写的な出力になるため、"Photo"をNegative promptに追加しています。