Stable Difussion （SD1.5) でよく使われるVAE - Stable Diffusion
Stable Difussion （SD1.5) でよく使われるVAEの紹介です。
VAEとは
変分オートエンコーダ (Variational Auto-Encoder)の略です。
Stable DifussionでのVAEは逆算プロセス処理後の画像出力時のデコードに利用され、VAEの違いが画像の出力の違いに影響します。
補足
SDXLのVAEについては
こちらの記事を参照してください。
Stable Difussion 1.5 でよく使われるVAE
vae-ft-mse-840000-ema-pruned
stabilityaiのハブで提供されているデフォルトに近い位置づけのVAEです。実写系の画像でも描画系の画像でも対応できるVAEとされています。
インストール手順は
こちらの記事を参照してください。
Clear VAE
イラスト、描画系でよく使われるVAEです。Checkpointモデルの推奨VAEとして指定されている場合が多くあります。
インストール手順は
こちらの記事を参照してください。
kl-f8-anime2
イラスト、描画系でよく使われるVAEです。モデルの推奨VAEとして指定されているものが数多くあります。
kl-f8-anime もありますが、kl-f8-anime2 の利用が多いです。
インストール手順は
こちらの記事を参照してください。
pastel-waifu-diffusion
pastel-mix モデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合があります。
orangemix
OrangeMixモデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合があります。
Counterfeit-V2.5
Conterfeit V2.5 のVAEです。他のモデルや環境で推奨設定されていることはほとんどないです。
Anything 4.0
Anything 4.0モデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合が稀にあります。
blessed / blessed-fix / blessed2
こちらも推奨設定で指定されている場合が稀にあります。
モデルやプロンプトとの組み合わせにもよりますが、blessed2では鮮やかな彩度の高いカラー、強めのハイライトが出力される傾向があります。
同一ファイルでの別名
配布先と名称は異なりますが、以下のファイルは完全に同一です。
kl-f8-anime2 = pastel-waifu-diffusion
anything-v4.0 = Conterfeit-V2.5 = orangemix
VAEの違いによる出力画像の違い
同じ画像出力でVAEを変更して出力画像がどの程度変化するかを確認します。
今回、VAEが含まれていないモデルと、VAEがモデルに含まれている(Baked VAE)の2つのモデルの出力結果で比較します。
注意
Checkpointのモデルと、サンプリングメソッド、VAEの種類、出力される画像の組み合わせにより、
"NansException: A tensor with all NaNs was produced in VAE."エラーが発生する場合があります。
エラーが発生した場合の対処法は
こちらの記事を参照してください。
None / Automatic
VAEを指定しない場合です。
Automaticはモデルと同名のVAEを自動で利用します。
ほぼ同じ結果ですが、形状に若干の違いがみられます。
モデルにVAEが含まれていないモデルの場合の出力です。淡く彩度の低い画像が生成されます。
None
Automatic
prompt
high detailed, 4k, one point perspective BREAK cafe with outdoor seating, old city, fucused table, wide view,
Negative prompt: worst quality, low low quality,
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 798859951, Size: 960x540, Model hash: 5493a0ec49, Model: AOM3A1B_orangemixs, Version: v1.4.1
VAEが含まれているモデルの場合の出力です。標準の出力になります。NoneとAutomaticで色味は同じですが、形状にわずかな違いがあります。
None
Automatic
prompt
lake, shine blue, starry skies, highres break (many lights particle)
Negative prompt: worst quality, low low quality, character
Steps: 20, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 798859951, Size: 960x540, Model hash: 77b7dc4ef0, Model: meinamix_meinaV10, Version: v1.4.1
vae-ft-mse-840000-ema-pruned
VAE無しと比較すると、彩度が上がった出力結果になります。形状の変化も見られます。(左側の木が大きく変化しています)
わずかに彩度が落ち、一部の形状が変化しています。
Clear VAE
vae-ft-mse-840000-ema-prunedと比較すると、若干彩度が低いです。VAE無しよりは彩度が上がった出力結果になります。
彩度が落ち、落ち着いたカラーでの出力になります。
kl-f8-anime2 / pastel-waifu-diffusion
Clear VAEと比較すると色味の変化は少ないですが、形状の変化があります。VAE無より彩度は高く、vae-ft-mse-840000-ema-prunedより彩度は低いです。
VAE無しと比較して、色味の変化はほとんどありませんが、形状がわずかに変化している部分があります。
kl-f8-anime
彩度が上がり、赤みのある出力結果になりました。
赤みが若干増し、画像全体が明るい結果になりました。コントラストが大きくなるため、星空が映える印象です。
orangemix / Counterfeit-V2.5 / Anything 4.0
やや彩度が低めになる印象です。kl-f8-anime2より若干低い彩度です。kl-f8-anime2よりシャープ感が減り全体的に柔らかい印象です。
VAE無しと比較して、彩度が落ち、落ち着いたカラーリングになります。シャープ感も減り、柔らかい画像になります。
blessed
明暗のコントラストがしっかりつく印象です。シャープ感もほどほどにあります。
blessed-fix
blessedと比較するとコントラストは弱めになり、全体が明るい画像になる印象です。シャープ感はblessedと同程度の印象です。ハイライト、光沢感が強めになる印象です。
#img("software-stable-diffusion-major-vae-comp-blessed-fix"format="webp",,maxwidth=600)
blessed2
blessed, blessed-fix と比較すると若干画面全体の彩度が落ちている印象です。blessedと比較して落ち着いた画像が出力される傾向です。
シャープ感はblessedと同程度です。ハイライト、光沢感が強めになる印象です。
コメント
VAEの種類により、出力画像に違いがあり、それぞれ特徴があるため、どのVAEを選択するか悩ましい面がありますが、おおむね次のような使い分けができそうです。
モデルにVAEが埋め込まれている場合(Baked VAE)
彩度を高くして明るい画像にしたい場合
- vae-ft-mse-840000-ema-pruned
- kl-f8-anime
彩度を低めにして落ち着いた画像にしたい場合
- orangemix / Counterfeit-V2.5 / Anything 4.0
彩度とシャープ感を程よいバランスにしたい場合
- kl-f8-anime2 / pastel-waifu-diffusion
2023年6月時点では、kl-f8-anime2、Clear VAE、vae-ft-mse-840000-ema-pruned を推奨としている環境が多いため、
彩度とシャープ感の両方でバランスの良いVAEを選択するのがトレンドのようです。
著者
iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。
最終更新日: 2024-09-06
作成日: 2023-06-06
