Flat2, Flat のLoRAをインストールする手順を紹介します。

概要

Stable Diffusionで画像を生成した結果をフラットシェーディングに近い見た目にしたい場合や、陰影を強くつけたい場合があります。
Flat, Flat2 LoRAを利用すると、生成結果の画像にフラットシェーディングに近い効果を与えたり、逆に陰影を強くする効果を与えられます。
この記事では、Flat, Flat2 LoRAのインストール手順と使用手順を紹介します。

Flat, Flat2 LoRAのダウンロード

huggingfaceのFlat, Flat2のリポジトリ、https://huggingface.co/2vXpSwA7/iroiro-loraにアクセスします。下図のページが表示されます。
[Files]タブをクリックします。


リポジトリのルートディレクトリが表示されます。[release]フォルダをクリックします。


LoRAファイルが配置されています。


"flat1.safetoensors"ファイルの項目をクリックします。


"flat1.safetoensors"ファイルの詳細ページが表示されます。ページの[download]リンクをクリックします。
"flat1.safetoensors"ファイルがダウンロードできます。


一つ上のディレクトリに戻り、"flat2.safetoensors"ファイルの項目をクリックします。


"flat2.safetoensors"ファイルの詳細ページが表示されます。ページの[download]リンクをクリックします。
"flat2.safetoensors"ファイルがダウンロードできます。


"flat1.safetoensors", "flat2.safetoensors"をダウンロードできました。

Flat, Flat2 LoRAの配置 : Stable Diffusion Web UI の場合

ダウンロードしたファイルを、以下のディレクトリにコピーして配置します。


ファイルを配置できました。

Flat2 LoRAを使用する

Flat, Flat2 LoRAを使用してみます。

はじめに、FlatのLoRAを使用せずに、画像を生成します。以下のプロンプトで画像を生成します。
使用モデルは"Counterfeit-V3.0"です。


画像が生成できました。

ウィンドウ右側の[Generate]ボタンの下の5つのボタンの真ん中のボタン[Show/hide extra networks] のボタンをクリックします。


プロンプトのエリアの下に下図の枠が表示されます。枠のタブは[Textual Invention]のタブが選択されています。右側の[Lora]のタブをクリックします。


Loraのタブに切り替わります。


画面下部の[flat2]の項目のタイルをクリックします。上部のプロンプトのテキストボックスに <lora:flat2:1> の文字列が追加されました。 この記述によりLoraの効果が適用されます。


プロンプトと、シード値を変えずに再度画像を生成します。


下図の画像が生成されました。元の画像より、陰影が少なくフラットな塗分けになっていることが確認できます。


プロンプトを以下に変更します。
値を大きくするにしたがって、よりフラット感が強くなります。






なお、flatの効果の適用値には、マイナスの値を入れることもできます。マイナスの値を入れると、陰影が深くなります。





値を小さくするほど陰影が深くなります。


flatの値を変化させても、キャラクターのポーズはほとんど変わりませんが、ジャケットの形状は変化していることがわかります。
また、陰影が強くなることで立体感が増し、首が細く見えてしまいます。首の太さは、flatの値が大きいときからほとんど変わっていませんが、 陰影がつくことで錯覚で首が細く見えてしまいます。このあたりの調整はAIではしないようです。

比較

Flat LoRAを使用する

Flat1のほうも効果を確認します。















Flat1 は負の値で値が小さくなると、画像全体が暗くなる傾向にあるようです。

比較

極端な値を与えるとどうなるか

極端な値を与えるとどうなるか確認します。

Flat2

元の形状や絵柄と大きく変わってしまいます。おそらく、FlatのLoRA学習に使われた画像の特徴の影響が大きくなるためだと考えられます。

Flat1

Flat1でも同様に、元の形状や絵柄と大きく変わってしまいます。こちらもLoRA学習に使われた画像の特徴の影響が大きくなるためだと考えられます。