LoRAのウェイトの違いによる生成画像の違いを確認します。

概要

LoRAを適用する際に適用度のウェイトを変更できます。この記事では、LoRAのウェイトを変更して生成画像がどう変化するかを確認します。

LoRAの学習

学習データ

こちらのページの「学習データ (テスト用 ミニ v4)」を利用します。

パラメーター

SDXLで学習します。network_dim は64を利用します。
Epochは強めに学習した状態の800を利用します。

プロンプト

次の3つのプロンプトでウェイトの違いによる生成画像の結果を確認します。

生成結果

Weight:1.0

背景が学習画像のグレーで出力されるケースが多いです。学習しすぎの傾向です。

Weight:0.9

ウェイトを0.1下げました。この状態でもグレーの背景色の出力が多いですが、グレーになる出力が若干減っています。

Weight:0.8

グレーの背景色の出力が減ってきています。Prompt2では、女の子とToricchi両方が出力される場合も出てきます。

Weight:0.7

Weight:0.6

0.6まで下がると、学習元画像の形状より、duckの形状が反映される場合が増えてきます。

Weight:0.5

ウェイトが0.5まで下がると、Epoch200以下で学習したLoRAより弱い適用度になります。 (参考)

Weight:0.4

Weight:0.3

Weight:0.2

Weight:0.1

評価・所感

強めに学習したLoRAでもウェイトを下げると、学習回数を減らした際の結果と似た結果が得られます。
学習回数が少ないLoRAでは、生成画像の崩れが目立つ場合がありますが、強めに学習したLoRAのウェイトを下げた場合は、 生成画像の崩れが比較的少ないです。
生成画像の崩れを少なくする目的で、学習回数を増やして少し強めに学習したLoRAでウェイトを下げて利用してもよいかもしれません。