SDXLのLoRAで Text Encoder の学習ありなしの違いを確認します。

LoRAの学習

学習データ

こちらのページの「学習データ (テスト用 ミニ v4)」を利用します。

パラメーター

SDXLで学習します。

accelerate launch --num_cpu_threads_per_process 1 sdxl_train_network.py --config_file=D:\data\c3lier-toricchi-xl5\config.toml

[model_arguments]
pretrained_model_name_or_path = "D:\\data\\model\\sdXL_v10.safetensors"

[additional_network_arguments]
network_train_unet_only = true
cache_text_encoder_outputs = true
network_module = "networks.lora"

[optimizer_arguments]
optimizer_type = "AdamW"
learning_rate = 1e-4
network_dim = 2
network_alpha = 1

[dataset_arguments]
dataset_config = "D:\\data\\lora-toricchi-xl5\\dataset.toml"
cache_latents = true

[training_arguments]
output_dir = "D:\\data\\lora-toricchi-xl5\\output"
output_name = "toricchi"
save_every_n_epochs = 100
save_model_as = "safetensors"
max_train_steps = 10000
xformers = true
mixed_precision= "bf16"
gradient_checkpointing = true
persistent_data_loader_workers = true
keep_tokens = 1

[dreambooth_arguments]
prior_loss_weight = 1.0

[model_arguments]
pretrained_model_name_or_path = "D:\\data\\model\\sdXL_v10.safetensors"

[additional_network_arguments]
network_module = "networks.lora"

[optimizer_arguments]
optimizer_type = "AdamW"
learning_rate = 1e-4
network_dim = 16
network_alpha = 1

[dataset_arguments]
dataset_config = "D:\\data\\lora-toricchi-xl5\\dataset.toml"
cache_latents = true

[training_arguments]
output_dir = "D:\\data\\lora-toricchi-xl5\\output"
output_name = "toricchi"
save_every_n_epochs = 10
save_model_as = "safetensors"
max_train_steps = 1000
xformers = true
mixed_precision= "bf16"
gradient_checkpointing = true
persistent_data_loader_workers = true
keep_tokens = 1

[dreambooth_arguments]
prior_loss_weight = 1.0

[general]
enable_bucket = true 

[[datasets]]
resolution = 1024
batch_size = 1

[[datasets.subsets]]
image_dir = 'D:\data\c3lier-toricchi-xl\toricchi'
caption_extension = '.txt'
num_repeats = 1

学習

上記の設定で学習します。

プロンプト

次の3つのプロンプトで生成画像の結果を確認します。

生成結果

U-NETのみ学習

Epoch100:step700

Epoch200:step1,400

Epoch300:step2,100

Epoch400:step2,800

Epoch500:step3,500

Epoch600:step4,200

Epoch700:step4,900

Epoch800:step5,600

U-NET, テキストエンコーダーを学習

Epoch100:step700

Epoch200:step1,400

Epoch300:step2,100

Epoch400:step2,800

Epoch500:step3,500

Epoch600:step4,200

Epoch700:step4,900

Epoch800:step5,600

評価・所感

同じ学習ステップ数の場合、U-NETのみの学習のほうが学習結果の反映され度合いが少ない印象です。 Epoch100時点で、テキストエンコーダーの学習をしている場合は、学習元画像の形状が出力されていますが、 U-NETのみ学習の場合は、アヒルの画像と混ざった状態での出力となり、Prompt2の画像でも女の子と一緒に表現されている 出力が多いです。
一方で、ステップ数が上がると、U-NETのみ学習の場合は崩れがやや多い印象です。

テキストエンコーダーを学習する場合の、低Epochの場合

Epoch100時点で学習元の形状がしっかり反映されてしまうため、さらに低いEpochでどのような結果になるか確認します。

LoRAなし

SDXLのモデルでアニメ絵を出力させるプロンプトではないにもかかわらず、Prompt2、Prompt3はアニメ絵的な出力になっています。

Epoch10:step70

Epoch10では元のモデルの出力の影響が強いです。

Epoch20:step140

Epoch30:step210

Epoch40:step280

Epoch50:step350

Epoch60:step420

Epoch70:step490

Epoch80:step560

Epoch90:step630

評価・所感

学習画像の雰囲気はEpoch10程度の段階で学習効果が出始めています。 Epoch50付近では崩れが目立ち、その後、学習元画像の形状が忠実に出力されているように見えます。
Prompt2では、Epoch50以上では、女の子と一緒に出力されなくなるため、女の子と一緒に出力したい場合は、 女の子と一緒にいるtoricchiを学習させる必要がありそうです。

まとめ

	U-NETのみ学習	テキストエンコーダーも学習
学習ステップ低	学習画像の形状が反映されにくい、絵柄は反映される	学習画像の形状が反映されやすい
学習ステップ高	学習画像の形状が反映されるが崩れが若干多い	学習画像の形状が反映される、元のモデルの絵柄が上書きされる印象

感覚的な印象ですが、絵の雰囲気のみを学習し、元のモデルの出力テイストを大きく変えたくない場合は、テキストエンコーダーは学習せず、 U-NETのみを学習し、比較的低いEpoch数で止めるのが良さそうです。今回の例では、Epoch200以下が良さそうです。
キャラクターの形状を忠実に出力したい場合は、テキストエンコーダーの学習も含め、Epoch 200から300程度の学習が良さそうです。 ただし背景や絵柄が学習画像に強く引っ張られるため、元のモデルの出力イメージはあまり反映されない可能性が高そうです。 元のモデルの雰囲気を出したい場合は学習元画像の枚数を増やし、元のモデルの背景と組み合わせた画像を学習画像に含めるなどの対応が必要かと考えられます。

他の比較結果と合わせた結果はこちらの記事も参照してください。

追記:2025/6

CLIP（テキストエンコーダ）の学習をすると、破滅的忘却（Catastrophic Forgetting）が発生するとされています。 特に小規模なデータセットで学習する場合に影響が大きくなるとされています。
そのため、LoRAの学習においても、大規模なデータセットでない限りは、テキストエンコーダーを学習しないほうが良い状況です。

参考

• https://arxiv.org/html/2409.19946v1