画像生成時にControlNet の複数の効果を適用する手順について紹介します。

概要

画像の生成時にControlNetの複数の効果を適用して画像を作成したい場合があります。 Multi ControlNetの設定をすると、画像生成時に複数のControlNetを適用できます。

手順

Stable Diffusion Web UIを起動します。


上部の[Settings]タブをクリックします。下図の画面に切り替わります。


左側のメニューの[ControlNet]の項目をクリックします。


下図のControlNetの設定画面に切り替わります。


右側のエリアの[Multi ControlNet: Max models amount (requires restart)]のスライダーの値を変更します。 デフォルトでは、スライダーのつまみは一番左になっており、"1"が設定されています。今回 スライダーのつまみをドラッグして、"3"に変更します。


ページ上部の[Apply settings]ボタンをクリックします。1 settings changed: control_net_allow_script_control. のメッセージが表示されます。 [Reload UI]ボタンをクリックして、UIを再読み込みします。


再読み込み後、[txt2img]のタブを確認します。[ControlNet]の枠を開くと、枠内に[ControlNet Unit 0] [ControlNet Unit 1] [ControlNet Unit 2]の 3つのタブが表示されていることが確認できます。3つのControlNetを設定して効果を適用できる状態になりました。

使用例

2つのControlNetを適用して画像を生成してみます。
2枚の入力画像を準備します。
こちらはキャラクターの線画です。


もう一つは砂漠のイラストです。こちらはMidjourneyで出力したSF砂漠のイメージです。


先ほど紹介した設定手順で、Multi ControlNetの値を"2"に設定します。
[ControlNet Unit 0]のタブにはキャラクターの画像を設定します。


[Enable]のチェックをつけ、[Preprocessor]に[lineart_anime]を設定します。[Model]には[control_v11p_sd15s2_lineart_anime]を設定します。
[Preprocessor]のドロップダウンリストボックスの右側の赤いアイコンのボタン[Run preprocessor]ボタンをクリックして、 プリプロセッサを実行します。右側にプレビューのイメージが表示されます。キャラクターの外形が抽出できていることを確認します。


[ControlNet Unit 1]のタブには、砂漠のイメージを設定します。[Preprocessor]には[reference_only]を設定します。


出力サイズを設定します。今回は "900×450" を設定しています。プロンプトには以下を入力します。


[Generate]ボタンをクリックして、イメージを生成します。


下図のイメージが出力できました。ControlNetに設定した2つの入力画像が反映されていることが確認できます。


画像を眺めて、キャラクターの絵柄が背景に対して、ややポップなため、キャラクターの線画の影響度を下げることにします。
[ControlNet Unit 0]のキャラクター線画の[Control Weight]の値を"0.5"に下げます。


再度実行します。若干絵柄のポップ感が減りました。


複数回、画像生成を実行して、イメージに合う画像を出力します。


今回はこちらを決定稿としました。
今回の例では、プロンプトが非常に単純でしたが、より複雑なプロンプトを入力することで、表現をいろいろと変化できるかと思います。


複数のControlNetの効果を適用して画像を生成できました。