Stable Diffusionを利用して、線画に色を塗る手順を紹介します。

概要

モノクロの線画を作成して、色塗りをStable Diffusionの画像生成で実行したい場合の手順の紹介です。

事前準備

ControlNetの導入

Stable Diffusion WebUIにControlNetをインストールします。 ControlNetのインストール手順はこちらの記事を参照してください。

線画の準備

今回はこちらの線画に色を塗ります。
小物が多い部屋のイメージです。手で塗ることを考えると憂鬱です。
手前がリビングで、奥にキッチンがある構造です。線画の作成はniji・journeyを利用しています。
北欧風の調度品や棚のある部屋のデザインです。

手順

Stable Diffusion Web UIを表示します。


txt2imの画面を下にスクロールし、ControlNetのパネルをクリックして開きます。


線画の画像をControlNetの入力画像に設定します。

ControlNetパネルの入力画像の下部の[Control Type]セクションの[Canny]のボタンをクリックします。 Cannyのボタンにチェックがつき、PreprocessorとModelがCannyの内容でフィルタされます。 また、PreprocessorとModelに自動で項目が設定されます。(下図)


Preprocessorに"canny"、Modelに"contorl-lora-canny-rank256"を設定します。 設定後、PreprocessorとModelリストボックスの間にある火花のアイコンのボタン[Run preprocessor]ボタンをクリックして、 プリプロセッサを適用したイメージを作成します。入力画像の右側にプリプロセッサが適用された画像が表示されます。


[Enable]チェックボックスをクリックしてチェックをつけます。[ControlNet Unit 0]の表示が緑色に変わります。
Control WeightやStarting/Ending Control Step など他の設定はデフォルトの値のままとします。


画像の出力設定は線画の画像と同じサイズとします。


プロンプトは以下を利用します。


モデルはまずは基本モデルのSDXLを利用します。[Generate]ボタンをクリックして画像を生成します。


画像が生成できました。線画に沿って着色できていますが、全体的に白い画像で色ののりがあまり良くない印象です。
"anime shading" がうまく解釈できずに水彩的に塗ってしまった可能性がありそうです。


モデルを Animagin XL v3 に変更して画像生成します。下図の画像が生成できました。SDXLモデルより、色ののりが良いです。


さらに背景の描写が強化されているモデルの、Animavivid v10 で画像を生成します。下図の画像が生成できました。
輪郭線も描画されており、漫画イラスト的な仕上がりになりました。


Stable Diffusionで線画に色を塗ることができました。