Stable Diffusionを利用して、ラフ画像から線画、カラーイラスト画像を作成する手順を紹介します。

概要

ラフ画でざっくりしたレイアウト、イメージを作成し、細かい部分の描画をStable Diffusionに補完してもらいます。

事前準備

• Stable Diffusion Web UIを導入します。手順はこちらの記事を参照してください。
• ControlNet 1.1をインストールします。手順はこちらの記事を参照してください。
• Anime Lineart LoRA をインストールします。インストール手順はこちらの記事を参照してください。

手順

入力画像の準備

下図のラフ画像を作成します。
左右に白壁があり、奥に海が見えます。地面は石畳、左右にオリーブの木と建物があり、全体的な雰囲気は地中海の沿岸のイメージです。
こちらのラフ画から、詳細部分をStable Diffusionで描画します。


Stable Diffusion Web UIを開きます。[txt2img]のタブをクリックして選択します。


下にスクロールし、[ControlNet]の枠をクリックして開きます。[ここに画像をドロップ -または- クリックしてアップロード]の枠に 用意したラフ画像を設定します。


入力のラフ画像を設定しました。

画像の作成

[Preprocessor]のドロップダウンリストボックスをクリックします。リストの"lineart_realistic"を選択します。他のlineartのプリプロセッサを選択しても問題ありません。 今回は、線が薄いため、薄い線でも線が比較的出やすい"lineart_realistic"を選択しています。


[Model]のドロップダウンリストボックスをクリックします。リストの"contorl_v11p_sd15_lineart"の項目をクリックして選択します。


[Preprocessor]と[Model]が選択できました。


入力画像の直下のエリアの[Enable]チェックボックスをクリックしてチェックをつけます。このチェックをつけないと、 ControlNetの処理が有効になりません。
[Control Weight]の値はデフォルトの1とします。[Starting Control Step] [Ending Control Step]もデフォルトの値のままとします。


[Preprocessor]のドロップダウンリストボックスの右側の[Run preprocessor]のボタンをクリックします。 プリプロセッサが実行され、出力結果のサムネイルが入力画像の右側に表示されます。


下記のプロンプトを設定します。最初に紹介した完成のイメージに関する語句をプロンプトに含めます。 "monochrome" を入れ、色の無い状態で出力します。 テストで出力したところ、高い頻度で山が描画されてしまったため、"mountain"をNegative promptに設定しています。


[Generate]ボタンをクリックして1枚画像を生成し、入力画像のイメージが反映されているか確認します。 入力画像と同じ構図が出力できていますので問題なさそうです。


Batch coutを大きくして複数枚の画像を出力します。イメージに合う画像が生成されるまで続けます。


今回、こちらのイメージが想定に一番近いイメージでした。こちらを採用します。

線画化

線画を作成する手順の詳細はこちらの記事も参照してください。

採用した画像をControlNetの入力に設定します。
[Preprocessor]の設定は"lineart_realistic"とします。 [Model]の設定は"contorl_v11p_sd15_lineart"を選択します。
次のプロンプトを入力して実行します。Negative Promptの設定は無しです。 また、[Sampling method]はステップが進んでも構図が大きく変化しない"DDIM"を選択します。


ラフの状態からだいぶ書き込まれた線画のイメージを取得できました。


画像を微修正します。今回はPhotoshopで若干の修正をしています。修正後のイメージが下図です。


以上の手順で詳細な線画を作成できました。

色塗り

ラフから詳細な線画を取得できましたが、ここからは、その先の線画への着色について紹介します。

修正後の線画をControlNetに入力します。線が十分濃くなったため、 [Preprocessor]の設定は"lineart_anime"を選択します。 [Model]の設定は"contorl_v11p_sd15_lineart"を選択します。
また、元の画像のレイアウトを忠実に再現したいため、Control Weightを 1.4に引き上げています。
[Sampling method]は線画を作成するときと同様に、ステップが進んでも構図が大きく変化しない"DDIM"を選択します。


以下のプロンプトを設定して実行します。

Batch count を大きな値にして、複数枚を生成し、イメージに合うものを選択します。


今回はこちらの画像を決定稿として採用しました。


なお、下絵の線に対して、若干脚色を入れても良い場合は、Control Weightの値を下げます。下図は、Control Weightの値を1,0に設定した場合の結果です。


複数枚を生成して、イメージに近いものを選択します。


今回はこちらを選択しました。

コメント

ラフ画像から、線画の画像を作成して、着色された画像を生成するまでの手順を紹介しました。

コンピューティングパワーだけで、ラフから細かい部分の描き込みと、着色までを実施できました。
細かい部分を描くのが面倒な方には、心強いツールです。一方で、良い画像や美的に優れた画像を大量に生成するため、 明確な完成イメージがないとAIの出力に流されそうだとも感じました。
AIの出力に流されるのも、新たなインスピレーションを受けたと考えれば、それはそれでありなのかもしれません。

元のラフ	完成イメージ