ラフ画から詳細な線画、カラーイラスト画像を作成する

Stable Diffusionを利用して、ラフ画像から線画、カラーイラスト画像を作成する手順を紹介します。

概要

ラフ画でざっくりしたレイアウト、イメージを作成し、細かい部分の描画をStable Diffusionに補完してもらいます。

事前準備

  • Stable Diffusion Web UIを導入します。手順はこちらの記事を参照してください。
  • ControlNet 1.1をインストールします。手順はこちらの記事を参照してください。
  • Anime Lineart LoRA をインストールします。インストール手順はこちらの記事を参照してください。

手順

入力画像の準備

下図のラフ画像を作成します。
左右に白壁があり、奥に海が見えます。地面は石畳、左右にオリーブの木と建物があり、全体的な雰囲気は地中海の沿岸のイメージです。
こちらのラフ画から、詳細部分をStable Diffusionで描画します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像1

Stable Diffusion Web UIを開きます。[txt2img]のタブをクリックして選択します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像2

下にスクロールし、[ControlNet]の枠をクリックして開きます。[ここに画像をドロップ -または- クリックしてアップロード]の枠に 用意したラフ画像を設定します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像3

入力のラフ画像を設定しました。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像4

画像の作成

[Preprocessor]のドロップダウンリストボックスをクリックします。リストの"lineart_realistic"を選択します。他のlineartのプリプロセッサを選択しても問題ありません。 今回は、線が薄いため、薄い線でも線が比較的出やすい"lineart_realistic"を選択しています。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像5

[Model]のドロップダウンリストボックスをクリックします。リストの"contorl_v11p_sd15_lineart"の項目をクリックして選択します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像6

[Preprocessor]と[Model]が選択できました。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像7

入力画像の直下のエリアの[Enable]チェックボックスをクリックしてチェックをつけます。このチェックをつけないと、 ControlNetの処理が有効になりません。
[Control Weight]の値はデフォルトの1とします。[Starting Control Step] [Ending Control Step]もデフォルトの値のままとします。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像8

[Preprocessor]のドロップダウンリストボックスの右側の[Run preprocessor]のボタンをクリックします。 プリプロセッサが実行され、出力結果のサムネイルが入力画像の右側に表示されます。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像9

下記のプロンプトを設定します。最初に紹介した完成のイメージに関する語句をプロンプトに含めます。 "monochrome" を入れ、色の無い状態で出力します。 テストで出力したところ、高い頻度で山が描画されてしまったため、"mountain"をNegative promptに設定しています。
Prompt
white wall,cobblestone,olive tree,mediterranean sea, sea, monochrome
Negative prompt
mountain,
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像10

[Generate]ボタンをクリックして1枚画像を生成し、入力画像のイメージが反映されているか確認します。 入力画像と同じ構図が出力できていますので問題なさそうです。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像11

Batch coutを大きくして複数枚の画像を出力します。イメージに合う画像が生成されるまで続けます。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像12

今回、こちらのイメージが想定に一番近いイメージでした。こちらを採用します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像13

線画化

線画を作成する手順の詳細はこちらの記事も参照してください。

採用した画像をControlNetの入力に設定します。
[Preprocessor]の設定は"lineart_realistic"とします。 [Model]の設定は"contorl_v11p_sd15_lineart"を選択します。
次のプロンプトを入力して実行します。Negative Promptの設定は無しです。 また、[Sampling method]はステップが進んでも構図が大きく変化しない"DDIM"を選択します。
Prompt
monochrome, lineart,sea, white wall, noon, cobblestone, olive tree, mediterranean sea <lora:animeoutlineV4_16:1>
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像14

ラフの状態からだいぶ書き込まれた線画のイメージを取得できました。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像15

画像を微修正します。今回はPhotoshopで若干の修正をしています。修正後のイメージが下図です。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像16

以上の手順で詳細な線画を作成できました。

色塗り

ラフから詳細な線画を取得できましたが、ここからは、その先の線画への着色について紹介します。

修正後の線画をControlNetに入力します。線が十分濃くなったため、 [Preprocessor]の設定は"lineart_anime"を選択します。 [Model]の設定は"contorl_v11p_sd15_lineart"を選択します。
また、元の画像のレイアウトを忠実に再現したいため、Control Weightを 1.4に引き上げています。
[Sampling method]は線画を作成するときと同様に、ステップが進んでも構図が大きく変化しない"DDIM"を選択します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像17

以下のプロンプトを設定して実行します。
Prompt
white wall,(sea),cobblestone,olive tree,mediterranean sea,
Negative prompt
mountain, worst quality,

Batch count を大きな値にして、複数枚を生成し、イメージに合うものを選択します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像18

今回はこちらの画像を決定稿として採用しました。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像19

なお、下絵の線に対して、若干脚色を入れても良い場合は、Control Weightの値を下げます。下図は、Control Weightの値を1,0に設定した場合の結果です。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像20

複数枚を生成して、イメージに近いものを選択します。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像21

今回はこちらを選択しました。
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像22

コメント

ラフ画像から、線画の画像を作成して、着色された画像を生成するまでの手順を紹介しました。

コンピューティングパワーだけで、ラフから細かい部分の描き込みと、着色までを実施できました。
細かい部分を描くのが面倒な方には、心強いツールです。一方で、良い画像や美的に優れた画像を大量に生成するため、 明確な完成イメージがないとAIの出力に流されそうだとも感じました。
AIの出力に流されるのも、新たなインスピレーションを受けたと考えれば、それはそれでありなのかもしれません。
元のラフ完成イメージ
ラフ画から詳細な線画、カラーイラスト画像を作成する:画像23ラフ画から詳細な線画、カラーイラスト画像を作成する:画像24
AuthorPortraitAlt
著者
iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。 最近は生成AIの画像生成の沼に沈んでいる。
作成日: 2023-05-29
Copyright © 1995–2025 iPentec all rights reserverd.