ControlNet Inpaint を利用して生成したイラストの顔の表情を修正する手順を紹介します。

概要

こちらの記事では、 Stable Diffusionを利用して全身の画像を生成しましたが、表情がつぶれてしまっています。 表情を改善する方法としてアップスケールする方法もありますが、この記事では、Inpaintを利用して表情を修正する手順を紹介します。

事前準備

ControlNetのインストール

ControlNetを導入する必要があります。インストール手順はこちらの記事を参照してください。

入力画像サイズの高解像度化

入力画像のサイズが小さい場合、顔のピクセル数も少ないため、修正しても解像度が足りない可能性があります。 入力画像の単純アップスケール、または、画像の拡大を実施して入力画像のサイズを大きくします。
今回は、Extrasのアップスケールを利用しています。 Extrasのアップスケールの手順についてはこちらの記事を参照してください。

今回の元画像です。(512x768のピクセルサイズです)


Extrasでアップスケールしました。4倍にアップスケールしているため、2,048x3,072のピクセルサイズです。

手順

Stable Diffusion Web UIにアクセスします。

ControlNetの入力画像設定

下にスクロールし、[ControlNet]の枠を開きます。[ここに画像をドロップ -または- クリックしてアップロード]の枠に入力画像を設定します。


画像が設定できました。

ControlNetの設定

[Preprocessor]のドロップダウンリストボックスをクリックします。リストボックスの[Inpuaint_only]の項目をクリックして選択します。


右側の[Model]のドロップダウンリストボックスをクリックします。リストボックスの[control_v11p_sd15_inpaint]の項目をクリックして選択します。


プリプロセッサとモデルが設定できました。


設定された入力画像のサムネイルで、顔の部分をマウスの左ボタンをクリックして塗りつぶします。


塗りつぶしできました。


PreproessorとModelのドロップダウンリストボックスの間にある[Run preprocessor]ボタン(火花のアイコンのボタン)をクリックします。 プリプロセッサが実行され結果がプレビューに表示されます。
また、プレビュー画像のエリアの下部の[Enable]チェックボックスをクリックしてチェックをつけます。

プロンプトの作成、画像生成

以上でControlNetの設定は完了です。
ページ上部に戻り、以下のプロンプトを設定します。


出力解像度を選択します。
デフォルトでは、ControlNetの入力画像のサイズが設定されていますが、サイズが大きすぎてVRAMが足りないため、半分の 1,024x1,536ピクセルに設定します。
設定ができたら[Generate]ボタンをクリックして画像の生成をします。


画像が生成されました。


画像を確認します。良さそうです。

修正

ちょっと表情が明るすぎるのと、アイラインの色をもう少し濃くしたいこと、瞳の色を灰色にしたいので、もう少し修正します。


プロンプトを以下に変更します。大量に生成してコンピューティングパワーで押し切ることにします。

サンプリングメソッドをLMSに設定したことと、出力解像度が高いため、かなり重い処理です。


こちらを採用します。

完成

アイラインの微妙な形状はリトライを繰り返しても求めるものが出力されそうにないので、最後は手で修正します。
こちらが決定稿です。