2023年11月12日時点での最新のControlNetでは、safetensors形式のモデルが利用できるため、最新のControlNetへバージョンアップし、safetensorsファイルをダウンロードするほうがおすすめです。
IP-Adapter をインストールします。
#TOC(caption="目次")
IP-Adapterと呼ばれる新しい機能が登場しました。IP-Adapterを利用すると画像を入力プロンプトとして指定できます。
言葉では表現しづらい要素の表現や、指定した画像を基にした画像の生成が実行できるようになります。
この記事では、Stable Diffusion WebUI (Automatic 1111) にIP-Adapterを導入する手順を紹介します。
ControlNet をインストールします。インストール手順はこちらの記事を参照してください。
既にインストールされている場合は、最新のバージョンにアップデートします。
Hugging Face の IP-AdapterのHub(https://huggingface.co/h94/IP-Adapter)にアクセスします。
下図のページが表示されます。
[Files and Versions]のタブをクリックします。下図のページに切り替わりファイルの一覧が表示されます。
Stable Diffusion 1.5のIP-Adapterをインストールする場合は、"models"フォルダの項目をクリックします。
SDXLのIP-Adapterをインストールする場合は、"sdxl_models"フォルダの項目をクリックします。
modelsフォルダのファイル一覧です。Stable Diffusion WebUIで利用する場合は、拡張子がsafetensorsのファイルをダウンロードします。
sdxl_modelsフォルダのファイル一覧です。Stable Diffusion WebUIで利用する場合は、拡張子がsafetensorsのファイルをダウンロードします。
モデルファイルをダウンロードしました。ダウンロード時点では以下のモデルが提供されています。
ダウンロードしたファイルを以下のディレクトリに配置します。
(Stable Diffusion WebUIの配置ディレクトリ)\models\ControlNet
モデルファイルをダウンロードしました。ダウンロード時点では以下のモデルが提供されています。
ダウンロードしたファイルを以下のディレクトリに配置します。
(Stable Diffusion WebUIの配置ディレクトリ)\models\ControlNet
Stable Diffusion WebUIを起動します。
txt2imgでページを下にスクロールし、ControlNet のパネルを開きます。
ControlNetの[ここに画像をドロップ - または - クリックしてアップロード]の枠に入力画像をドロップして読み込みます。
今回は下図を入力画像として利用します。
[Control Type]のエリアの[IP-Adapter]の項目をクリックしてチェックをつけます。
この手順はPreprocessorとModelのフィルタのため、チェックをつけずに直接、PreprocessorとModelのドロップダウンリストボックスを設定してもよいです。
[Preprocessor]を"ip-adapter_clip_sd15"に設定します。[Model]を"ip-adapter-plus_sd15"に設定します。
[Enable]のチェックボックスにチェックをつけControlNetを有効にします。[Control Weight]の値を "0.75" まで下げます。
1.0では入力画像の影響が強すぎプロンプトが有効に機能しな場合が多いです。
以下のプロンプトを入力し、画像を生成します。
画像が生成され、横から見た女の子の画像が生成されました。衣類やネクタイ、髪の毛の色が入力画像と同じことが確認できます。
プロンプトを以下に変更して生成します。"full body"を追加することで、全身が生成できる目論見でしたが、入力画像の影響が強いためか、画像の縦横比の問題か、
全身を生成はできませんでした。
プロンプトを以下に変更して生成します。"flower hair ornament"を追加することで、花の髪飾りを追加します。
このプロンプトは受け入れられ、頭に花の飾りが追加されました。
Stable Diffusion WebUIを起動します。
txt2imgでページを下にスクロールし、ControlNet のパネルを開きます。
ControlNetの[ここに画像をドロップ - または - クリックしてアップロード]の枠に入力画像をドロップして読み込みます。
画像を読み込みました。
[Control Type]のエリアの[IP-Adapter]の項目をクリックしてチェックをつけます。
この手順はPreprocessorとModelのフィルタのため、チェックをつけずに直接、PreprocessorとModelのドロップダウンリストボックスを設定してもよいです。
[Preprocessor]を"ip-adapter_clip_sdxl_plus_vith"に設定します。[Model]を"ip-adapter_sdxl_vit-h"に設定します。
[Enable]のチェックボックスにチェックをつけControlNetを有効にします。[Control Weight]の値を "0.75" まで下げます。
1.0では入力画像の影響が強すぎプロンプトが有効に機能しな場合が多いです。
以下のプロンプトを入力し、画像を生成します。
画像が生成され、横から見た女の子の画像が生成されました。衣類やネクタイ、髪の毛の色が入力画像と同じことが確認できます。
プロンプトを以下に変更して生成します。"full body"を追加することで、全身が生成できる目論見でしたが、SDXLの場合でも入力画像の影響が強いためか、
または画像の縦横比の問題か、全身を生成はできませんでした。
プロンプトを以下に変更して生成します。"flower hair ornament"を追加することで、花の髪飾りを追加します。
このプロンプトは受け入れられ、頭に花の飾りが追加されました。
modelsフォルダのファイル一覧です。Stable Diffusion WebUIで利用する場合は、拡張子がbinのファイルをダウンロードします。
sdxl_modelsフォルダのファイル一覧です。Stable Diffusion WebUIで了する場合は、拡張子がbinのファイルをダウンロードします。
モデルファイルをダウンロードしました。ダウンロード時点では以下のモデルが提供されています。
ダウンロードしたファイルを以下のディレクトリに配置します。
(Stable Diffusion WebUIの配置ディレクトリ)\models\ControlNet
.bin から .pth に変更します。
以上でインストールは完了です。
モデルファイルをダウンロードしました。ダウンロード時点では以下のモデルが提供されています。
ダウンロードしたファイルを以下のディレクトリに配置します。
(Stable Diffusion WebUIの配置ディレクトリ)\models\ControlNet
.bin から .pth に変更します。
