AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する - Stable Diffusion
AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する手順を紹介します。
概要
こちらの記事では、AnimateDiffでimg2imgで2枚の画像からアニメーションを作成する方法を紹介しました。
この記事では、img2imgの際にIP-Adapterを適用して、単純にimg2imgを実行する場合よりさらに、画像の崩れがないアニメを生成する手順と、
実行結果を紹介します。
手順
こちらの記事の方法に従って、AnimateDiffでimg2imgでアニメーションを生成する設定をします。
設定後、ControlNetのタブを開きます。[Enable]チェックボックスをクリックしてチェックをつけます。
[Preprocessor]を"ip-adapter_clip_sd15"に設定します。[Model]を"ip-adapter-plus_sd15"に設定します。
デフォルトの設定ではimg2imgの入力画像がControlNetの入力画像になります。
[Control Weight]の値は "0.3" に設定します。この値はアニメーションの生成結果を見ながら変化させます。
生成結果
次のパラメーターで生成します。
設定1
Latent power: 1.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.3
顔の向きは変わらず、ほとんど動きません。
パラメーターを変更して、以下のパラメーターで生成します。
設定1
Latent power: 1.5
Optional latent power for last frame: 1.5
IP-Adapter Control Weight: 0.3
IP-Adpterを利用しない場合は、横顔になりましたが、IP-Adapterの影響があるためか、45度程度しか向きを変えません。
パラメーターを変更して、以下のパラメーターで生成します。
設定1
Latent power: 1.75
Optional latent power for last frame: 1.75
IP-Adapter Control Weight: 0.3
こちらも横顔にはなりません。
パラメーターを変更して、以下のパラメーターで生成します。
設定1
Latent power: 2.0
Optional latent power for last frame: 2.0
IP-Adapter Control Weight: 0.3
こちらも横顔にはなりません。ノイズ的なオブジェクトが描画されています。
設定1
Latent power: 2.0
Optional latent power for last frame: 1.5
IP-Adapter Control Weight: 0.3
こちらも横顔にはなりません。
設定1
Latent power: 2.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.3
こちらも横顔にはなりません。あまり動かないアニメーションになってしまいました。
IP-Adapterのウェイトを下げます。
設定1
Latent power: 2.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.2
こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。
設定1
Latent power: 2.5
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.2
こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。
さらに、IP-Adapterのウェイトを下げます。
設定1
Latent power: 2.5
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.1
こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。
動画
生成結果の動画です。
著者
iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。
