AnimateDiff をインストールして、Stable Diffusionでアニメ動画を作成します。

インストール

Stable Diffusion WebUI を起動しページを表示します。上部の[Extensions]タブをクリックして選択します。 下図のページが表示されます。


[Extensions]タブ内の[Available]タブをクリックして選択します。下図の画面に切り替わります。
画面上部のオレンジ色の[Load from:]ボタンをクリックします。


利用可能なエクステンションの一覧が表示されます。


一覧の上にあるテキストボックスに"Animate"を入力して絞り込みます。一覧の [sd-webui-animatediff] の項目の右側の[Install]ボタンをクリックします。


ボタンをクリックするとインストールが始まります。


インストールが完了しました。インストールが完了した旨のメッセージが表示されます。

モーションモジュールのインストール

Stable Diffusion 1.5

続いてモーションモジュールをダウンロードしてインストールします。
モーションモジュールは以下のURLからダウンロードします。
2023/12の時点では、v1,v2,v3の3バージョンがあります。

• Hugging Face (https://huggingface.co/guoyww/animatediff)
• Civitai (https://civitai.com/models/108836/animatediff-motion-modules)
• (https://drive.google.com/drive/folders/1EqLC65eR1-W-sGD0Im7fkED6c8GkiNFI)

v3をAutomatic 1111 WebUIで利用する場合は、以下のHugging FaceのHubからモーションモジュールをダウンロードします。

• https://huggingface.co/conrevo/AnimateDiff-A1111/tree/main/motion_module (モーションモジュール)
• https://huggingface.co/conrevo/AnimateDiff-A1111/tree/main/lora (モーションLoRA)

v3の場合

Hugging Face のAnimateDiff A1111のHubからダウンロードします。"mm_sd15_v3.safetensors"ファイルをダウンロードします。


モーションモジュールのファイルをダウンロードできました。


モーションモジュールファイルを以下のディレクトリに配置します。

v2の場合

3つファイルがありますが、mm_sd_v15_v2.ckpt をダウンロードします。


モーションモジュールのファイルをダウンロードできました。


モーションモジュールファイルを以下のディレクトリに配置します。

SDXL

SDXLの場合は、HotShot-XLと呼ばれるモーションモジュールをダウンロードしてインストールします。
Hugging FaceのHotShot-XLのHubのページ(https://huggingface.co/hotshotco/Hotshot-XL)にアクセスします。 下図のページが表示されます。


[Files and versions]のタブをクリックします。下図のファイル一覧ページに切り替わります。


ファイル一覧から、"hsxl_temporal_layers.safetensors"ファイルをダウンロードします。


ダウンロードしたファイルを次のディレクトリに配置します。

アニメーションの生成

WebUIを起動しページにアクセスします。txt2imgの画面でページを下にスクロールします。AnimateDiffがインストールされていると[AnimateDiff]のパネルが表示されています。


パネルをクリックするとパネルが展開され、下図の表示になります。


設定はデフォルト(下図)のまま利用します。


[Enable AnimateDiff]のチェックボックスをクリックしてチェックをつけます。


次のプロンプトで画像を生成します。一度に16枚の画像が作成され、アニメーションが作成されます。

アニメーションgifファイルが生成され、アニメーションが出来上がります。

生成した動画

次の5つのプロンプトの動画を5つつなげています。

v3改善点

モデルをv3にすると、フレーム数を増やした場合のバッチ間で絵が大きく変わる現象が若干改善されます。