GGUF の FLUX.1 モデルを利用して ComfyUIで画像を生成する手順を紹介します。

事前準備

ComfyUI で FLUX.1の画像生成ができる状態にします。こちらの記事を参照してください。

FLUX.1 GGUF のモデルのダウンロード

FLUX.1 GGUFモデルをダウンロードします。以下のURLからダウンロードできます。

• FLUX.1 [dev] : https://huggingface.co/city96/FLUX.1-dev-gguf
• FLUX.1 [schnell] : https://huggingface.co/city96/FLUX.1-schnell-gguf

モデルが複数ありますが、Q8(flux1-dev-Q8_0.gguf)やQ4(flux1-dev-Q4_1.gguf)を利用するケースが多いようです。Qが小さいほどモデルのサイズが小さくなりメモリ負荷が少なくなるようです。


ダウンロードしたモデルファイル(ggufファイル)は以下のディレクトリに配置します。

ComfyUI-GGUF のダウンロード

ComfyUIで GGUFのモデルを扱えるようにするためのローダーである、ComfyUI-GGUF をダウンロードします。

GitHubのリポジトリからZipファイルでダウンロードするか、Gitコマンドを実行してダウンロードします。
または
以下のファイルが取得できます。


これらのファイルを以下のディレクトリにコピーして配置します。

GGUFパッケージのインストール

GGUFパッケージをインストールします。
コマンドプロンプトで以下のコマンドを実行し、ComfyUIのpython_embededディレクトリに移動します。

以下のコマンドを実行してGGUFパッケージをインストールします。

以下のsite-packages ディレクトリにggufディレクトリが作成されインストール完了です。

run_cpu.bat, run_nvidia_gpu.bat の変更

run_cpu.bat, run_nvidia_gpu.batを変更します。

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
pause

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt
pause

ComfyUIの起動

run_nvidia_gpu.batを実行して、ComfyUIを起動します。
FLUX.1のワークフロー (テキストエンコーダー、VAEが分離されている版) を読み込みます。手順の詳細はこちらの記事を参照してください。


キャンバス内で右クリックします。ポップアップメニューが表示されますので [Add Node] > [bootleg] > [Unet Loader (GGUF)] の項目をクリックします。


[Unet Loader (GGUF)] のボックスが配置されました。(下図左上)
[Unet Loader (GGUF)] のボックスの [unet_name] にダウンロードして配置したggufファイルを設定します。


[Unet Loader (GGUF)] のボックスの[MODEL]のコネクタから、[ModelSamplingFlux]の[model]のコネクタまでドラッグして接続します。(下図)


[Queue Prompt]ボタンをクリックして画像を生成します。画像が生成されたことを確認します。

GGUF版の違い

モデルの読み込み速度

GGUF版のほうがモデルの読み込みが速いです。これは、ファイルサイズが小さいことも影響しているかもしれません。
また、オリジナル版はモデル読み込み時にCPU負荷が上がり、メインメモリの使用量も増えます。

画像生成速度

モデルをロードした後での画像生成速度には、それほど大きな違いが無い印象です。(詳細な検証はしていないため、諸条件により変わる可能性あり)

プロンプトの追従度

噂によると、プロンプトの追従度が良いとのことです。が、体感としてはあまり違いを感じませんでした。

画像生成結果

画像生成結果の一例です。英語であれば文字列も表現できます。