BLIPを利用して画像に対するキャプションファイルを自動で生成する手順を紹介します。

概要

学習をするにあたり、画像の内容を表現するキャプションを作成する場合があります。 BLIP(Bootstrapping Language-Image Pre-training)を利用すると、画像から画像を表現する文字列のキャプションを作成し キャプションファイルに保存できます。

事前準備:sd-scriptsのインストール

sd-scriptsをインストールします。インストール手順はこちらの記事を参照してください。

手順

画像ファイルを準備します。今回は下図の画像を用意しました。


コマンドプロンプトを表示し、次のコマンドを実行してsd-scriptの仮想環境に切り替えます。

cd (sd-scriptsをインストールしたディレクトリ)
./venv/Scripts/activate

カレントディレクトリを sd-scriptsをインストールしたディレクトリ\finetune に変更します。

cd finetune

finetuneディレクトリ内の、make_captions.pyを実行します。次のコマンドを実行します。

python make_captions.py --batch_size 8 (画像ファイルのディレクトリパス)

コマンドを実行するとキャプションファイルの生成が始まります。



生成が完了しました。


画像ファイル名と同名の.captionファイルが作成されます。


ファイル内容は以下です。文章形式で画像の内容を表す文字列が記述されています。




BLIPを利用してキャプションファイルを生成できました。