niji・journey で画像を入力して画像生成する手順と、どのような結果が出力されるかを紹介します。

写真を入力する

入力画像の準備

今回は下図の写真を入力画像に利用します。

画像の生成

Discordのサーバーのチャンネルの画面を開き、メッセージのテキストボックスの左側の[+]ボタンをクリックします。 下図のポップアップメニューが表示されますので、[ファイルをアップロード]の項目をクリックします。


入力画像を選択してアップロードします。画像のアップロードができました。


メッセージを入力してアップロードを確定します。今回は"original image"と文字列を入力し[Enter]キーを押します。


画像とメッセージがアップロードされました。


画像を開き画像のURLをコピーします。


/imagineコマンドを入力します。プロンプトは以下を入力します。写真に表現されている名称を入力します。
watercolor painting を指定して水彩画風に仕上がることを期待します。


処理が始まります。


画像が生成されました。


画像の生成結果です。入力画像の写真と似た構図で画像が生成できました。水彩画風になっていますが、 まだ写真感が残っています。もっと手書き感が欲しいです。


プロンプトを以下に変更して実行します。こちらも写真感が出てしまっています。



プロンプトを下記に変更しましたが、実写感はかなりある状態です。

コンテのラフを入力する

コンテのラフを入力してどういった結果になるか確認します。

入力画像

入力画像は下図です。完成イメージはある程度はっきりしていますが、描くのが面倒です。この画像を入力してイメージ通りの絵が出るか、色がつくかを確認します。
奥にちょっと見えるのは海のつもりです。左右は白壁、壁からオリーブの木が少し見えます。建物もちょっと見えます。地面は凹凸の無い石畳です。

画像の生成

プロンプトは以下を利用します。
石畳、白壁、地中海、海、オリーブの木、白い建物、fantasy worldも入れて幻想的なイメージで生成します。

画像が生成されました。


微妙なものもありますが、結構イメージ通りに出力できました。右下のイメージが想定に一番近いです。 右下の画像でさらにバリエーションを作成します。


バリエーションが作成できました。バリエーションができましたが、最初の右下のイメージが当初の想定に一番近いです。


生成された画像を入力画像として、以下のプロンプトで画像を再生成した結果が下図です。 当初のイメージとは離れてしまうため、構図は入力画像の状態で固定して、ペインティングだけを変化させる機能が欲しいなと思いました。

まとめ

写真の入力では写実感が強すぎるため、使いどころは難しそうです。一方で、コンテのラフを入力すると、 着色や補完をしてくれるため、かなり便利だと感じました。 色塗り＆クリンナップ作業のアシスタントさんがいる気分になります。