Text Generation Web UI で日本語のLLMモデルをロードしたが生成結果が英語で出力される現象と対処法を紹介します。

現象の確認

Text Generation Web UI で日本語のLLMモデルをロードします。


Chat画面に切り替えます。


「おはようございます。」と入力します。返答が英語で"Good morning!"と出力されており、英語での生成結果になっています。


ほかの質問を入力しても英文で結果が生成されています。

対処法1:Character gallery の設定を変更する

Character gallery の設定を変更して対応する方法です。
Text Generation Web UIを表示します。


下にスクロールします。[Character gallery]のパネルを開きます。


[Assistant]の項目をクリックして選択します。


選択後、ページ上部の[Paramter]タブをクリックして選択します。Paramter画面に切り替わりますので、[Character]タブをクリックして選択します。 下図の画面が表示されます。


下にスクロールします。[Context]と[Greeting]の枠があります。


[Context]と[Greeting]のテキストボックスの内容をクリアします。Context, Greeting に英文が入力されていると、英語での生成結果が多くなります。


Chat画面に戻り、日本語のメッセージを入力します。


日本語での生成結果が出力できました。

対処法2:Start reply with を設定する

WebUIのChat画面のページを下にスクロールします。[Start reply with]のテキストボックスがあります。


テキストボックスに "はい、" を入力します。


設定後、入力に「こんにちは」を与えます。結果が日本語で出力されます。


ほかの質問も入力します。こちらも日本語で出力されました。