Text generation web UI に LLM モデルをインストールする手順を紹介します。

概要

こちらの記事では、Text generation web UI をインストールする手順を紹介しました。
この記事では、Text generation web UI に LLM モデルをインストールして、テキスト生成ができるよう設定します。

LLMモデルのダウンロード

LLMモデルをダウンロードします。今回は、"Wizard-Vicuna-7B-Uncensored-GPTQ" のLLMモデルをダウンロードします。 このモデルは、ポリシーによるブロックが無く、質問に対して節操なく回答してくれるモデルで人気のモデルです。

このモデルよりさらに賢い(扱える最大トークン数が多い)、"Wizard-Vicuna-13B-Uncensored-GPTQ" "Wizard-Vicuna-30B-Uncensored-GPTQ" もありますが、 大容量のVRAMやRAMが必要となるため、一番小さい、7Bモデルでテストします。7Bが動作することを確認した後、13B, 30B を動作確認する方針が良いと思います。
(VRAM 12GB, RAM 48GBのマシンでは13Bは動作しますが、30Bはメモリ不足で動作しませんでした。)

モデルのHugging FaceのHubのページ (https://huggingface.co/TheBloke/Wizard-Vicuna-7B-Uncensored-GPTQ)にアクセスします。


[Files and versions]タブをクリックして選択します。下図のページが表示されます。 ファイル一覧が表示されています。すべてのファイルをダウンロードします。


(Text generation web UI のインストールディレクトリ)\text-generation-webui\models にフォルダ("Wizard-Vicuna-7B-Uncensored-GPTQ")を作成します。


作成したフォルダ内に、Hubからダウンロードしたファイル一式を配置します。


Webブラウザで Text generation web UI にアクセスします。上部の[Model]のメニューをクリックします。


[Model]の画面が表示されます。[Model]のドロップダウンボックスをクリックします。ドロップダウンリストが表示されます。 リストの"Wizard-Vicuna-7B-Uncensored-GPTQ"の項目をクリックして選択します。


選択後ドロップダウンリストボックス右側の[Load]ボタンをクリックします。モデルの読み込みが始まります。


モデルの読み込みが完了するとウィンドウ右下に "Successfully loaded Wizard-Vicuna-7B-Uncensored-GPTQ" のメッセージが表示されます。


画面上部の[Chat]の項目をクリックします。Chat画面が表示されます。


下部のテキストボックスに質問文を入力します。入力後オレンジ色の[Generate]ボタンをクリックします。


質問に対する回答文が生成されます。


回答文が表示されました。


過激な質問文を入力してみます。ポリシーエラーにならずに過激な内容の回答が出てきました。


Text generation web UI に LLM モデルをインストールして、文章を生成できました。