Text generation web UI をインストールする (ローカル環境でのLLMの実行)

Text generation web UI をインストールする手順を紹介します。

概要

LLMをローカルPCで動作させるためのUIとして、Text generation web UI があります。 この記事では、Text generation web UI をインストールする手順を紹介します。

ダウンロード

Text generation web UIのZIPファイルをダウンロードする方法

Text generation web UIのGitHubのページ(https://github.com/oobabooga/text-generation-webui)にアクセスします。 下図のページが表示されます。

ページを下にスクロールすると、[Installation]セクションがあります。


[One-click installers]の[Windows]の項目の"oobabooga-windows.zip"のリンクをクリックします。

インストーラーのZIPファイルをダウンロードできました。

ZIPファイルを展開して、配置します。"start_windows.bat"ファイルを実行します。

GitHubのリポジトリをクローンする方法

Gitをインストールし、以下のコマンドを実行します。

git clone https://github.com/oobabooga/text-generation-webui.git

または

(gitの配置パス)\git.exe clone https://github.com/oobabooga/text-generation-webui.git

カレントディレクトリにtext-generation-webuiフォルダが作成され、Text generation WebUIのファイルが配置されます。
"start_windows.bat"ファイルを実行します。

インストール

"start_windows.bat"ファイルを実行します。バッチファイルが実行され、インストール処理が始まります。

今回は、NVIDIAのGPUを利用しているマシンのため"A"を入力して[Enter]キーを押します。

"N" を入力します。GeForce GTX 680 世代より前のGPUを利用している場合のみ "Y"を入力します。 (Keplerについてはこちらの記事を参照してください)

インストールが完了すると下図の画面が表示されます。http://127.0.0.1:7860 でWebUIが起動した旨のメッセージが表示されます。


Webブラウザでhttp://127.0.0.1:7860にアクセスします。下図のページが表示されます。Web UIが表示できました。

以上で、Text generation web UI のインストールができました。

次の手順

Text generation web UI に LLM モデルをインストールする

著者

かもーる

iPentecの企画・分析担当。口が悪いのでなるべく寡黙でありたいと思っている。が、ついついしゃべってしまい、毎回墓穴を掘っている。