iPentec.com / Doc / Software / LLM

Text generation web UI をインストールする (ローカル環境でのLLMの実行)

Text generation web UI をインストールする手順を紹介します。

概要

LLMをローカルPCで動作させるためのUIとして、Text generation web UI があります。この記事では、Text generation web UI をインストールする手順を紹介します。

ダウンロード

Text generation web UIのZIPファイルをダウンロードする方法

Text generation web UIのGitHubのページ(https://github.com/oobabooga/text-generation-webui)にアクセスします。下図のページが表示されます。

ページを下にスクロールすると、[Installation]セクションがあります。

[One-click installers]の[Windows]の項目の"oobabooga-windows.zip"のリンクをクリックします。

インストーラーのZIPファイルをダウンロードできました。

ZIPファイルを展開して、配置します。"start_windows.bat"ファイルを実行します。

GitHubのリポジトリをクローンする方法

Gitをインストールし、以下のコマンドを実行します。

git clone https://github.com/oobabooga/text-generation-webui.git

または

(gitの配置パス)\git.exe clone https://github.com/oobabooga/text-generation-webui.git

カレントディレクトリにtext-generation-webuiフォルダが作成され、Text generation WebUIのファイルが配置されます。
"start_windows.bat"ファイルを実行します。

インストール

"start_windows.bat"ファイルを実行します。バッチファイルが実行され、インストール処理が始まります。

"What us your GPU"のメッセージが表示されInput >プロンプトが表示されます。利用しているGPUを選択します。今回は、NVIDIAのGPUを利用しているマシンのため"A"を入力して[Enter]キーを押します。

"Do you want to use CUDA 11.8 instead of 12.1?" のメッセージが表示され、Input >プロンプトが表示されます。

メッセージ

Do you want to use CUDA 11.8 instead of 12.1? Only choose this option if your GPU is very old (Kepler or older). For RTX and GTX series GPs, say "N". If unsure, say "N".

CUDA 12.1 の代わりに CUDA 11.8 を使用しますか? GPU が非常に古い (Kepler 以前) 場合にのみ、このオプションを選択してください。 RTX および GTX シリーズ GP の場合は、「N」と言います。わからない場合は「N」と答えてください。

"N" を入力します。GeForce GTX 680 世代より前のGPUを利用している場合のみ "Y"を入力します。 (Keplerについてはこちらの記事を参照してください)