大学でAIの授業をすることになって、デモ環境が必要だとなったんだが、今のChat GPTとかGeminiとかデモで使ってみると予想以上に賢い。ハルシネーションが起きにくい。それに最新情報をWebから自動で持ってくるので、モデルの持っているデータには限りがあるというデモをするのも、調整が必要だったりする。
一方ローカルLLMで小さいモデルを使えば簡単にデモができる。なので、RAGとかも使えるOpen WebUIを使ってデモをした。
Open WebUIは、Ollamaのフロントエンド的な動きをするので、大抵は、Ollamaとセットになる。よって、OllamaのDesktop版をインストールしOpen WebUIをDocker Composeで起動したが。。。
Open WebUIのDesktop版を入れれれば、全部入りで動いてしまう。Open WebUIのDesktop版は昔からあったのだが、最近正式リリース版が出た。いれてみたら結構すごかった。
ダウンロード
インストーラーをダウンロードして、インストールをするだけ。この時点ではDocker Desktopなどの環境は一切不要。
Open WebUI Desktop版の機能
-
Open WebUI
-
ローカル起動
-
リモートのOpen WebUIの接続機能 （リモート接続のみサポートというのも取れる。）
-
オプション
-
LLM （llama.cpp）（Ollamaのインストールは必須ではない。手元のパソコンにOllamaがあれば勝手にコンフィグしてくれる。）
-
Open-Terminal
構成例
以下の構成が取れる。
LLMが入っておらず、Open WebUIしか使わない。（結構重い）
-
Open WebUI＋ LLM （llama.cpp）＋ Open-Terminal
すでにLLMがインストールされている（ollamaやLMStudioなど）（おすすめ）
-
Open WebUI＋Open-Terminal
Macでメモリが少なく (8-16GB)、LLMを入れたくない場合
-
Open WebUI＋Open-Terminal
-
LLM: Apfel-chat (https://apfel-chat.franzai.com)
ユースケース
向いているケース
自身のパソコンにOpen WebUI Desktopをインストール
自身のパソコンでLLM Chat/Agent AIを完結させたい。オフラインで使いたい
自身のパソコンでも使う、リモートのOpen WebUIも使うといった切り替えて使いたい
向いていないケース
DockerなどでOpen WebUI構築したほうがいい
サーバを立てて、複数人で使いたい
大規模環境
Agent AIとしてみた場合、OpenClawなどと比較すると外部サービス連携の機能がほとんどないので、n8nなどと併用して使うしかない。（これは、Open WebUI自体の仕様）
いずれにせよ、事前準備不要、何も考えずにインストールしてすぐに使えてしまう。MACのDocker Desktopで作ってたのは、何だったんだろう。
セットアップ
WindowsもMACも、Open WebUI Desktopをインストールして、初回起動時のセットアップに進めば何事もなく動く。
Get Startedをクリックするとローカルインストール、Connect to existing serverをクリックすると、リモートのサーバに接続できるようになる。あとでリモートを選んでも、後でローカルインストールのセットアップも可能。
ターミナルアプリとLLMを入れるかどうかを選択。OllamaやLMStudioをすでに使っている人は、llama.cppは要らないかもしれない。というか、後に出てくる地雷にハマらない。
もし、Ollamaなどが入っていて、動いているなら、llama.cppは入れないほうがいいかも。そのほうがスムーズ。特にWindowsの場合は。
おなじみにのセットアップ画面。メールアドレスとパスワードを入れて終了。
さて、Open WebUIからLLMをいれるとモデルがない。
ちなみに、ローカルにOllamaをいれて動かしている人は、http://localhost:11434が設定されているのでそのまま使えるはず。
設定は以下の赤で囲ってあるところをクリックするとサイドバーが表示される。
このサイドバーでリモートサーバの登録もできる。Settingsをクリックする。
Modelタブを開き、Qwen 3.5で検索して、unslash/Qwen3.5-9B-GGUFを選ぶ（利用するマシンのスペックに依存する。スペックが高くない場合は、unslash/Qwen3.5-4B-GGUFを選ぶ。）
ー＞これはあくまでも例なので、環境に応じて。
Qwen3.5-9b-Q4_K-M.ggufを選ぶとダウンロードボタンが出るので、クリックする。ダウンロードが開始されるのでしばし待つ。
~/Library/Application\ Support/open-webui/models/Qwen3.5-9B-Q4_K_M.gguf
にモデルがダウンロードされる。
同様にして、軽量環境としてunslash/Qwen3.5-0.8B-GGUF/Qwen3.5-0.8B-Q4_K_M.ggufも落としておく。
llama.cppの設定（Ollamaとか入っていない場合）
以下最新版で修正されたので不要（ここから）
さて、ここからがイケていない。実は、ここにファイルがあってもllamaは見てくれない。
MACOS
~/Library/Application\ Support/open-webui/models/にフラットにモデルファイル（ggufファイル）がある必要がある。（2時間格闘。）
% cd Library/Application\ Support/open-webui/models/
% ls huggingface/unsloth–Qwen3.5-0.8B-GGUF
Qwen3.5-0.8B-Q4_K_M.gguf
% ls huggingface/unsloth–Qwen3.5-9B-GGUF
Qwen3.5-9B-Q4_K_M.gguf
% ln -s huggingface/unsloth–Qwen3.5-0.8B-GGUF/Qwen3.5-0.8B-Q4_K_M.gguf
% ln -s huggingface/unsloth–Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf
% ls
huggingface Qwen3.5-0.8B-Q4_K_M.gguf Qwen3.5-9B-Q4_K_M.gguf
Windows
管理者権限でPowerShellを立ち上げて
cd “$env:APPDATA\open-webui\models”
New-Item `
-ItemType SymbolicLink `
-Path “Qwen3.5-9B-Q4_K_M.gguf” `
-Target “.\huggingface\unsloth–Qwen3.5-9B-GGUF\Qwen3.5-9B-Q4_K_M.gguf”
この問題、GithubでIssueをOpenした。さすがDesktopなので、あまり知らない人でも使えるようにしておかないと。
自分があげたIssueの修正だけが入った最新版がリリースされた。https://github.com/open-webui/desktop/issues/177
（ここまで不要）
さらに、GPUがあるなら、GPUを指定すること。
MACはOKだったがOllamaに比べると重い。
Windowsの場合、Strix HaloなEVO-X2はGPUは使ってくれなかった。Open WebUI DesktopでLLMを入れずにOllamaを入れた方が幸せかも。
動いた！
MACでapfel-chat (https://apfel-chat.franzai.com)を利用する場合
インストールをして起動しておくと、http://127.0.0.1:11440/v1 でOSのAI (apple-foundationmodel)が使える。
OSネイティブなので、軽いしリソースの消費もほぼない。それにチョッパや。Qwen 3.5 0.8b入れるよりいい。
これで初期導入は、完了。「こんにちは」といれると少し経つと結果が返ってくる。ちなみに、よく「こんにちは」を最初にいれるのだが、LLMにとって一番負荷が少ないプロンプト。初回ロードのウォームアップにはうってつけ。
アンインストール
念の為アンインストール方法も記載しておく。
Open WebUIの中で以下をアンインストール
-
Open WebUI
-
Open Terminal
-
Inference Runtime
その後、
- MAC: App Cleanerでアプリを消して、~/Library/Application Support 配下のopen-webuiで始まるフォルダを消す。
- Windows:アプリの追加と削除でアプリを消して、%APPDATA%配下のopen-webuiで始まるフォルダを消す。
これで、再度インストールすると、初期セットアップが立ち上がる。open-webuiフォルダを消さないで再度インストールすると前の設定が戻ってきてしまうので注意。
あとは、普通に使えばいい。。。という話になるのだが、色々機能を使うとすると、そうは問屋はなかなか下ろさない。追加コンテナや設定が必要になる。
続きは次回。