還是 ollama

一開始安裝是使用 官方提供的script 裝在lxc上

curl -fsSL https://ollama.com/install.sh | sh

接下來視需求跑model

ollama run gpt-oss:20b

要看下載了那些 model

使用 ollama ls

跑起來在文字介面上可以下指令

如果需要有網頁界面

最快的方式是在同一台几器跑 open-webui 

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

登入後就可以選擇任何已下載的模型來使用 很方便 直接選擇就能用 不需要 先 ollma run

ollama 也有docker可以使用

https://hub.docker.com/r/ollama/ollama

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

裝好後使用以下指令進到內部再下指令

docker exec -it ollama /bin/bash