這几天在測試把免費的ai提供者整合起來
像 ollama nvidia google ai studio 等
找到了 litellm
記一下安裝流程
先建個目錄 並在目錄下產生 config.yaml
內容如下
model_list:
- model_name: auto
litellm_params:
model: ollama/gemma4:31b
api_base: "https://ollama.com"
api_key: "fcfc69438036414CJtv9L-1EI1i2"
- model_name: auto
litellm_params:
model: openai/nvidia/nemotron-3.5-super-vl-120b-a12b
api_base: "https://integrate.api.nvidia.com/v1"
#model: nvidia/nemotron-3.5-super-vl-120b-a12b
#api_base: "https://integrate.api.nvidia.com"
api_key: "nvapi-h6TxXTV08YRypl96bQ5VhXAaPWs"
#此區設定若有提供者有問題時會詢問其他
router_settings:
num_retries: 3
allowed_fails: 1
##cooldown_time: 300
timeout: 90
#設定要連到 litellm的密碼
general_settings:
master_key: "password"
之後啟動docker
docker run -d --name litellm-proxy --restart unless-stopped -p 4000:4000 -v /home/config.yaml:/app/config.yaml ghcr.io/berriai/litellm:main-latest --config /app/config.yaml --port 4000 --num_workers 8
跑起來後測試一下
curl http://10.0.0.1:4000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer password" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello ai!"}]
}'
如果要除錯可以先設定不同提供者不同的model_name
curl的 model 指定上述不同的 model_name
