這几天在測試把免費的ai提供者整合起來

像 ollama nvidia google ai studio 等

找到了 litellm

記一下安裝流程

先建個目錄 並在目錄下產生 config.yaml

內容如下

model_list:

  - model_name: auto

    litellm_params:

      model: ollama/gemma4:31b

      api_base: "https://ollama.com"

      api_key: "fcfc69438036414CJtv9L-1EI1i2"

  - model_name: auto

    litellm_params:

      model: openai/nvidia/nemotron-3.5-super-vl-120b-a12b

      api_base: "https://integrate.api.nvidia.com/v1"

      #model: nvidia/nemotron-3.5-super-vl-120b-a12b

      #api_base: "https://integrate.api.nvidia.com"

      api_key: "nvapi-h6TxXTV08YRypl96bQ5VhXAaPWs"

#此區設定若有提供者有問題時會詢問其他  

router_settings:

  num_retries: 3

  allowed_fails: 1

  ##cooldown_time: 300

  timeout: 90

#設定要連到 litellm的密碼

general_settings:

  master_key: "password"

之後啟動docker

docker run -d   --name litellm-proxy   --restart unless-stopped   -p 4000:4000   -v /home/config.yaml:/app/config.yaml   ghcr.io/berriai/litellm:main-latest   --config /app/config.yaml --port 4000 --num_workers 8

跑起來後測試一下

curl http://10.0.0.1:4000/v1/chat/completions \

  -H "Content-Type: application/json" \

  -H "Authorization: Bearer password" \

  -d '{

    "model": "auto",

    "messages": [{"role": "user", "content": "Hello ai!"}]

  }'

如果要除錯可以先設定不同提供者不同的model_name

curl的 model 指定上述不同的 model_name

https://www.litellm.ai/