Sử dụng LiteLLM với các mô hình AI của Trung Quốc thông qua ChinaAPI.

Thiết lập proxy

Sử dụng openai /<model> các mục trong config.yaml.

model_list:
  - model_name: deepseek-fast
    litellm_params:
      model: openai/deepseek-v4-flash
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: kimi-code
    litellm_params:
      model: openai/kimi-k2.7-code
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: qwen-max
    litellm_params:
      model: openai/qwen3.7-max
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

export CHINAAPI_API_KEY="sk-..."
litellm --config config.yaml --port 4000

Bộ công cụ phát triển phần mềm Python (Python SDK)

Gọi trực tiếp ChinaAPI từ LiteLLM.

import os
from litellm import completion

response = completion(
    model="openai/deepseek-v4-flash",
    api_base="https://api.chinaapi.ai/v1",
    api_key=os.environ["CHINAAPI_API_KEY"],
    messages=[{"role": "user", "content": "Say LiteLLM is connected to ChinaAPI."}],
    stream=True,
)

for chunk in response:
    print(chunk, end="")

Khắc phục sự cố

Các vấn đề thường gặp với LiteLLM.

Các mô hình tư duy như qwen3.7-max Có thể tạo ra các mã thông báo suy luận trước khi xuất ra kết quả cuối cùng. Sử dụng tính năng truyền dữ liệu trong các máy khách phía sau LiteLLM hoặc tăng thời gian chờ của máy chủ/máy khách.

Không tìm thấy mô hình: kiểm tra chính xác model ID trên giá trực tiếpsau đó cập nhật litellm_params .modelHãy giữ nguyên openai / Tiền tố cho định tuyến OpenAI-compatible .

401 : xác nhận CHINAAPI_API_KEY giải quyết thành một sk-... khóa và LiteLLM đang truyền nó như là nhà cung cấp API key .