Sử dụng LiteLLM với các mô hình AI của Trung Quốc thông qua ChinaAPI.

Thiết lập proxy

Dùng openai/<model> cho các mục trong config.yaml.

model_list:
  - model_name: deepseek-fast
    litellm_params:
      model: openai/deepseek-flash
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: kimi-code
    litellm_params:
      model: openai/kimi-k2.7-code
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: qwen-max
    litellm_params:
      model: openai/qwen3.7-max
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

export CHINAAPI_API_KEY="sk-..."
litellm --config config.yaml --port 4000

Bộ công cụ phát triển phần mềm Python (Python SDK)

Gọi trực tiếp ChinaAPI từ LiteLLM.

import os
from litellm import completion

response = completion(
    model="openai/deepseek-flash",
    api_base="https://api.chinaapi.ai/v1",
    api_key=os.environ["CHINAAPI_API_KEY"],
    messages=[{"role": "user", "content": "Say LiteLLM is connected to ChinaAPI."}],
    stream=True,
)

for chunk in response:
    print(chunk, end="")

Khắc phục sự cố

Các vấn đề thường gặp với LiteLLM.

Các mô hình tư duy như qwen3.7-max có thể tạo token suy luận trước khi đưa ra kết quả cuối cùng. Hãy dùng streaming ở các máy khách đứng sau LiteLLM hoặc tăng thời gian chờ phía upstream/máy khách.

Không tìm thấy mô hình: hãy kiểm tra đúng model ID trên trang giá trực tiếp, sau đó cập nhật litellm_params.model. Giữ nguyên tiền tố openai/ để định tuyến OpenAI-compatible.

401: hãy xác nhận CHINAAPI_API_KEY có giá trị là một khóa sk-... và LiteLLM đang truyền khóa đó làm API key của nhà cung cấp.