ใช้ LiteLLM ร่วมกับโมเดล AI ของจีนผ่านทาง ChinaAPI

การตั้งค่าพร็อกซี

ใช้ openai/<model> เป็นรายการโมเดลใน config.yaml.

model_list:
  - model_name: deepseek-fast
    litellm_params:
      model: openai/deepseek-flash
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: kimi-code
    litellm_params:
      model: openai/kimi-k2.7-code
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

  - model_name: qwen-max
    litellm_params:
      model: openai/qwen3.7-max
      api_base: https://api.chinaapi.ai/v1
      api_key: os.environ/CHINAAPI_API_KEY

export CHINAAPI_API_KEY="sk-..."
litellm --config config.yaml --port 4000

ไพธอน SDK

เรียกใช้ ChinaAPI โดยตรงจาก LiteLLM

import os
from litellm import completion

response = completion(
    model="openai/deepseek-flash",
    api_base="https://api.chinaapi.ai/v1",
    api_key=os.environ["CHINAAPI_API_KEY"],
    messages=[{"role": "user", "content": "Say LiteLLM is connected to ChinaAPI."}],
    stream=True,
)

for chunk in response:
    print(chunk, end="")

การแก้ไขปัญหา

ปัญหาทั่วไปของการใช้ LiteLLM

โมเดลแบบ Thinking เช่น qwen3.7-max อาจสร้างโทเค็นการให้เหตุผลก่อนเอาต์พุตสุดท้าย ใช้การสตรีมในไคลเอ็นต์ที่อยู่หลัง LiteLLM หรือเพิ่มค่าหมดเวลาฝั่งอัปสตรีม/ไคลเอ็นต์

ไม่พบโมเดล: ตรวจสอบ model ID ที่ถูกต้องตรงตัวในหน้าราคาแบบเรียลไทม์จากนั้นอัปเดต litellm_params.model. คงคำนำหน้า openai/ ไว้สำหรับการกำหนดเส้นทางแบบ OpenAI-compatible

401: ยืนยันว่า CHINAAPI_API_KEY มีค่าเป็นคีย์ sk-... และ LiteLLM ส่งคีย์นี้เป็น API key ของผู้ให้บริการ