上个月想给项目加条降级路径:DeepSeek 超时就切通义千问。结果光注册就折腾半天——两个平台各自实名、各自充值、各自生成 key,SDK 还不完全一样,一个走 OpenAI 格式,一个得另装包。真跑起来,日志里两个 key 混着出现,月底账单还得去两个后台对。明明只是想让代码多一条备选,成本却全花在管理上。
其实只要一个支持 OpenAI 兼容协议的中转 Key,这事就能压成改一行配置。准备工作不多:一个聚合网关的 API Key 和 base_url;任意语言的 OpenAI SDK(Python 用 openai>=1.0,Node 用 openai 包);再加一份模型清单,比如 deepseek-chat、qwen-plus、glm-4-plus。
第一步,把 base_url 从官方地址换掉。 所有 OpenAI 兼容客户端都认这个参数,改完业务代码一行不用动:
client = OpenAI(
api_key=os.getenv("AGG_KEY"),
base_url="https://your-gateway.com/v1",
)
`
key 和地址都走环境变量,别写死在代码里。将来要切回官方接口,也只是改这两行,回滚成本几乎为零。
第二步,切模型就是换 model 字符串。
同一条请求路径,改个字符串就能横向对比不同模型的输出质量、延迟和价格。做 prompt 调优时特别顺手,同一份 prompt 轮流喂给三家,谁答得好一眼就看出来。
第三步,把模型列表写成降级链。 主模型超时或撞上 429 时自动落到下一个:
如果你也想试试一个Key调多个模型的方便,可以看看充站——¥50起步,额度永久有效,用支付宝/微信就能付款。