一个Key调用多个大模型

📅 2026-09-28 · 分类:教程

上个月想给项目加条降级路径:DeepSeek 超时就切通义千问。结果光注册就折腾半天——两个平台各自实名、各自充值、各自生成 key,SDK 还不完全一样,一个走 OpenAI 格式,一个得另装包。真跑起来,日志里两个 key 混着出现,月底账单还得去两个后台对。明明只是想让代码多一条备选,成本却全花在管理上。

其实只要一个支持 OpenAI 兼容协议的中转 Key,这事就能压成改一行配置。准备工作不多:一个聚合网关的 API Key 和 base_url;任意语言的 OpenAI SDK(Python 用 openai>=1.0,Node 用 openai 包);再加一份模型清单,比如 deepseek-chat、qwen-plus、glm-4-plus。

第一步,把 base_url 从官方地址换掉。 所有 OpenAI 兼容客户端都认这个参数,改完业务代码一行不用动:

client = OpenAI( api_key=os.getenv("AGG_KEY"), base_url="https://your-gateway.com/v1", ) `

key 和地址都走环境变量,别写死在代码里。将来要切回官方接口,也只是改这两行,回滚成本几乎为零。

第二步,切模型就是换 model 字符串。

同一条请求路径,改个字符串就能横向对比不同模型的输出质量、延迟和价格。做 prompt 调优时特别顺手,同一份 prompt 轮流喂给三家,谁答得好一眼就看出来。

第三步,把模型列表写成降级链。 主模型超时或撞上 429 时自动落到下一个:

如果你也想试试一个Key调多个模型的方便,可以看看充站——¥50起步,额度永久有效,用支付宝/微信就能付款。

← 返回文章列表