一个Key调用多个大模型

📅 2026-10-11 · 分类:教程

上个月接了个客服对话摘要的需求,得对比 DeepSeek 和通义千问哪个更稳。结果光注册就折腾一下午:DeepSeek 要实名认证,通义得开通百炼,两家的控制台长得完全不一样,余额还得分开充。更烦的是代码里塞了三套 SDK、三个 Key、三种报错格式,想换模型等于重写一遍调用逻辑。

其实现在主流大模型基本都提供 OpenAI 兼容接口,只要把 base_url 指向一个聚合网关,一个 Key 就能全打通。需要准备的东西很少:一个支持多模型的网关地址和 Key;Python 装 openai 这个包,各家的官方 SDK 都不用装;再记下你要跑的模型名,比如 deepseek-chat、qwen-plus、glm-4。

第一步,换地址和 Key。 其余的初始化代码一个字都不用动:

client = OpenAI( api_key="sk-你的网关Key", base_url="https://api.example-relay.com/v1", ) `

第二步,切模型只改一个字符串。 同一个 client 对象复用,改 model 就走不同的厂商:

注意模型名要写网关文档里列出的全名,写"通义千问"这种中文名会直接 404。

第三步,批量验证加兜底。 选型阶段直接把候选模型跑一遍同一批数据:

返回结构统一是 OpenAI 那套,所以某个模型超时或限流时,try 里换下一个模型继续跑,业务代码完全不用改——这是多模型网关最实用的地方。

这么改完,切模型从"换 SDK + 改代码"变成一个字符串的事,账单和用量也集中在一个后台看。挑网关时看两点就够了:模型列表里有没有你真正要用的那几个,计费和限速规则写得清不清楚。我自己一直用充站,模型更新比较快,DeepSeek 新版本基本当天就能调,一个 Key 从头管到尾,省了来回切控制台的功夫。

← 返回文章列表