本文要解决什么?
同一家公司用了几家 AI 模型,却在不同系统重复写重试、切换与计费。本文拆解统一调用入口、错误分级、熔断、回执与成本核对。
三套系统各写一份重试逻辑,最先失控的是账本
常见场景是一套客服摘要工具、一套内容工具和一套内部问答系统各自调用不同模型。有人在代码里写“遇到错误再试三次”,有人手动换模型。表面看都有备份线路,实际上连“这次请求究竟成功了几回”都说不清。
应该让业务系统只提交任务类型、输入、预算上限、质量约束和幂等标识,统一模型入口决定供应商与具体尝试,并保存每一次 Provider 调用的独立记录。
业务任务 + request_id + 预算/质量约束
→ 唯一路由决策(Provider / Model / fallback)
→ 单次调用 attempt_id
→ 响应、错误、用量和真实计费来源
→ 唯一业务结果 + 审计账本429 不是“换一个模型继续狂发”的理由
HTTP 429 往往表示速率配额不足,也可能与服务端容量限制有关;不同供应商是否支持 Retry-After、配额头和错误类型并不相同。先理解当前服务的响应,再决定排队、延迟或切换。
重试需有全链路预算,使用服务端建议的等待时间或指数退避与随机抖动;不可在 SDK、HTTP 客户端和业务层各自重试,造成一次业务动作放大成多次实际计费调用。
- 可重试:明确的限流或临时 5xx,且任务仍在时效预算内。
- 应立即失败:权限错误、模型不支持、无效参数等确定性错误。
- 退避优先,回退前检查候选模型是否满足数据权限、功能和质量约束。
路由依据必须是任务,不是简单选择最便宜的模型
发饰产品标题生成、复杂工程报告段落复核、中文客服摘要对推理能力和响应长度的要求不同。路由器可以根据任务类型、输入长度、图片支持、预算和供应商健康状态选择候选,但业务系统负责定义正确结果。
不能让同一套策略既决定供应商可用性、又替专业报告作最终真实性判断。模型网关只保证可追踪的调用,销售事实、工程参数和对外承诺仍由各业务模块与人审核。
- 输入预算:上下文长度、图片/文本能力和预期输出量。
- 业务限制:数据地区、敏感资料、延迟与质量底线。
- 路由条件:健康状态、速率限制、真实费用和降级允许范围。
熔断和回退应属于一条状态机
当同一 Provider 连续出现可归因的临时失败,可以短时间停止分配新流量,等待半开探测确认恢复。每个模型和供应商的健康信息要有明确更新时间,不能让旧的一次故障把模型永久封禁。
业务层的 request_id 代表一个任务,attempt_id 代表一次实际请求。超时后结果未知时,尤其不能对“发送邮件”“写 CRM”等有副作用的动作盲目重试;这些动作应由另外的幂等接口和回执处理。
request_id = biz-20261026-0008(示例)
attempt_1 = provider_A/model_X → 429
attempt_2 = provider_A/model_X → 退避后仍 429
attempt_3 = provider_B/model_Y → 成功
business_result = 一次
ledger = 三次尝试各自记录真实响应和用量价格表不是成本账本,计费以实际用量证据为准
输入 Token、输出 Token、缓存计费、推理额外消耗与供应商货币单位都可能不同。真实账本至少保存请求 ID、模型版本、提供商、可确认的 Token 用量、价格版本、原始回执和结算币种。
对于超时且供应商未返回用量的请求,应记录为“用量待核对”而不是写成 0 元;重试产生的额外成本也要归到最初的业务任务。
- 任务级看总成本,不能只展示成功的最后一次调用。
- 若使用估算 Token,应与供应商实际计费使用量分开存放。
- 成本优化同时看输出质量;低价模型导致反复人工改稿也有成本。
不要重复建设第二个路由器
如果企业已经有一个可靠的模型调用层,新的业务系统通过稳定协议消费它即可。销售工具不应该自行维护第二份“429 自动切换规则”,图片工具也不该另写一套供应商黑名单。
升级时先画出调用边界:谁发起任务、谁选择模型、谁决定是否重试、谁检查业务结果、谁付款和审计。发现多处拥有相同决定权,应收口到唯一维护点,并删除旧消费者里的重复逻辑。
- Model Router 负责模型选择与调用生命周期。
- 业务模块只负责真实性、权限与交付验收。
- 数据平台负责统一的事件和用量查询,不在各前端重新算价格。
上线验收不仅是“能够请求成功”
至少覆盖 429、服务端 5xx、凭据失效、供应商超时、回退目标质量不足、账本延迟到达等路径。应对照真实请求回执核查成功次数与账本总额,并观察多模型同时故障时能否清晰降级。
每次修改绑定确定的版本和回归证据。成本改进要用同一种任务集对比成功率、P95 延迟、总账单与人工复核时长,才有可比性。
- 一次任务只落一个正式结果;失败原因可追溯。
- 429 有退避上限,熔断恢复时不冲击上游。
- 成功与失败尝试都能被账本解释。
- 不能因降价而自动放宽业务准确性门槛。