01 / 网关

AI 接口路由中转与故障切换网关

把分散的模型接口收拢到一个入口,遇到海外网络抖动或限流自动切换备用,并按项目记账。

问题

业务直接调外部模型 API 很脆弱。遇到服务商限流(429)、偶发 502 或者海外链路抖动,业务就直接报错卡死。 不同提供商的格式和鉴权方式不一样,多项目共用时根本查不清到底是谁把额度刷超了。

我做了什么

  • 统一成兼容 OpenAI 的请求格式,外部系统不用改客户端代码。
  • 给重点模型配置多组上游通道。主通道一旦超时或返回 5xx,自动重试并秒级切到备用通道。
  • 关闭代理层多余缓冲,保证打字机效果(SSE 流式)首字不卡顿。
  • 按项目分配 Token,设置消费限额并记录明细,超量自动拦截。
  • 流量走 Cloudflare 隧道接入,后端机器不需要开公网入站端口。

结果

  • 单一服务商短暂抽风时,业务调用基本感觉不到中断。
  • 各项目的调用量、耗时和花费在一个面板里清清楚楚,排查问题省时间。

用到的工具

反向代理 Cloudflare Tunnel SSE 流式传输 用量配额统计 Docker Compose
← 返回总览 下一篇:不良反应提取 →