它处在业务热路径上,任何多余的一跳都要付出代价。所以我们对它的要求不是功能多,而是这四条同时成立——做不到其中任何一条,这一层就不该存在。
连接复用与流式透传,网关自身的开销控制在毫秒级;缓存命中时反而更快。
通道健康探测与秒级故障转移,上游抖动不传导到你的业务。
提示词缓存与响应缓存让重复的部分不再重复付费,节省金额报表里可查。
接口兼容主流规范,迁入迁出都是改配置;这是我们的自我约束,写进接入文档。
接口兼容主流规范,存量业务只需替换服务地址与密钥,SDK 与调用代码保持不变。路由策略、缓存与限流在服务端配置,无需改动业务代码。
# 网关地址与密钥在开通后提供 curl https://<您的网关地址>/v1/chat/completions \ -H "Authorization: Bearer $CHAOSAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-v3", "messages": [{"role": "user", "content": "你好"}], "stream": true }'
以一个兼容主流规范的标准接口,统一接入国内主流模型服务与国际主流模型(国际模型面向出海业务,按业务所在地法规与厂商条款开通),统一管理密钥、路由、用量与成本,让智能能力稳定地服务于业务系统。
同一个模型往往有多个可用通道,价格、时延与稳定性各不相同,而且随时在变。网关按您设定的策略在通道之间择优,并在上游异常时自动切换——业务侧感知不到,只看到调用照常成功。
网关处在业务热路径上,性能是第一要求。多级缓存让重复的部分不再重复付费:稳定的系统提示词与长上下文前缀自动命中提示词缓存,完全相同的请求直接命中响应缓存。两者叠加,在高并发场景下同时降低时延与成本。
上游密钥集中托管在网关侧,业务系统只持有网关签发的密钥——上游凭证既不下发也不外泄,轮换时业务无需改动。用量与预算按团队、项目或环境分别核算,谁花了多少一目了然,额度用尽自动停,不会出现月底才发现超支。
出问题时最怕"不知道发生了什么"。网关记录每一次调用的完整轨迹:走了哪个通道、耗时多少、是否命中缓存、消耗多少 token、失败在哪一步。这些数据既是排障依据,也是合规审计与成本优化的原始材料。
真实业务里,模型很少单独工作——它需要联网搜索、读取网页、查询业务数据源。这些能力各有各的接口、密钥与计费方式,分散接入既麻烦又难管。网关把它们收敛到同一个接口之下,密钥统一托管,用量与成本与模型调用一起归集。
交付方式按您的合规与运维要求选择:可以直接使用我们托管的服务快速上线,也可以把网关与配套组件整套部署在您自己的环境内,数据与凭证均不出您的网络边界。出海业务依托 AWS 等国际主流云平台部署,按业务所在地法规交付。
说明您的模型使用场景、调用规模与合规要求,我们评估最优接入方案。
开通密钥与额度,按需配置路由策略、缓存与限流参数。
存量业务改配置即接入,上线后提供监控告警与持续运维支持。