统一前沿大模型网关 与智能路由网格
通过一个 OpenAI 兼容接口调用 OpenAI、Anthropic、Google、DeepSeek 等厂商的模型,支持负载均衡、Prompt 缓存、推理 Token 流式输出与按量计费。
当前可用模型
价格实时取自模型目录,本周调用量最高的模型排在前面。
主流客户端与框架无缝接入
主流客户端与桌面助手
- Cherry Studio:桌面 AI 客户端
- Chatbox:桌面 AI 客户端
- NextChat:Web 与桌面应用
- Cline:自主编程 Agent
- Roo Code:AI 编程助手
- OpenWebUI:自托管 AI 界面
- Dify:大模型应用平台
- Cursor:AI 代码编辑器
开发者 SDK 与 Agent 框架
- OpenAI SDK(官方 Python 与 Node SDK):仅需修改 base_url 即可 100% 原生无缝替代
- LangChain & LangGraph(Agent 与工作流编排):在多 Agent 状态机中实现零配置动态路由
- Vercel AI SDK(前端流式交互与工具调用):原生支持推理 Token 流式传输与交互式 UI 组件渲染
- LlamaIndex(RAG 知识库检索增强):针对高吞吐向量检索与长上下文知识匹配深度优化
常见问题解答
- 支持哪些客户端和开发框架原生接入?
- 所有支持 OpenAI、Anthropic 或 Gemini API 协议的客户端和框架均可原生无缝接入。您可以直接在 Cherry Studio、Chatbox、NextChat 等桌面客户端,或 Cursor、Cline、Roo Code 等编程工具,以及 LangChain、LlamaIndex、Vercel AI SDK 等框架中,将 Base URL 替换为本站端点并填入生成的 API 密钥即可立即使用。
- Prompt 缓存如何降低 Token 成本?
- 网关会透传各厂商自身的缓存机制(Anthropic Prompt Caching、DeepSeek 上下文缓存、OpenAI 缓存 Token 与 Gemini 缓存)。当请求重复携带较长的前缀(如系统提示词或历史对话)时,上游会将这部分 Token 标记为缓存命中,并按模型广场中该模型的缓存价格计费,而不是按完整输入价格计费。
- 经过网关会增加多少延迟?
- 网关使用 Go 编写,上游返回的流式 Token 会被立即转发,因此网关自身的开销相对模型生成时间很小。模型广场中每个模型的详情页都展示了本站实测的延迟与成功率。
- 多渠道负载均衡与自动故障切换是如何运作的?
- 每个模型都可以配置多个上游渠道,并分别设置优先级与权重。当上游返回限流(429)或服务端错误(5xx)时,网关会将请求切换到同一模型的其他可用渠道重试。
- 多团队额度预算与 Token 消耗是如何精细化管控的?
- 管理员拥有细粒度的管控能力:可针对不同用户群组设置渠道亲和性,配置最大 Token 安全上限与额度配额,并在后台实时查看精确到 Token 级别的计费日志。