什么是 AI 网关？什么时候需要，怎么选
发布于 2026-11-11
AI 网关是夹在你的应用和一个或多个模型厂商之间的一层服务。你的代码用同一种格式把所有请求发给网关，网关再转发给对应厂商，并把响应返回给你。「LLM 网关」「LLM 代理」「AI API 网关」大多是同一个意思。本文讲清楚网关做什么、什么时候值得用、什么时候不必用，以及怎么选。想看具体产品的横向对比，请看 LLM 网关对比。
利益声明：我们开发 OriginCoder，一个托管的 AI 网关，所以我们在这个话题上有立场。我们尽量公平地写取舍，包括写明哪些情况根本不需要网关。内容截至 2026 年 11 月，产品变化很快，请以各项目官方文档为准。
网关实际做什么
多数网关会组合下面几类能力：
- 一套接口对接多个模型。 你只按一种请求格式开发（常见是 OpenAI Chat Completions 格式），改个模型名就能在 Claude、GPT、Gemini 或开源模型之间切换。
- 密钥管理。 应用只持有一个网关密钥，不必每个厂商一个。可以按团队或项目分别发 Key，需要时单独撤销，不影响厂商账号。
- 用量与成本统计。 每次请求都记录 token 数和费用，谁花了多少一目了然。
- 限额与预算。 速率限制、花费上限、按 Key 限定可用模型。
- 路由与故障切换。 请求失败时换一个厂商或模型重试，或在多个账号间分摊负载。
- 缓存、日志与护栏。 部分网关支持缓存相同请求、保留请求日志或过滤内容，各家差异最大的就是这一块。
- 计费。 自己售卖 token 的托管网关还负责充值和账单，你不必在每个厂商都开账号。
它解决什么问题
- 代码被厂商绑定。 没有网关时，每个厂商的 SDK 和请求结构都会渗进你的应用。网关把这些藏到一个接口后面。
- 密钥散落。 厂商密钥复制到许多服务和电脑上，很难轮换。每个调用方一个网关 Key 更容易追踪和撤销。
- 没有统一的花费视图。 多个团队、多个厂商、多个后台。网关提供一份统一记录。
- 故障与限流。 单个厂商可能故障或限流，故障切换能降低影响。
- 工具要求自定义地址。 Claude Code、Codex 这类编程 Agent 允许设置 Base URL，网关就是这个地址指向的东西。参见 Claude Code 接入自定义 API 地址。
什么时候你大概率需要
- 你调用不止一个厂商，或预计经常换模型。
- 多个人或多个服务共用模型访问，需要按 Key 设预算或查日志。
- 你想要一张账单，或者很难在每个厂商都开账号。
- 你给团队用编程 Agent，想按人看用量记录。
- 生产流量需要厂商之间的故障切换。
什么时候你大概率不需要
- 只用一个厂商的一个模型，厂商自己的后台就够你看用量。
- 一个人做原型。一个厂商密钥放环境变量里更简单。
- 对提示词的流向有严格要求，又没有你能自己运行或审计的网关。多一跳就多一个能看到数据的角色。
- 对延迟极其敏感，而网关离你或厂商很远。每多一跳都会增加一点延迟，通常很小，但请实测。
- 只是需要个重试循环，自己写几行代码就够了。
网关的几种类型
| 类型 | 是否自己运行 | 用谁的厂商账号 | 典型适合 |
|---|---|---|---|
| 自建开源代理（如 LiteLLM） | 是 | 你自己的 | 有基础设施能力、数据管控严格的团队 |
| 托管管控平台（如 Portkey） | 否，或可选 | 你自己的 | 想在多个厂商之上统一日志、护栏和治理的团队 |
| 托管聚合服务（如 OpenRouter） | 否 | 聚合方的 | 一个 Key、一份余额，快速试很多模型 |
| 自带计费的托管网关（如 OriginCoder） | 否 | 运营方的 | 计费简单、编程 Agent 接入方便 |
这些边界是模糊的，不少产品同时提供多种模式。想从聚合服务这一侧继续比较，可以看 OpenRouter 替代方案怎么选。
选型清单
- 数据必须去哪里？ 如果提示词必须留在你自己的基础设施里，只有自建网关符合。否则，请向任何托管运营方问清楚存什么、存多久。
- 需要哪些请求格式？ 只要 OpenAI 风格，还是也要 Anthropic Messages、Gemini 格式，以支持原生使用这些格式的工具。
- 用谁的账号？ 自带厂商密钥，还是向运营方购买用量？后者更省事，前者能直接适用厂商自己的条款和价格。
- 有哪些模型？ 看模型列表和每个模型的单价，别只看宣传。OriginCoder 见模型价格页。
- 要哪些管控？ 按 Key 预算、模型白名单、用量记录、审计需求。
- 怎么计费？ 按量、订阅、平台费，还是 token 加价。按你一个典型月份算一遍。
- 出问题怎么办？ 问清状态历史、支持渠道，以及网关故障对你的影响。如果它在你的关键链路上，要准备备用方案。
- 想走时容易吗？ 只用标准请求格式的话，换网关就是改 Base URL 和 Key。除非真需要，避免用会把代码绑死在某家的功能。
然后拿一小段真实业务，用你自己的流量对比成本、延迟和错误率。这个测试比任何功能对照表（包括我们自己的）都有价值。
需要记住的成本与风险
- 网关是请求链路上多出来的一方，它能看到你的提示词和响应。请阅读它的条款和隐私政策。
- 兼容性不是自动的。新模型或厂商的新功能，到网关上可能比到厂商本身晚。
- 自建是用工作量换钱：部署、数据库、升级、监控和安全都归你。
- OriginCoder 是独立平台，与其所提供模型的厂商没有关联。
想用托管方案配合编程 Agent，可以从 Claude Code 接入教程或 Codex 接入教程开始。