限流不是返回 429:速率、并发与配额的准入契约
“每分钟 100 次,超过就返回 429”只描述了一个计数器。它没有说明谁共享这 100 次、能否瞬间打满、慢请求会占用多少容量、多个实例如何一致判断,以及限流存储故障时系统应放行还是拒绝。生产限流首先是准入控制,其次才是 HTTP 响应。
四种预算不要混在一起
- 速率:单位时间内允许多少工作,例如每秒 20 个单位。
- 突发:可以临时积累并一次使用的容量。
- 并发:同一时刻允许多少在途工作,保护线程、连接池和下游。
- 配额:一天或一个账期内可消费的总量,通常对应套餐或成本。
请求可能通过速率限制,却因长期未结束而耗尽并发;也可能有空闲并发,但月度配额已用完。四种预算必须分别建模。
限制对象要与业务身份一致
已认证 API 优先按租户、账号、API key 或 OAuth client 限制,再按端点和资源作用域细分。IP 只适合作为匿名流量和滥用防线:公司 NAT 可能让上千用户共享地址,移动用户也会频繁换 IP。只有可信代理写入并清洗后的客户端地址才能用于判断,不能直接相信外部 X-Forwarded-For。
分层准入可同时保护全局、租户、主体和昂贵端点,请求必须通过所有相关层。键中只保存内部或不可逆标识,不记录 token、邮箱等敏感值。
算法表达产品允许的形状
固定窗口简单,但客户端可以在一个窗口末尾和下一个窗口开头连续消耗两份额度。滑动日志更精确,却要保存每次事件;滑动计数器用精度换空间。令牌桶通常适合 API:桶容量决定突发,持续补充速率决定长期吞吐。
available = min(capacity, available + elapsed * refill_rate)
if available >= cost:
available -= cost
allow
else:
deny
计算经过时间使用单调时钟;容量、补充和扣减必须在同一个原子决策中完成。Redis 文档的计数器示例也指出,分离执行 INCR 与首次 EXPIRE 会留下竞态,可用事务或脚本把更新合并。先读取余额、业务执行后再扣减,会让并发请求一起穿透。
共享存储能协调多实例,但增加远程依赖。若预分配本地令牌,必须计算节点数乘批量额度等最大超发量;同一键要稳定落在同一决策点。
请求不一定等价于一个单位
健康检查和生成大型报表的成本不同。策略可按端点、查询复杂度、输入大小或预估下游调用数扣除 quota unit。成本必须有上限并在昂贵工作开始前计算;否则“限流检查”本身就能被攻击。
成本事后才知道时,先预留上界再结算。是否退还失败请求需明确:服务端故障可以返还,恶意解析或客户端取消未必返还,不能让重试制造免费工作。
并发限制则用有界 semaphore 或 lease,在请求结束、取消和超时时可靠释放。流式响应、WebSocket 和后台导出应使用独立池,否则少量长连接会挤掉普通 API。lease 必须有所有权和到期机制,避免实例崩溃后永久占槽。
429 是协议反馈,不是内部设计
RFC 6585 定义 429 Too Many Requests,但刻意不规定如何识别用户和计数。响应应提供稳定的机器错误码、策略作用域以及何时可重试;Retry-After 可以是等待秒数或 HTTP 日期。针对某个调用方超额使用 429;服务整体过载或维护更适合 503 Service Unavailable,不要把容量事故伪装成客户违规。
HTTP/1.1 429 Too Many Requests
Content-Type: application/problem+json
Retry-After: 12
Cache-Control: no-store
截至本文日期,IETF HTTPAPI 工作组的 RateLimit 字段仍是 Internet-Draft,而不是已发布 RFC。若采用其 RateLimit-Policy 与 RateLimit 结构,需固定实现版本并记录兼容策略;现存 X-RateLimit-* 字段含义并不统一,不能假定第三方客户端会自动正确解释。
客户端把 Retry-After 作为最早重试时间并加入抖动。非幂等操作在 429 前不应产生副作用;无法保证时仍需幂等键。
限流器故障也需要策略
共享存储超时后统一放行,可能在最需要保护时压垮下游;统一拒绝又会把辅助组件故障变成全站中断。按端点定义:登录、发券等安全敏感操作可失败关闭;公开只读流量可启用保守的进程内应急桶;内部关键写入可能短暂放行,但必须有全局并发保险。
先影子运行,再执行拒绝
新策略先只记录“本应拒绝”,比较不同租户、端点和客户端版本的影响。看板跟踪 allow/deny、策略 ID、主体类别、消耗单位、重试时间、并发槽、存储延迟、降级决策和超发上界,不记录原始凭据。还要观察被限流请求是否转移到其他端点。
测试使用虚拟时间覆盖窗口边界、突发耗尽和补充、负成本与溢出;并发测试证明原子扣减不会超额。集成测试覆盖多节点、存储分区、时钟跳变、取消释放、lease 到期、策略热更新、IPv6 与代理地址,以及客户端遵守和忽略 Retry-After 的两种行为。
好的限流不是尽量多拒绝请求,而是在资源、成本和公平性之间给出可证明的准入边界。身份、预算、算法、故障模式和客户端反馈都明确后,429 才是一个有用的协议结果,而不是系统已经过载后的装饰。