分布式限流
负载均衡上线后,系统运行正常。
但过了一段时间,我发现了一个奇怪的问题:
某个免费用户的调用情况:
- 套餐限额:1 次/秒
- 实际调用:4 次/秒
为什么限流没有生效?
我检查了限流逻辑,发现:
当前限流实现
限流上线时的实现是标准的令牌桶写法:先从 Redis 取出当前计数,和配额比较后判断放行,再更新计数并设置窗口过期时间。单看代码没有问题,Redis 是共享的,所有实例看到的是同一个桶。真正值得警惕的是这段逻辑里藏着一个假设——读取和更新之间没有别人插队。
当前限流实现
- 步骤 1:梳理现有令牌桶逻辑:读计数、比配额、更新计数、设置过期时间
- 步骤 2:确认限流状态存放在所有实例共享的 Redis,而不是进程本地内存
- 步骤 3:标出读取与更新之间没有互斥保护的空隙,并确认计数按调用方正确归属
关注点:令牌桶的读写顺序、共享状态的正确性与被默认的前提。
看起来没问题啊,Redis 是共享的。
深入调查
我查了一下日志,发现:
时间轴(User 123 的请求):
14:00:00.100 → Server 1: 允许(桶里有 10 个令牌)
14:00:00.200 → Server 2: 允许(桶里有 10 个令牌)
14:00:00.300 → Server 3: 允许(桶里有 10 个令牌)
14:00:00.400 → Server 4: 允许(桶里有 10 个令牌)
问题找到了!
每台服务器都认为桶里有 10 个令牌,所以都放行了。
问题:竞态条件
问题就出在上面标出的那段空隙里:读取和更新是两个独立命令,四个实例几乎同时到达时,都读到「还剩 10 个令牌」,于是全部放行。结果是本该消耗 4 个令牌,实际只扣了 1 个,限流在多实例下等于失效。单机时代不存在这个问题,因为所有请求都在同一个进程里串行处理。
问题:竞态条件
- 步骤 1:复现并发场景:多个实例同时请求同一用户,观察令牌计数的变化
- 步骤 2:对比预期与实际扣减量,定位到读改写之间缺少原子性
- 步骤 3:对照单机时代的串行处理,解释超发只在多实例下出现
- 步骤 4:量化超发倍数,确定修复目标是把扣减收敛到一次原子操作
关注点:并发读写窗口、令牌超发量与单机多机的行为差异。
结果:本该消耗 4 个令牌,实际只消耗了 1 个!
为什么之前没问题?
单机时代:
- 所有请求都在同一台服务器
- 单实例内部只有一份限流状态,冲突范围较小
- 不存在竞态条件
负载均衡后:
- 请求分配到不同的服务器
- 多台服务器同时读取和修改 Redis
- 存在竞态条件
需要使用Redis 原子操作。
选型边界
为什么不只靠普通 Redis 读写
- 触发问题
- 负载均衡后,多台服务器会同时读取和扣减同一个限流状态,普通 get/set 会产生竞态。
- 候选方案
- Redis 事务、Lua 脚本、Redis-cell 模块、把限流状态收敛到单独服务。
- 选择理由
- Lua 脚本能把读取、判断、扣减、设置过期时间放在 Redis 内一次原子执行,改造成本低。
- 代价
- 脚本需要版本管理和压测;复杂业务逻辑写进 Lua 后可读性不如应用代码。
- 暂不解决
- 暂不部署 Redis-cell 或独立限流服务,因为当前目标是先修复多实例下的超发问题。
方案 1:Redis 事务(WATCH + MULTI)
第一种思路是让 Redis 自己提供事务语义:先 WATCH 住计数的键,读取后如果发现键被别的客户端改过就放弃重试,否则用 MULTI 把更新一次性提交。它能解决问题,但代价明显——乐观锁在并发高时重试频繁,每次重试都是一轮网络往返,延迟被拉长,代码也变复杂。
方案 1:Redis 事务(WATCH + MULTI)
- 步骤 1:用 WATCH 锁定计数键,读取后核对值是否被其他客户端改动
- 步骤 2:值未变时用 MULTI 提交计数更新与过期时间设置,否则放弃并重试
- 步骤 3:在高并发下测量重试次数与端到端延迟,判断该方案能否进入生产环境
关注点:乐观锁重试开销、并发冲突率与延迟代价。
问题:
- 性能较差(需要重试)
- 复杂度高
方案 2:Lua 脚本(推荐)
第二种思路是把判断和扣减一起搬到 Redis 内部执行。Lua 脚本在 Redis 中是原子执行的,读取、判断、扣减、重置过期时间在服务端一次跑完,既不会超发也不需要重试。代价是业务逻辑进了 Lua,需要版本管理和充分压测,可读性不如放在应用层。改造量小、收益直接,这是本课推荐它的原因。
方案 2:Lua 脚本(推荐)
- 步骤 1:把读取计数、判断配额、扣减和设置过期时间写成一段 Lua 脚本
- 步骤 2:在 Redis 中原子执行脚本,一次往返完成判断与扣减
- 步骤 3:并发压测验证令牌不会超发,测量脚本耗时并保留可回滚的脚本版本
关注点:脚本原子性保障、脚本版本管理与压测要求。
优势:
- 原子执行(Redis 保证)
- 性能好(不需要重试)
- 简单清晰
方案 3:Redis 模块(Redis-cell)
第三种思路是把限流下沉成 Redis 的一个原生模块,由模块自己维护令牌桶和滑动窗口。部署本身并不复杂,但有几个前置条件:Redis 需要编译安装该模块并重启,集群环境下每个分片都要装,版本要和 Redis 主版本匹配。装完之后还要确认配置项的写入方式,避免多实例各自启动时互相覆盖配置。
方案 3:Redis 模块(Redis-cell):部署操作
- 步骤 1:确认 Redis 版本与模块的兼容性,选择对应的编译安装方式
- 步骤 2:安装模块并重启 Redis,用 MODULE LIST 验证加载成功
- 步骤 3:初始化限流配置,容器与集群场景下确保各实例配置一致
- 步骤 4:在重启和扩容后复查模块状态,避免出现部分实例未加载
关注点:模块安装方式、版本兼容性与配置初始化一致性。
模块加载之后的用法和自研方案没有本质区别,仍然是按调用方标识取限流键、调用模块提供的原子命令完成扣减。区别在于限流算法、窗口管理和突发额度都由模块内部实现,应用侧只负责传参和解释结果。这让应用代码更干净,代价是把一部分逻辑交给了我们不完全掌控的第三方实现。
方案 3:Redis 模块(Redis-cell)
- 步骤 1:按调用方标识和资源名确定限流键的命名规则,避免键之间冲突
- 步骤 2:调用模块提供的原子命令完成限流判断与令牌扣减
- 步骤 3:按模块返回的结果判定放行、限流或拒绝并透传剩余配额,同时保留退回自研方案的可能
关注点:模块接口调用方式、能力边界与第三方依赖风险。
优势:
- 专门为限流设计
- 功能强大
- 性能最好
劣势:
- 需要安装第三方模块
- 不是所有 Redis 环境都支持
我选择了Lua 脚本方案:
最终选 Lua 脚本,是因为它用最小改动解决了多实例下的令牌超发,执行路径短、延迟可控,脚本本身只有几十行,完全在团队掌控之内。Redis-cell 留作后续演进方向,等限流维度变多、需要滑动窗口或更复杂的突发控制时再评估上模块;独立限流服务目前没有必要。
最终方案
- 步骤 1:确定采用 Lua 脚本方案,把限流判断和扣减收敛到一次原子调用
- 步骤 2:制定上线计划:先灰度单机验证,再全量替换并观察限流命中数据
- 步骤 3:设定回退条件,出现异常时能快速切回旧的限流逻辑
- 步骤 4:把 Redis-cell 和独立限流服务列为后续演进项,暂不投入实现
关注点:改动成本、延迟收益、长期演进空间与回退路径。
发现内容有问题?
告诉我们哪里需要改进。
