缓存策略

问题引入

上一节我给所有天气数据都设置了 1 小时的缓存时间。

上线运行一段时间后,我收到了用户的反馈:

用户 A:"为什么你们的数据总是比气象局慢?"
用户 B:"现在外面在下雨,你们 API 还显示晴天"
用户 C:"能不能实时更新天气数据?"

我意识到:1 小时的缓存时间太长了。

但是,如果缩短缓存时间:

  • 外部 API 调用量会增加
  • 响应时间会变慢

如何平衡性能和数据新鲜度?这成了我接下来要解决的问题。

数据分析

我研究了不同天气数据的变化规律:

当前温度

变化频率:实时变化
变化幅度:每分钟变化 0-1 度
用户期望:尽可能实时

天气状况

变化频率:几个小时变化一次
变化幅度:从晴天→阴天→雨天
用户期望:1 小时内更新即可

城市信息

变化频率:几乎不变
变化幅度:城市名、经纬度不变
用户期望:永久缓存

湿度数据

变化频率:几十分钟变化一次
变化幅度:变化 5-10%
用户期望:30 分钟内更新

分析完后,我明白了:不同数据的变化频率不同,不能用一个缓存时间对付所有情况。

优化策略

根据不同数据的变化频率,我设计了不同的缓存策略:

策略 1:分层缓存

分层缓存的思路是把一份完整结果拆开看:变化快的字段给短 TTL,变化慢的字段给长 TTL,整体的过期时间由最短的那一项决定。代价是调用量会涨一点,换来的是数据新鲜度。

设计流程

策略 1:分层缓存

  1. 步骤 1:按数据的变化频率给每个字段定 TTL,温度 5 分钟、天气状况 1 小时、城市信息 24 小时
  2. 步骤 2:把多个字段打包成一份完整结果写入缓存,整体过期时间取其中最短的一个
  3. 步骤 3:上线后对比分层前后的调用量与数据延迟,确认多出来的调用换来了可接受的新鲜度

关注点:各字段 TTL 的取值依据与整体过期时间的取法。

缓存时间设置

数据类型缓存时间理由
实时温度5 分钟温度变化较快,用户期望实时
天气状况1 小时天气状况变化较慢
湿度数据30 分钟湿度变化中等速度
城市信息24 小时城市信息几乎不变
完整数据10 分钟平衡性能和新鲜度

策略 2:主动更新

有些关键数据,我不能等缓存过期才更新。

定时更新任务

有些数据不能等它自然过期。热门城市的天气变化快,如果让用户先读到旧值再触发回源,体验就打折了,所以我让服务端主动去更新,用更高的调用成本换更好的新鲜度。

设计流程

定时更新任务

  1. 步骤 1:维护一份热门城市名单,作为定时任务需要更新的对象
  2. 步骤 2:定时任务按名单逐个调用外部 API,把最新结果写回对应的缓存 key
  3. 步骤 3:给主动写入的缓存设置更长的有效期,避免被普通过期逻辑提前清掉
  4. 步骤 4:记录每次更新的成功率与耗时,连续失败的城市自动移出热门名单

关注点:热门名单的维护、主动写入的有效期与失败城市的剔除。

优势:

  • 用户访问时,缓存已经是新的
  • 热门城市数据始终保持新鲜

劣势:

  • 增加了外部 API 调用量
  • 需要维护热门城市列表

这个方案让我想起了”预加载”的概念——在用户需要之前,先把数据准备好。

策略 3:用户触发更新

第三种策略把选择权交给用户:对实时性要求高的场景,他们可以主动要求刷新。实现上要留意别让它变成绕过缓存的后门,所以强制刷新需要单独计数和限速。

设计流程

策略 3:用户触发更新

  1. 步骤 1:在查询接口上识别 refresh 参数,只在显式要求时才跳过缓存读取
  2. 步骤 2:绕过缓存时调用外部 API 取到最新数据,并同时覆盖写入缓存
  3. 步骤 3:对强制刷新请求单独计数并限速,避免它被当成绕过缓存的后门

关注点:强制刷新的触发条件与防止绕过缓存的限速。

使用方式:

# 普通请求(使用缓存)
GET /api/weather?city=北京

# 强制刷新(跳过缓存)
GET /api/weather?city=北京&refresh=true

这个方案把选择权交给了用户——对实时性要求高的场景,他们可以主动刷新。

最终方案

综合以上策略,我设计了这样的方案:

1. 分层缓存

  • 根据数据变化频率设置不同的缓存时间
  • 减少不必要的外部 API 调用

2. 定时更新

  • 对热门城市(Top 10)每 10 分钟主动更新
  • 保证高频访问城市的数据新鲜度

3. 用户可选

  • 提供 refresh 参数,让用户可以选择强制刷新
  • 满足对实时性要求高的场景

效果对比

优化前

指标数值
平均响应时间2000ms
外部 API 调用量10 万次/天
数据新鲜度最多延迟 1 小时

优化后(简单缓存)

指标数值
平均响应时间35ms
外部 API 调用量5000 次/天
数据新鲜度最多延迟 1 小时

优化后(分层缓存)

指标数值
平均响应时间40ms
外部 API 调用量8000 次/天
数据延迟:
- 温度数据最多 5 分钟
- 天气状况最多 1 小时
- 热门城市最多 10 分钟

权衡思考

分层缓存 vs 简单缓存:

维度简单缓存分层缓存
响应时间35ms40ms
API 调用量5000 次/天8000 次/天
数据新鲜度1 小时5-60 分钟
维护复杂度简单中等

我的结论: 对于天气数据,用户对数据新鲜度的要求高于响应时间,分层缓存是更好的选择。

虽然维护复杂度增加了一些,但用户体验的提升是值得的。

发现内容有问题?

告诉我们哪里需要改进。