故障隔离

场景

新增 API 上线后,用户量增长。

九个月后:

  • API 数量:4 个
  • 日调用量:80 万次
  • 其中新闻 API 占:60%

问题发生

某天下午,我收到了告警:

Inbox
From:监控系统
To:运维值班
Time:周三 14:30
Subject: [P1] 新闻 API 响应异常
  • 错误率:95%
  • 响应时间:超时
  • 持续时间:14:30 至今

我赶紧检查,发现:

告警只是起点,不是结论。这一节先演示一次完整的定界过程:确认信号、缩小范围、找到源头。定界做对了,后面的隔离和降级才知道该保护哪条链路。

设计流程

问题发生

  1. 步骤 1:先从告警里取错误率、超时比例和持续时间,判断这次故障的等级
  2. 步骤 2:按接口维度拆分错误,确认只有新闻接口受影响,其余接口正常
  3. 步骤 3:顺着请求链路找到外部新闻数据源,直接验证它是否已经不可用
  4. 步骤 4:记录故障起始时间和影响面,作为后续复盘与演练的基准

关注点:告警信号是否足以定位到具体是哪个数据源出了问题。

新闻 API 的外部数据源挂了!

问题影响

我查了一下影响范围:

影响分析:

  • 新闻 API 调用失败:95% 的错误率
  • 其他 API(天气、股票、IP):正常
  • 用户体验:部分功能不可用
  • 用户投诉:增加了 20%

但更严重的是:

连锁反应:

  1. 新闻 API 失败
  2. 用户重试新闻 API
  3. 服务器资源被新闻 API 占用
  4. 其他 API 也变慢了
  5. 整体用户体验下降

根本原因

故障本身不可怕,可怕的是外部依赖的失败被我们的代码一路放大。定位根本原因要沿着调用链逐段看:哪一段没有超时,哪一段没有兜底,哪一段让请求排着队干等。

设计流程

根本原因

  1. 步骤 1:画出从负载均衡到新闻数据源的完整调用链路
  2. 步骤 2:逐段检查超时设置,找出没有超时保护的那一段
  3. 步骤 3:检查失败后的重试逻辑,确认它会不会进一步放大上游压力
  4. 步骤 4:把缺失的保护手段列成清单,作为后面几节要逐项补齐的目标

关注点:调用链上的哪几处缺失,让一个外部故障扩散成了全站变慢。

问题:

  1. 没有设置超时时间
  2. 没有错误处理
  3. 没有降级方案
  4. 一个 API 失败影响了其他 API

解决方案

1. 超时控制

没有超时的外部调用,等于把线程池交出去让别人占着。第一步不是加超时,而是给每个外部数据源分别定阈值——它们的响应时间分布完全不同。

设计流程

1. 超时控制

  1. 步骤 1:按各外部数据源的响应时间分布,为每个调用单独设定超时上限
  2. 步骤 2:把连接超时设成略小于读取超时的值,避免两级超时互相打架
  3. 步骤 3:超时一旦触发立刻释放连接与线程,不让请求继续堆积
  4. 步骤 4:压测验证:上游变慢时接口会超时返回,而不是整体卡住

关注点:超时阈值如何设定,以及超时之后连接与线程如何释放。

2. 错误处理

错误处理要区分「值得再试一次」和「再试也没用」。分类清楚了,重试才不会变成放大器;同时错误响应要结构化,调用方才知道该等、该退避还是直接放弃。

设计流程

2. 错误处理

  1. 步骤 1:按状态码分类,把超时、限流和 5xx 归为可重试,4xx 归为不可重试
  2. 步骤 2:对可重试错误设置有限次重试,并采用指数退避拉开间隔
  3. 步骤 3:捕获异常后返回结构化的错误响应,不把堆栈直接透给调用方
  4. 步骤 4:记录失败的上游、原因与重试次数,统计哪个数据源最不稳定

关注点:哪些错误该重试、哪些该立刻放弃,以及失败如何被记录。

3. 熔断机制

熔断是给外部数据源上的保险丝:与其让请求排队等一个已经挂掉的上游,不如直接快速失败,把资源和用户的等待时间都省下来。关键是半开状态要能自动恢复。

设计流程

3. 熔断机制

  1. 步骤 1:用滑动窗口统计失败率与超时率,达到阈值就把该数据源标记为熔断
  2. 步骤 2:熔断打开后直接快速失败,不再向故障数据源发起真实请求
  3. 步骤 3:经过一段冷却时间后放少量探测请求,成功则闭合熔断
  4. 步骤 4:把熔断状态接入监控,故障期间能直接看到被隔离的数据源

关注点:熔断的触发阈值、打开后的行为以及恢复探测。

4. 降级方案

降级不是简单地返回错误,而是给用户一个「旧但可用」的结果。新闻返回上一批缓存就比返回 500 好得多,前提是明确标注它是陈旧数据,不让用户误判。

设计流程

4. 降级方案

  1. 步骤 1:为每个 API 预先定义降级后的返回内容,新闻接口可返回上一批缓存
  2. 步骤 2:数据源不可用时切换到降级数据,并在响应里标记这份数据已经过期
  3. 步骤 3:限制降级数据的对外标注方式,避免用户误以为拿到的是实时数据
  4. 步骤 4:数据源恢复后关闭降级开关,回到正常的数据获取路径

关注点:降级时返回什么,以及降级状态如何回退。

隔离策略

资源隔离

超时、错误处理、熔断、降级都是「响应」层面的保护,资源隔离是「结构」层面的保护。只有当每个 API 有自己的资源配额,一个接口被打满才不会把其他接口一起拖下水。

设计流程

资源隔离

  1. 步骤 1:为每个外部数据源分配独立的连接池或并发配额
  2. 步骤 2:给新闻这类高流量 API 设定单独的并发上限,超出即拒绝或排队
  3. 步骤 3:让各 API 的线程与队列互相隔离,不共用同一个资源池
  4. 步骤 4:压测验证:新闻接口被打满时,天气和股票接口的延迟不受影响

关注点:单个 API 的资源占用如何不影响其他 API。

监控和告警

API 健康检查

健康检查不能只看进程活着。真正有用的检查是「这个 API 现在能不能给出正确结果」,所以它必须覆盖外部依赖,并且和业务流量分开。

设计流程

API 健康检查

  1. 步骤 1:列出每个 API 的外部依赖,把依赖健康度纳入检查项
  2. 步骤 2:让检查接口返回依赖状态与最近一次成功时间,用独立低频探测发起检查
  3. 步骤 3:把检查结果接到告警,依赖长期不健康时主动通知值班

关注点:健康检查覆盖了哪些依赖,探测流量会不会压垮上游。

发现内容有问题?

告诉我们哪里需要改进。