故障隔离
新增 API 上线后,用户量增长。
九个月后:
- API 数量:4 个
- 日调用量:80 万次
- 其中新闻 API 占:60%
某天下午,我收到了告警:
- 错误率:95%
- 响应时间:超时
- 持续时间:14:30 至今
我赶紧检查,发现:
告警只是起点,不是结论。这一节先演示一次完整的定界过程:确认信号、缩小范围、找到源头。定界做对了,后面的隔离和降级才知道该保护哪条链路。
问题发生
- 步骤 1:先从告警里取错误率、超时比例和持续时间,判断这次故障的等级
- 步骤 2:按接口维度拆分错误,确认只有新闻接口受影响,其余接口正常
- 步骤 3:顺着请求链路找到外部新闻数据源,直接验证它是否已经不可用
- 步骤 4:记录故障起始时间和影响面,作为后续复盘与演练的基准
关注点:告警信号是否足以定位到具体是哪个数据源出了问题。
新闻 API 的外部数据源挂了!
我查了一下影响范围:
影响分析:
- 新闻 API 调用失败:95% 的错误率
- 其他 API(天气、股票、IP):正常
- 用户体验:部分功能不可用
- 用户投诉:增加了 20%
但更严重的是:
连锁反应:
- 新闻 API 失败
- 用户重试新闻 API
- 服务器资源被新闻 API 占用
- 其他 API 也变慢了
- 整体用户体验下降
故障本身不可怕,可怕的是外部依赖的失败被我们的代码一路放大。定位根本原因要沿着调用链逐段看:哪一段没有超时,哪一段没有兜底,哪一段让请求排着队干等。
根本原因
- 步骤 1:画出从负载均衡到新闻数据源的完整调用链路
- 步骤 2:逐段检查超时设置,找出没有超时保护的那一段
- 步骤 3:检查失败后的重试逻辑,确认它会不会进一步放大上游压力
- 步骤 4:把缺失的保护手段列成清单,作为后面几节要逐项补齐的目标
关注点:调用链上的哪几处缺失,让一个外部故障扩散成了全站变慢。
问题:
- 没有设置超时时间
- 没有错误处理
- 没有降级方案
- 一个 API 失败影响了其他 API
1. 超时控制
没有超时的外部调用,等于把线程池交出去让别人占着。第一步不是加超时,而是给每个外部数据源分别定阈值——它们的响应时间分布完全不同。
1. 超时控制
- 步骤 1:按各外部数据源的响应时间分布,为每个调用单独设定超时上限
- 步骤 2:把连接超时设成略小于读取超时的值,避免两级超时互相打架
- 步骤 3:超时一旦触发立刻释放连接与线程,不让请求继续堆积
- 步骤 4:压测验证:上游变慢时接口会超时返回,而不是整体卡住
关注点:超时阈值如何设定,以及超时之后连接与线程如何释放。
2. 错误处理
错误处理要区分「值得再试一次」和「再试也没用」。分类清楚了,重试才不会变成放大器;同时错误响应要结构化,调用方才知道该等、该退避还是直接放弃。
2. 错误处理
- 步骤 1:按状态码分类,把超时、限流和 5xx 归为可重试,4xx 归为不可重试
- 步骤 2:对可重试错误设置有限次重试,并采用指数退避拉开间隔
- 步骤 3:捕获异常后返回结构化的错误响应,不把堆栈直接透给调用方
- 步骤 4:记录失败的上游、原因与重试次数,统计哪个数据源最不稳定
关注点:哪些错误该重试、哪些该立刻放弃,以及失败如何被记录。
3. 熔断机制
熔断是给外部数据源上的保险丝:与其让请求排队等一个已经挂掉的上游,不如直接快速失败,把资源和用户的等待时间都省下来。关键是半开状态要能自动恢复。
3. 熔断机制
- 步骤 1:用滑动窗口统计失败率与超时率,达到阈值就把该数据源标记为熔断
- 步骤 2:熔断打开后直接快速失败,不再向故障数据源发起真实请求
- 步骤 3:经过一段冷却时间后放少量探测请求,成功则闭合熔断
- 步骤 4:把熔断状态接入监控,故障期间能直接看到被隔离的数据源
关注点:熔断的触发阈值、打开后的行为以及恢复探测。
4. 降级方案
降级不是简单地返回错误,而是给用户一个「旧但可用」的结果。新闻返回上一批缓存就比返回 500 好得多,前提是明确标注它是陈旧数据,不让用户误判。
4. 降级方案
- 步骤 1:为每个 API 预先定义降级后的返回内容,新闻接口可返回上一批缓存
- 步骤 2:数据源不可用时切换到降级数据,并在响应里标记这份数据已经过期
- 步骤 3:限制降级数据的对外标注方式,避免用户误以为拿到的是实时数据
- 步骤 4:数据源恢复后关闭降级开关,回到正常的数据获取路径
关注点:降级时返回什么,以及降级状态如何回退。
资源隔离
超时、错误处理、熔断、降级都是「响应」层面的保护,资源隔离是「结构」层面的保护。只有当每个 API 有自己的资源配额,一个接口被打满才不会把其他接口一起拖下水。
资源隔离
- 步骤 1:为每个外部数据源分配独立的连接池或并发配额
- 步骤 2:给新闻这类高流量 API 设定单独的并发上限,超出即拒绝或排队
- 步骤 3:让各 API 的线程与队列互相隔离,不共用同一个资源池
- 步骤 4:压测验证:新闻接口被打满时,天气和股票接口的延迟不受影响
关注点:单个 API 的资源占用如何不影响其他 API。
API 健康检查
健康检查不能只看进程活着。真正有用的检查是「这个 API 现在能不能给出正确结果」,所以它必须覆盖外部依赖,并且和业务流量分开。
API 健康检查
- 步骤 1:列出每个 API 的外部依赖,把依赖健康度纳入检查项
- 步骤 2:让检查接口返回依赖状态与最近一次成功时间,用独立低频探测发起检查
- 步骤 3:把检查结果接到告警,依赖长期不健康时主动通知值班
关注点:健康检查覆盖了哪些依赖,探测流量会不会压垮上游。
发现内容有问题?
告诉我们哪里需要改进。
