聚合与抑制

一个故障,多条告警

同一个故障可能触发多个规则。数据库慢会导致:

  • API 延迟升高。
  • 错误率上升。
  • 队列积压。

如果每个规则都单独发通知,值班人会被信息淹没。

从「多条噪音」到「一条有效告警」

同一故障触发多个规则数据库慢导致:API 延迟高 + 错误率上升 + 队列积压3 个规则同时命中
按维度聚合按服务聚合 · 按根因聚合 · 按时间聚合多接口异常合并为一条
抑制派生告警下游依赖异常时,抑制上游派生告警只报告根因,不报告每个派生症状
一条有效告警包含根因与上下文值班人一次就能定位
还需抑制: 发布窗口内降低非核心告警敏感度、已知维护期间暂停相关规则、同一告警未恢复前不重复轰炸。 告警的目标不是「有异常就发消息」,而是「需要人处理时把足够上下文发给正确的人」。

聚合的三种维度

  • 按服务聚合:同一服务多个接口异常合并。
  • 按根因聚合:下游依赖异常时,抑制上游派生告警。
  • 按时间聚合:短时间内重复触发只更新一次状态。

还需要抑制

  • 发布窗口内降低非核心告警敏感度。
  • 已知维护期间暂停相关规则。
  • 同一告警未恢复前不重复轰炸。

一句话

告警聚合与抑制:**多个规则合并为一条、派生告警被抑制、重复触发只更新状态。**只报告根因,不报告每个派生症状。

发现内容有问题?

告诉我们哪里需要改进。