告警规则

告警的目标

告警系统的目标不是「有异常就发消息」,而是「在需要人处理时,把足够上下文发给正确的人」。

一个糟糕的告警系统会在凌晨发出几百条无效通知,最后所有人都学会忽略它。

规则的四要素

告警规则通常由四部分组成:

告警规则的四要素

数据源哪个指标 / 日志 / 业务信号
payment-callback P95 延迟
+
判断条件阈值与比较方式
> 2s
+
持续时间持续多久才触发
持续 5 分钟
+
通知策略通知谁、什么渠道、什么级别
通知支付值班人(P1)
payment-callback P95 延迟 > 2s 持续 5 分钟,通知支付值班人
关键认知:持续时间很关键——瞬时抖动不一定需要告警, 持续异常才更可能需要人工介入。规则还要区分级别:P0 核心链路不可用、P1 核心指标明显异常、P2 非核心服务异常。

持续时间很关键

瞬时抖动不一定需要告警,持续异常才更可能需要人工介入。例如:

  • P95 超过 2s 持续 5 分钟 → 告警。
  • P95 偶尔一次超过 2s → 忽略。

级别划分

级别场景
P0核心链路不可用,需要立即电话或短信
P1核心指标明显异常,需要值班人处理
P2非核心服务异常,可以工作时间处理

一句话

告警规则 = 数据源 + 判断条件 + 持续时间 + 通知策略。持续时间过滤瞬时抖动,级别划分决定响应方式——告警要服务响应效率,不是越敏感越好。

发现内容有问题?

告诉我们哪里需要改进。