回顾

从凌晨两点支付回调接口超时、只能 SSH 上机器查日志开始,可观测平台不是日志工具的堆砌,而是被”发现、定位、复盘”三个需求推着长出来的。

演进路径回顾

  1. SSH 查日志:接口超时后,工程师登录机器翻 app.log。能定位单机问题,但多实例和历史检索几乎不可用。
  2. 集中采集:服务扩容后,日志分散在几十台机器上。Agent、缓冲队列、日志解析和检索存储,让日志开始可搜索。
  3. 指标与告警:故障总是用户先发现,需要从日志和埋点中提取信号。QPS、错误率、延迟分位数和告警规则,让系统能主动叫醒人。
  4. 可观测平台:微服务链路复杂后,单条日志无法解释完整请求。Trace、SLO、服务看板和复盘工单,让平台同时支持发现、定位、止血和复盘。

贯穿始终的主线

可观测性系统处理三类数据,对应三种能力:

日志(发生了什么)-> 发现细节
指标(是否异常)  -> 发现趋势
链路追踪(经过哪里)-> 定位路径

三类数据通过统一字段关联:serviceenvtrace_idtimestamp。没有这些字段,平台就会变成三套孤立工具。

课程沉淀

后面几页会分别总结:最终的系统架构、从实战中提炼的设计原则,以及在每个关键节点上的技术取舍。判断一套系统是否可观测,就看它能否回答四个问题:变慢多久能发现、失败能看到哪一步、影响范围能否估算、恢复后能否证明。

章节