时间、乱序与脱敏

两个时间

日志系统必须区分两个时间:

时间含义用途
事件时间日志在业务中发生的时间排障和指标计算
采集时间日志进入平台的时间判断延迟和异常

排障和指标计算通常应该使用事件时间,否则网络延迟或 Agent 积压会让时间线错乱。但事件时间也可能受机器时钟影响,所以平台需要记录采集时间。

乱序问题

  • Agent 积压时,先产生的日志可能晚到。
  • 多实例时钟不同步时,事件时间排序不可靠。
  • 所以平台要容忍乱序:按事件时间入库,同时记录采集时间用于诊断。

脱敏与过滤

解析阶段也是治理阶段。日志里可能包含敏感信息:

敏感信息处理方式
token、密钥、密码直接替换
手机号、邮箱保留部分字符
超长字段截断,避免撑爆索引
银行卡、身份证明确禁止记录

一句话

解析完成后,日志才真正变成可查询、可聚合、可关联的数据。事件时间用于排障、采集时间用于诊断;脱敏过滤是解析阶段的治理职责,不是可选项。