这是 Beta 探索课程,内容结构、实验步骤和示例可能会继续调整。
时间、乱序与脱敏
两个时间
日志系统必须区分两个时间:
| 时间 | 含义 | 用途 |
|---|---|---|
| 事件时间 | 日志在业务中发生的时间 | 排障和指标计算 |
| 采集时间 | 日志进入平台的时间 | 判断延迟和异常 |
排障和指标计算通常应该使用事件时间,否则网络延迟或 Agent 积压会让时间线错乱。但事件时间也可能受机器时钟影响,所以平台需要记录采集时间。
乱序问题
- Agent 积压时,先产生的日志可能晚到。
- 多实例时钟不同步时,事件时间排序不可靠。
- 所以平台要容忍乱序:按事件时间入库,同时记录采集时间用于诊断。
脱敏与过滤
解析阶段也是治理阶段。日志里可能包含敏感信息:
| 敏感信息 | 处理方式 |
|---|---|
| token、密钥、密码 | 直接替换 |
| 手机号、邮箱 | 保留部分字符 |
| 超长字段 | 截断,避免撑爆索引 |
| 银行卡、身份证 | 明确禁止记录 |
一句话
解析完成后,日志才真正变成可查询、可聚合、可关联的数据。事件时间用于排障、采集时间用于诊断;脱敏过滤是解析阶段的治理职责,不是可选项。
发现内容有问题?
告诉我们哪里需要改进。
