这是 Beta 探索课程,内容结构、实验步骤和示例可能会继续调整。
数据流与存储分层
完整链路
到这里,我们已经把日志监控告警系统拆成了完整链路:
应用日志/埋点
-> Agent 采集
-> 日志网关/消息队列
-> 解析与清洗
-> 日志存储 + 指标计算 + Trace 存储
-> 告警引擎
-> 看板与事故工作台
数据流设计
日志进入平台后会分成三条流:
| 数据流 | 存储 | 用途 |
|---|---|---|
| 明细流 | 日志存储 | 搜索和审计 |
| 指标流 | 时间序列库 | 看板和告警 |
| 追踪流 | Trace 存储 | 还原请求链路 |
三条流要通过统一字段关联:service、env、trace_id、timestamp。没有这些字段,平台就会变成三套孤立工具。
存储分层
不同数据有不同保留周期:
| 数据 | 保留策略 |
|---|---|
| 高频热日志 | 保留 7-14 天,支持快速搜索 |
| 冷日志归档 | 保留数月到数年,服务审计和合规 |
| 指标数据 | 最近高精度,历史降采样 |
| Trace 数据 | 采样保留,错误和慢请求优先 |
从查询场景反推
如果所有数据都按最高规格保存,成本会失控。存储设计必须从查询场景和保留周期反推。
一句话
平台的核心不是「存很多日志」,而是让团队能发现、定位、复盘。三条流(明细 / 指标 / 追踪)用统一字段关联,不同数据按保留周期分层——从查询场景反推存储,而不是先存着再说。
发现内容有问题?
告诉我们哪里需要改进。
