数据流与存储分层

完整链路

到这里,我们已经把日志监控告警系统拆成了完整链路:

应用日志/埋点
  -> Agent 采集
  -> 日志网关/消息队列
  -> 解析与清洗
  -> 日志存储 + 指标计算 + Trace 存储
  -> 告警引擎
  -> 看板与事故工作台

数据流设计

日志进入平台后会分成三条流:

数据流存储用途
明细流日志存储搜索和审计
指标流时间序列库看板和告警
追踪流Trace 存储还原请求链路

三条流要通过统一字段关联:service、env、trace_id、timestamp。没有这些字段,平台就会变成三套孤立工具。

存储分层

不同数据有不同保留周期:

数据保留策略
高频热日志保留 7-14 天,支持快速搜索
冷日志归档保留数月到数年,服务审计和合规
指标数据最近高精度,历史降采样
Trace 数据采样保留,错误和慢请求优先

从查询场景反推

如果所有数据都按最高规格保存,成本会失控。存储设计必须从查询场景和保留周期反推。

一句话

平台的核心不是「存很多日志」,而是让团队能发现、定位、复盘。三条流(明细 / 指标 / 追踪)用统一字段关联,不同数据按保留周期分层——从查询场景反推存储,而不是先存着再说。

发现内容有问题?

告诉我们哪里需要改进。