周五晚上的故障

周五晚上，主机房抖动

周五晚上，主机房网络抖动。监控先是出现少量接口超时，随后数据库连接池耗尽，订单服务开始大量失败。十分钟后，用户已经无法下单，客服群里不断有人问：「备用机房能不能切？」

这时团队才发现，所谓「备用机房」只是部署了几台机器：

• 数据库同步延迟不清楚。
• DNS 切换需要手工操作。
• 缓存没有预热。
• 消息队列没有跨机房消费方案。
• 没有人演练过完整切换流程。

容灾要解决什么

容灾系统要解决的不是「有没有第二个机房」，而是当主系统不可用时，业务能否按预期恢复。

备用机房的空壳陷阱

备用机房常年不承载真实流量，会出现：

• 配置和版本与主机房漂移。
• 容量估算没有依据。
• 脚本过期、权限缺失。
• 数据长期不同步。

没有演练过的备用机房，等于没有备用机房。

一句话

周五的故障暴露了「备用机房是空壳」的真相：数据不同步、切换靠手工、没有演练。容灾不是买第二套服务器，而是让业务在主系统不可用时能按预期恢复。