这是 Beta 探索课程，内容结构、实验步骤和示例可能会继续调整。
实验评估与延迟预算
排序优化必须 A/B 验证
排序优化必须通过 A/B 实验验证。离线指标只能说明模型可能更好，最终要看线上：
- 留存是否提升。
- 完播和互动是否提升。
- 投诉是否增加。
- 内容生态是否变差。
- 新作者是否有曝光机会。
护栏指标
实验要设置护栏指标。一个策略即使提升点击率，如果显著增加投诉或低质内容曝光，也不能上线。
主指标 + 护栏指标的组合：
| 指标 | 角色 |
|---|---|
| 留存 / 完播 | 主指标 |
| 投诉率 / 违规曝光 | 护栏指标 |
| 新作者曝光 / 多样性 | 生态指标 |
实验的工程要求
- 分层实验：策略版本、召回、排序分层，互不污染。
- 样本一致性：同组用户始终同策略，避免串组。
- 统计显著性：样本量足够，才能下结论。
- 回滚：异常时能快速切回旧策略。
延迟预算
推荐排序必须快。常见做法：
| 手段 | 说明 |
|---|---|
| 离线预计算特征 | 在线少算 |
| 在线只查必要实时特征 | 控制特征查询 |
| 粗排 + 精排 | 先粗筛再精排 |
| 超时降级 | 超时返回缓存 / 热门 |
延迟预算要明确：比如整个 Feed 请求 200ms 内，排序占 50ms，特征查询占 30ms——逐环节盯。
一句话
排序优化的最终目标不是模型分数更漂亮，而是让用户持续看到更合适、更健康、更流畅的内容——用实验验证效果，用护栏防走偏，用延迟预算保体验。
下一章收束：把四条链路串成完整系统。
发现内容有问题？
告诉我们哪里需要改进。