内容审核

图片平台一旦允许用户上传内容,就必须把内容安全纳入主链路设计。内容审核不是一个外挂功能,而是决定图片何时可见、何时需要拦截、何时进入人工复核、何时保留证据的状态机。这里的关键不是“接入一个识别接口”,而是让审核结果能够稳定地约束分发链路。

这一章会围绕图片从上传完成到对外可见的过程,设计机审、规则校验和人审协同的流程。机审负责快速识别色情、暴恐、政治敏感、二维码、广告和低质内容;规则层负责处理用户等级、业务场景、历史风险和灰度策略;人审负责处理模型低置信度、用户申诉和高风险样本。每一步都要产生明确状态,而不是只留下一个模糊的通过或失败。

在架构上,审核服务会消费上传事件,读取原图或低分辨率预览图,写入审核记录,并驱动元数据中的可见性字段变化。CDN 加速、缩略图生成和业务展示都应依赖这个可见性状态,避免“原图还没过审但链接已经被公开访问”的漏洞。对于已发布后被召回的图片,系统还需要支持缓存刷新、访问拦截和审计追踪。

完成本章后,你会得到一套可落地的图片审核模型:状态流转清晰,机审与人审有边界,误杀和漏放有处理路径,所有对外可见的图片都能追溯到审核结论、模型版本、审核时间和操作人。

章节