审核流程设计

一次误判引发的”事故”

审核系统上线后的第三天，摄影师老张给我发了一封长长的邮件。

他上传了一组人体艺术摄影——黑白光影、专业布光、构图讲究。AI 审核直接判了”reject”，理由是”porn score 92%”。

老张很愤怒：“这是获得过国际摄影奖的作品，你的 AI 说它是色情？”

我手动恢复了老张的图片，但这件事让我意识到：AI 审核不是非黑即白的——它有置信度，有灰色地带。 一个好的审核流程不是”AI 说了算”，而是机器和人的协作。

审核流程架构

我重新设计了审核流程，核心思路是分级审核：

用户上传图片
    │
    ▼
┌─────────────────────┐
│  第一级：AI 快速审核   │  < 300ms
│  （鉴黄 + 二维码）     │
└──────┬──────────────┘
       │
   ┌───┴────┬──────────┐
   │        │          │
   ▼        ▼          ▼
reject    review      pass
   │        │          │
   │        ▼          ▼
   │   ┌──────────┐   异步发起精审
   │   │ 第二级：   │   （OCR + 暴力 + 水印）
   │   │ AI 精审   │
   │   └────┬─────┘
   │        │
   │   ┌────┴─────┐
   │   │          │
   │   ▼          ▼
   │ reject    review
   │   │        │
   │   │        ▼
   │   │   ┌──────────┐
   │   │   │ 第三级：   │
   │   │   │ 人工审核   │  人工审核后台
   │   │   └────┬─────┘
   │   │        │
   │   │   ┌────┴─────┐
   │   │   │          │
   │   │   ▼          ▼
   │   │ reject      pass
   │   │   │          │
   ▼   ▼   ▼          ▼
 拦截通知          用户申诉通道

置信度阈值设计

人工审核后台

AI 审核不了的图片需要转人工。我设计了一个简单的人工审核后台：

前端审核界面：

用户申诉机制

被拒绝的图片应该有申诉通道：

灰度发布审核规则

审核规则和阈值的调整需要灰度发布——先在小比例图片上验证效果，再全量上线：

审核数据看板