敏感内容识别

审核不只是”鉴黄”

鉴黄检测上线后，我以为审核问题解决了。直到有一天，一个用户上传了一张看似正常的风景照——画面上是一条安静的街道，但街道旁的广告牌上写着一句违禁标语。

AI 鉴黄模型判定：安全。

因为鉴黄模型只看图像的视觉内容，完全看不到图片里的文字。

我又翻了翻后台数据，发现了更多被鉴黄模型放过的”漏网之鱼”：

已通过鉴黄但可能违规的图片：
1. 风景照 + 广告牌上的违禁标语     → 文字违规
2. 暴力场景截图（电影/新闻截图）    → 暴力血腥
3. 政治人物合影                    → 政治敏感
4. 假冒伪劣商品照片                → 广告违规
5. 含有二维码的图片                → 引流/诈骗

鉴黄只解决了色情这一个维度。一个完整的内容审核系统，需要多维度、多模态的检测能力。

维度一：OCR 文字识别

图片中的文字是审核的重要维度。很多违规内容不以视觉形式呈现，而是以文字形式”藏”在图片里。

OCR 方案对比

对比测试：

OCR 方案对比（100 张含文字的图片）

方案              识别准确率   速度      成本
──────────────────────────────────────────────
Tesseract         72%        800ms     免费
阿里云 OCR         96%        200ms     0.8元/千次
腾讯云 OCR         95%        250ms     0.7元/千次

结论：Tesseract 对中文的识别准确率太低（72%），特别是手写体、艺术字体、小字。云 API 是更好的选择。

文字内容审核

识别出文字后，还需要判断文字内容是否违规：

维度二：暴力血腥检测

暴力检测的难点：

容易误判的场景：
- 烹饪节目（生肉、鲜血）      → 误判为暴力
- 医学手术照片               → 误判为血腥
- 体育比赛（拳击、摔跤）     → 误判为暴力
- 万圣节装扮                 → 误判为恐怖
- 新闻报道中的事故现场       → 误判为血腥

这些场景的处理策略：
- 医学/新闻类：加标签但不拦截
- 体育比赛：加"体育"标签后降低权重
- 用户标注的"恐怖电影截图"：允许但加内容警告

维度三：政治敏感检测

这是最敏感也最必须的维度。国内的平台必须具备政治敏感内容的识别能力。

维度四：广告和二维码检测

摄影社区里经常有人上传带二维码的图片做引流：

多维度审核整合

把所有审核维度整合到一个服务中：

性能优化

多维度审核意味着多次 API 调用，如何控制延迟？

进一步的优化——分级审核：