网站内容检测运用到的技术

某社交平台每天删掉两百万条动态，人工审核团队只有三千人。内容剩下的检测技术活儿谁干的？机器。一套组合拳打下来，运用文本、网站图片、内容视频各走各的检测技术通道，最后汇到同一个决策引擎里。运用我拆开看过几个开源检测框架的网站代码，说白了就是内容几层过滤网叠在一起，每层干掉一批，检测技术剩下的运用才轮到人看。

文本检测：从关键词到语义向量

最早的网站内容检测就是关键词匹配。你发“代开发票”，内容命中黑名单，检测技术直接拦截。简单粗暴，误杀也高——有人写小说提到“发票”两个字就被毙了。后来加了正则表达式，能处理变体，比如“代开*发票”“代开 发 票”。但道高一尺魔高一丈，把字拆成拼音、加零宽字符、用同音字替换，规则库永远追不上。

现在主流方案是文本分类模型。把待检测内容扔进一个预训练语言模型，输出一个概率值。我试过用BERT微调一个色情文本分类器，两千条标注数据，F1能到0.94。但问题也明显：模型对反讽、隐喻、黑话几乎没辙。比如“我想和你一起看日出”在特定语境下是性暗示，模型只能靠上下文窗口去猜。更麻烦的是对抗样本——在正常句子里插入几个特定词，模型置信度能从0.9掉到0.1。所以实际系统里，规则引擎和模型是并行的，一个负责召回，一个负责精度。

图像检测：哈希、特征与深度网络

图片检测的第一道防线是感知哈希。把图片转成灰度、缩放到8x8、算均值、生成64位指纹。两张图指纹的汉明距离小于5，就认为是同一张。这招对付旋转、裁剪、加滤镜很管用。我见过一个案例：有人把违规图片旋转15度、加了个边框，哈希值只变了3位，照样被揪出来。

但哈希只能查重，查不了“新内容”。真正的识别靠CNN。YOLO做目标检测，ResNet做分类，再套一个OCR提取图中文字。三路结果加权投票。有个细节：很多平台会把图片先过一遍“色情区域检测”，只对敏感部位做高精度分析，其他区域降采样。省算力，也快。我实测过，一张1080p图片全图跑ResNet要120ms，只跑敏感区域能压到30ms以内。当然，误判也有——有人拍了个婴儿屁股，被系统标成色情，申诉了三天才恢复。

视频检测：抽帧、音频与多模态

视频是文本、图像、音频的叠加。常规做法是抽关键帧，每秒钟抽1到5帧，走图像检测通道。音频转文字，走文本检测通道。两路结果按时间轴对齐，取并集。但这样会漏掉“连续动作”——比如一段正常画面里突然闪过一帧违规图，抽帧抽不到就漏了。所以有些系统用光流法检测突变帧，或者直接上3D卷积网络处理时序信息。

更麻烦的是直播。流式数据没法等整段视频传完再检测。得用滑动窗口，每2秒切一个片段，实时推理。延迟控制在500ms以内，否则用户都看完跑了。我见过一个直播鉴黄系统，用了知识蒸馏——大模型离线跑，小模型在线跑，精度掉3个点，速度翻四倍。值不值？看业务容忍度。

决策层：规则、模型与人的三角关系

所有检测结果最后汇到一个决策引擎。通常分三档：置信度高于0.95直接删，低于0.5直接放，中间区间转人工。但阈值不是固定的。凌晨三点审核员少，阈值就调高，宁可错放不可错杀。大促期间流量暴涨，阈值也调高，先保系统不崩。我见过一个平台把色情检测阈值从0.9调到0.85，误杀率涨了40%，但漏放率降了60%。他们觉得值——漏放一条违规内容罚款五万，误杀一条用户投诉成本五毛。

还有个趋势：用主动学习。人工审核的结果反哺模型，每天增量训练一次。我跟踪过一个系统，三个月后模型对“擦边球”内容的识别率从72%提到89%。但代价是标注成本——每天要标五千条新样本。小平台根本玩不起。

技术再牛，最后拍板的还是人。模型告诉你“这条内容有87%概率违规”，你敢不敢直接删？法律风险、公关风险、用户体验，全得算进去。我见过最离谱的case：一个用户发“我要杀了你”，模型标了0.99，人工审核发现是引用电影台词，又给放出来了。所以别指望全自动，至少现在不行。