敏感词汇库这玩意儿,敏感说白了就是词汇一套词表加一套规则。但真正用过的敏感人都知道,它远不止是词汇“过滤几个脏字”那么简单。
我见过最典型的敏感误伤案例,发生在某游戏公测当天。词汇玩家在聊天频道里说“我靠,敏感这boss也太弱了”,词汇系统立刻弹窗警告,敏感理由是词汇“靠”字命中低俗词库。玩家懵了,敏感客服炸了,词汇后台运营连夜把“靠”从词库里摘出来——但摘出来之前,敏感那天的词汇用户投诉量已经翻了三倍。你看,敏感词库的颗粒度直接决定产品体验的粗糙度。
更麻烦的是语境问题。同一个词,在不同场景里完全是两种性质。“牛逼”在游戏里是赞美,在政务留言板里可能就不合适;“小姐”在服务业是尊称,在社交平台上却可能被判定为敏感。静态词库永远追不上动态语义。所以稍微成熟点的系统都会加白名单、加场景权重、加人工复核队列,但即便如此,误判率依然存在。
我有个做内容审核的朋友,他手机上存着几百个截图,全是用户被误伤后的申诉。最离谱的一条是:“我说‘我妈妈做的饭真香’,系统提示‘妈妈’涉及亲属关系敏感词,请修改。”他苦笑说,那套词库是外包团队从某个通用黑名单里抄来的,压根没做行业适配。那家公司后来换了自研模型,但前期流失的用户已经回不来了。
词库的维护是个脏活累活。你以为它是个静态文件,其实它是活物——每天都有新梗诞生,旧词被赋予新含义,甚至某些正常词汇因为热点事件被临时加进去,过两周又得悄悄撤下来。我见过最极端的例子,某年某地发生灾害后,“平安”两个字在部分平台被临时限制,因为怕有人借题发挥。结果那两天,所有给家人报平安的普通用户全被卡住了。
说到底,敏感词汇库的本质是“用技术手段做概率判断”,但语言本身是模糊的、流动的、充满反讽和隐喻的。你永远没法用一套穷举法覆盖所有可能性。所以现在很多团队转向了语义模型,让机器理解上下文——可模型也会翻车,比如把“我真想打人”识别成暴力倾向,却放过了“你等着收快递”这种真正的威胁暗示。
做这行的人都有种共同的疲惫感:你明明知道词库永远不可能完美,但还得每天修修补补。有人开玩笑说,这工作就像给一只漏水的船不停舀水,舀得再快,船底总有新洞。但没办法,只要还有人在网上说话,这活儿就得有人干。而且你还不能抱怨太多——毕竟,你要是真把词库做得太严,用户骂你;做得太松,上面找你谈话。两头都是坑,中间那条路,全靠经验和技术一点点踩出来。