去年冬天，网站文件一个做企业内刊的内部朋友找我帮忙。他们编辑部六个人，重软共用一台文件服务器，网站文件里面躺着近三年的内部选题库、采访提纲和已发稿件。重软新来的网站文件实习生把一篇旧稿改了个标题就交上去，差点印出来。内部主编气得拍桌子：“就没有办法查一下吗？重软”我给他装了个小工具，扫一遍服务器，网站文件列出所有相似度超过70%的内部文件对。十分钟后，重软他们发现十七组重复或高度雷同的网站文件文档，最老的内部一组是2019年的。

网站内部文件的重软查重，跟论文查重是两码事。论文比的是连续文字，网站文件五花八门——HTML、CSS、JS、PDF、Word、甚至数据库导出的CSV。你拿知网那套去跑，它连标签都认不全。真正管用的办法，是先按文件类型分流，再各自用对应的指纹算法。

拿最常见的HTML来说。一个页面里，导航栏、页脚、版权声明几乎每个文件都一样，这些叫“模板噪声”。不剔除它们，查重结果会全是误报。我习惯先用正则把<header>…</header>、<footer>…</footer>、<script>…</script>整段删掉，只留正文区域。然后对剩下的文本做分词，算SimHash。SimHash的好处是，哪怕你改了几个词、调了段落顺序，它依然能抓到相似性。谷歌当年用它来去重网页索引，效果很稳。

Word和PDF麻烦一些。Word可以读document.xml里的纯文本，PDF得先抽文字层。有些PDF是扫描件，那就得走OCR，但OCR误差大，查重阈值要放宽到85%以上才靠谱。我见过一个案例：某政府网站的政策解读栏目，两份PDF文件正文一模一样，只是红头文件编号不同。用文本指纹一跑，直接命中。

图片和视频没法直接查文字，但可以查感知哈希。同一张图裁剪、调色、加logo，pHash值依然接近。有个电商网站的内部素材库，运营把同一张产品图换了三次文件名上传，系统没发现。后来加了pHash比对，立刻揪出来。视频则抽关键帧，每帧算pHash，再比对序列。

实际部署时，别指望一个脚本搞定所有。我的做法是写一个调度器，按扩展名把文件扔给不同的处理器，结果统一写进SQLite。每次扫描只比对新增或修改过的文件，不然几万个文件跑一遍太慢。阈值也别一刀切：代码文件设90%，因为变量名一改就不像了；纯文本设75%；图片设85%。这些数字不是理论值，是试出来的。

有个坑得提醒：别在服务器高峰时段跑全量扫描。我朋友的公司不信邪，下午三点跑，结果磁盘I/O飙满，网站卡了二十分钟。后来改成凌晨三点增量扫描，世界安静了。

这套东西不复杂，核心就是“分而治之”加“指纹比对”。但真正让查重生效的，是把它嵌进工作流。比如编辑上传文件时，后台自动比对，相似度超阈值就弹窗提醒。人总会偷懒，机器不会。那个内刊编辑部后来把查重做成了上传前的必过环节，半年再没出过重复稿。

最后说一句：查重软件不是用来抓贼的。它更像一面镜子，照出文件管理里的混乱。你看到一堆重复文件，真正该改的不是软件，是那个允许重复产生的流程。