凌晨三点，网站某电商平台的反爬数据接口在10分钟内涌入了20万次请求。这些请求不来自浏览器，网站而是反爬来自一台云服务器上的Python脚本。运维人员第二天早上才发现，网站IP池已经换了三轮，反爬验证码被OCR识别了八千多次。网站这不是反爬攻击，只是网站有人在抓取商品价格。

网站反爬虫的反爬本质，是网站服务端和客户端之间一场不对称的博弈。服务端要区分“人”和“机器”，反爬但HTTP协议本身不携带这个信息。网站你只能靠行为特征去猜。反爬猜对了，网站拦住脚本；猜错了，误伤真实用户。很多中小型网站干脆放弃，直接上CDN的通用规则，结果要么漏成筛子，要么把正常访问也掐了。

最原始的手段是检查User-Agent。早些年改个请求头就能绕过，现在依然能拦住一部分“拿来主义”的爬虫。我见过一个政府公开数据网站，只靠UA黑名单，就把某爬虫框架的默认标识全挡了。但稍微懂点技术的，花五分钟就能伪造。所以UA只能算门槛，不是墙。

真正让爬虫头疼的是动态令牌和请求签名。比如某社交平台，每个API请求都带一个由JS生成的sign参数，这个参数依赖时间戳、随机数和一段混淆过的前端代码。你光用requests库模拟不了，得把JS逆向出来，或者直接上无头浏览器。无头浏览器又慢又吃内存，一台机器开几十个实例就卡死了。这招对中小爬虫团队很致命，但对大厂的数据部门来说，只是增加一点计算成本。

验证码是另一道分水岭。简单的图形验证码，打码平台一分钱一次，准确率99%。滑块验证码稍微麻烦点，但轨迹模拟算法已经开源了。真正恶心的是行为验证，比如某搜索引擎的“点击所有包含红绿灯的图片”，背后是Google的reCAPTCHA v3，它不给你出题，而是全程收集鼠标移动、滚动、点击间隔等信号，最后给一个0到1的分数。分数低了直接封，你连申诉入口都找不到。这套系统对自动化脚本几乎是降维打击，但代价是真实用户也可能被误判，尤其是用隐私浏览器或者禁用JS的人。

还有更隐蔽的——蜜罐链接。页面上放一个display:none的标签，正常用户看不见，也不会去点。爬虫如果无差别抓取所有链接，就会踩进去，IP立刻进黑名单。这招成本极低，效果奇好。我自己的博客就挂过两个蜜罐，一个月拦了四百多个扫描器。