爬虫不是预防洪水猛兽，真正要防的网站是那种能把你的数据库搬空的恶意抓取。前两天一个做电商的被爬朋友跟我诉苦，他们网站的预防SKU数据被爬虫抓了个底朝天，竞品直接复制了他们的网站价格体系，打起了价格战。被爬

最常见的预防防护是User-Agent检查。但这玩意儿形同虚设——稍微懂点技术的网站人用curl改个UA就能绕过。我见过最粗暴的被爬做法是直接封IP，但封IP有个致命缺陷：现在爬虫都挂在代理池上，预防动辄几万个IP轮换，网站你封不过来，被爬还容易误伤正常用户。预防

真正有效的网站防线藏在请求频率里。人类浏览网页有天然的被爬节奏——阅读一篇详情页至少需要几秒，下单流程有思考停顿。爬虫不一样，它可以在0.1秒内连续请求上百个页面。设置一个合理的频率阈值，比如单IP每秒钟不超过3次请求，超了就弹验证码。这个办法简单但管用，能拦住八成以上的低端爬虫。

更隐蔽的做法是埋陷阱链接。在页面里藏一个正常用户永远看不见的链接（比如白色文字、display:none的div），爬虫会顺着链接爬过去，一碰就触发警报。这个方法我特别推荐，因为它是主动防御，而不是被动挨打。你甚至能给这些陷阱链接设置不同的蜜罐IP，爬虫一旦访问，直接拉黑整个IP段。

动态页面渲染是另一道坎。把核心数据用JavaScript异步加载，爬虫拿到手的HTML只是一堆空壳。现在很多爬虫工具已经支持渲染JS了，但成本高了不少——你得跑无头浏览器，还得处理各种反自动化检测。我见过一个团队用Puppeteer模拟真实浏览器，结果被网站的WebDriver检测拦住了，因为正常用户不会用自动化工具访问。

别忽视登录后的数据保护。很多网站只对未登录用户做防护，登录后反而放松警惕。这给了爬虫可乘之机——注册几个账号，用登录态去抓取。应对办法是给每个账号设置每日请求上限，超出就要求二次验证。我那个电商朋友后来加了这招，爬虫成本直接翻了十倍。

还有个反直觉的招儿：给爬虫喂假数据。在页面里掺入一些随机生成的价格或库存信息，正常用户感知不到差异，但爬虫抓回去的数据就会污染竞品的数据库。这招有点损，但对付恶意爬虫特别有效。当然，你得确保这些假数据不会影响SEO或用户体验。

说到底，爬虫防护是一场猫鼠游戏，没有一劳永逸的方案。核心思路是提高对方的抓取成本——让爬虫获取数据的代价大于数据本身的价值。当对方发现抓你的数据需要投入大量时间和金钱时，自然会转向更容易的目标。别追求完美防护，把成本抬到对方放弃，你就赢了。