内容摘要：2023年，某地方法院判了一个案子——程序员用Python爬了某招聘网站3万条简历，被判刑一年六个月，罚金两万。判决书里写得清楚：非法获取公民个人信息罪。你看，问题不在爬虫本身，而在爬的是什么数据。

2023年，爬虫某地方法院判了一个案子——程序员用Python爬了某招聘网站3万条简历，技术被判刑一年六个月，网站违法罚金两万。数据判决书里写得清楚：非法获取公民个人信息罪。爬虫你看，技术问题不在爬虫本身，网站违法而在爬的数据是什么数据。

爬虫技术本身就像一把菜刀。爬虫你用菜刀切菜，技术没人管你；你拿菜刀砍人，网站违法那就要进局子。数据技术是爬虫中性的，但使用场景决定了合法性边界。技术我见过太多创业公司，网站违法技术负责人拍着胸脯说“网上数据都是公开的，随便爬”，这种认知往往就是踩坑的开始。

法律上有个核心概念叫“突破技术措施”。网站给你看的数据，和你绕过登录、验证码、IP封锁去拿的数据，性质完全不同。打个比方，你走进一家店，看到货架上的商品标价，这叫公开信息；但你翻墙进仓库偷看进货单，那就是另一回事了。爬虫也一样——robots协议（网站告知爬虫哪些路径可访问的规范）允许的路径，相当于店铺正门；协议禁止的目录，就是锁着的仓库门。

更微妙的是“公开数据”的界定。去年有个案子让我印象很深：某数据公司爬取社交平台用户发布的公开帖文，法院最后判了不正当竞争。理由是——用户虽然公开发布，但平台对数据有管理权，未经许可批量抓取并商用，损害了平台经营利益。你看，同样一条公开信息，个人看一眼没问题，但用程序一小时抓一百万条，性质就变了。这叫“量变引起质变”，法律上叫“实质替代性使用”。

那是不是说爬虫就完全不能碰了？也不是。我认识一个做电商数据分析的朋友，他每天爬各大平台的价格信息，公司经营三四年了，没出过事。他的做法值得参考：只抓商品标题、价格这类基础信息，不碰用户数据；请求频率控制得很低，不给服务器造成压力；抓下来的数据只做统计聚合，不原样展示。用他的话说：“我就像个逛街的，天天去各家店抄价格，但绝不偷人家会员名单。”

还有个灰色地带——robots协议没有法律强制力。很多大网站不遵守，Google的爬虫也经常无视别人的robots协议。但这不意味着你也能这么干。法院判案时，会综合看你的爬取行为是否违背了网站方的明确意愿、是否对服务器造成实质损害、数据用途是否正当。说白了，法律判断的是“行为整体”，不是单看技术动作。

所以回到标题的问题：爬虫违法么？我的回答是——爬公开的非商业数据，频率低，不绕过技术措施，基本安全；爬用户个人信息，哪怕技术上是公开的，风险极高；爬取后商用，尤其是和你竞争对手的数据直接相关，那基本是在法律红线上跳舞。你要是真打算用爬虫做业务，花几千块找个懂数据合规的律师聊聊，比出事了请刑事辩护律师便宜得多。