用爬虫抓取数据违法吗

爬虫本身不违法。用爬违法的虫抓是你拿它干了什么。

去年有个做电商比价的取数哥们儿，写了个脚本每天扫某平台商品价格，据违频率没控制好，用爬一秒请求十几次，虫抓直接把人家服务器搞出小范围抖动。取数平台报警，据违他被叫去喝茶，用爬最后定性为“非法获取计算机信息系统数据”。虫抓他委屈：我抓的取数都是公开页面啊。对，据违公开页面，用爬但你的虫抓行为让服务器扛不住了，这就踩了《刑法》第二百八十五条的取数线。

所以关键不在“爬”这个动作，在“怎么爬”和“爬完干嘛”。

我见过最离谱的案例，有人爬了某招聘网站几百万条简历，转手卖给培训机构。这就不只是爬虫问题了，是侵犯公民个人信息罪。爬虫只是他的作案工具，跟拿刀切菜还是砍人一个道理。

法律上判断爬虫是否越界，大概看几个维度。一是你是否遵守了网站的robots.txt协议——虽然这玩意儿没有绝对法律效力，但法院会把它当作你“明知故犯”的证据。二是请求频率。你一个人写循环一秒发五十个请求，跟DDoS攻击有什么区别？三是数据性质。公开的企业工商信息、天气数据，爬了通常没事；但用户手机号、身份证、聊天记录，碰都别碰。四是是否绕过反爬措施。人家设了验证码、封了IP，你搞代理池、打码平台硬闯，这属于“突破技术防护措施”，性质就变了。

有个做学术研究的朋友，爬了某论坛十几年的帖子做文本分析。他做了三件事：把请求间隔调到三秒以上、只在凌晨跑、主动给论坛管理员发邮件说明用途。论坛没封他，还给他开了白名单。你看，同样的事，做法不同，结果天差地别。

但现实里很多小公司根本不管这些。老板说“给我把竞品评论全抓下来”，程序员就闷头写。抓完了存数据库，分析完做报表。哪天收到律师函才慌。我见过最冤的一个，爬的是某政府公开数据平台，结果那平台用了某云的服务，云厂商的协议里禁止爬取。政府没说话，云厂商先起诉了。

还有个灰色地带：爬取后的数据经过清洗、整合，算不算“衍生数据”？有判例认为，如果你爬的是公开数据，但通过算法生成了新的、有商业价值的数据产品，可能构成不正当竞争。某二手车平台就因为这个赔了人家几百万。

说句实在话，现在做爬虫，技术门槛越来越低，法律门槛越来越高。以前大家觉得“能爬就行”，现在得先问法务。我自己的习惯是：动手前先看robots.txt，再看用户协议，再查有没有相关判例。三样都过了，才写第一行代码。频率永远设成“慢到你觉得无聊”的程度。

最后说个真事。有个做舆情监控的创业公司，爬了微博数据。他们觉得自己只爬公开内容，没问题。结果微博起诉，法院判他们赔偿。理由不是爬虫本身，是他们把爬来的数据卖给了第三方。你看，爬可以，卖不行。自己看看可以，拿出去赚钱不行。这中间的界限，比大多数人想的要细得多。

所以别问“爬虫违法吗”这种笼统问题。问自己：我爬什么站？爬多快？爬完干什么？这三个答案凑一起，基本就能判断你是在写代码还是在写悔过书。

(责任编辑：百科)