2024年5月，爬虫北京一家数据科技公司的技术技术负责人收到法院传票。该公司用爬虫抓取某招聘平台的网站公开职位信息，用于自己的数据聚合服务。平台方索赔2000万，合法理由是爬虫“破坏计算机信息系统”。这个案子最后判了，技术公司败诉——但判决书里写得清楚：不是网站爬虫本身违法，而是数据他们绕过了平台的反爬验证码，且抓取频率过高导致服务器过载。合法

所以直接回答标题的爬虫问题：抓取公开数据，本身不违法。技术但抓取行为如果越过“合理边界”，网站就可能踩线。数据这个边界在哪儿？合法我翻了近三年二十多份判例，发现法院判罚的核心逻辑其实就两条：一是有没有破坏对方服务器的正常运行，二是抓到的数据有没有用于不正当竞争或侵犯隐私。

举个对比案例。杭州有家做电商数据分析的小公司，每天定时抓取某电商平台公开的商品价格和销量，频率控制在每秒一次以内，数据只用于内部研究。干了两年，平台方发过律师函但没起诉。另一家同行就倒霉了——他们用分布式爬虫，每秒请求几百次，还伪装成不同IP地址，直接把平台的反爬系统打崩了。这是典型的“技术无罪，但手段有罪”。

更微妙的灰色地带在于robots协议。这个文件是网站告诉爬虫“哪些能抓，哪些不能”的君子协定。法律上它没有强制力，但司法实践中，如果网站明确在robots里禁止抓取某个板块，你还硬闯，法院会倾向认定你“明知故犯”。2023年上海有个判例，某社交平台在robots里禁止抓取用户主页数据，一家营销公司偏要抓，结果被认定构成不正当竞争，罚了80万。法官在判决书里写了一段话让我印象很深：“技术中立不等于行为中立，工具无善恶，但使用工具的人有。”

个人使用和商业使用也是完全不同的量级。你自己写个脚本抓几百条公开信息做学习研究，基本没人管你。但一旦数据量级达到“实质性替代”程度——比如抓了人家几十万条原创内容，然后做成自己的产品——那就危险了。去年某新闻聚合App就是这么死的，抓了各大媒体的文章，靠算法重新排版，被告侵权时辩称“只是做了链接汇总”，但法院认定其行为构成“实质性替代”，判赔了1200万。

还有个被忽视的角度：数据源本身的属性。政府公开数据、企业主动公开的API接口，这些抓起来风险极低。但个人敏感信息，比如手机号、住址、社交关系链，哪怕技术上“公开可见”，抓取也可能触犯个人信息保护法。我认识一个做风控的工程师，他跟我说过一句大实话：“我们内部做爬虫，先问三个问题——数据是否涉及个人隐私？抓取频率是否影响对方服务？抓来的数据是否用于直接竞争？三个都否，才敢动手。”

说到底，法律不是一刀切说“爬虫非法”，而是看具体行为是否破坏了技术伦理和商业秩序。就像开车不违法，但超速、闯红灯、逆行违法。爬虫技术本身是中性工具，关键看你握方向盘的手怎么动。你要是规规矩矩抓公开数据，控制频率，不碰隐私，不搞恶意竞争，基本安全。要是非要硬刚反爬系统、高频请求、绕过验证码，那法院教你做人只是时间问题。这年头，技术人得多留个心眼——不是怕技术不够硬，而是怕法律那堵墙比你的技术更硬。