去年帮朋友抓一个二手房平台的网站数据，三天后收到了对方的数据律师函。这事听起来吓人，网站但其实问题出在一个很蠢的数据细节上——他忘了改请求头里的User-Agent，用的网站还是Python默认的python-requests/2.28。服务器日志里清清楚楚记着这个标识，数据一秒几十次请求，网站人家不找你找谁。数据

爬数据这件事，网站技术门槛比大多数人想的数据低得多。Python里装个requests和BeautifulSoup，网站二十行代码就能把网页源码里的数据标题、价格、网站链接全抠出来。数据真正难的网站是别被逮住，以及搞清楚哪些东西能碰、哪些不能碰。

先看robots.txt，再看法律

每个网站根目录下都有个robots.txt文件，比如https://example.com/robots.txt。这东西是网站告诉爬虫“哪些路径别来”的声明。它没有法律强制力，但法院判例里经常把它当作参考依据。我见过有人抓招聘网站的数据被起诉，法官第一句话就问：“被告是否遵守了robots.txt？”

更硬的红线在《反不正当竞争法》和《个人信息保护法》。抓公开的商品价格，风险相对低；抓用户手机号、简历、聊天记录，那就是另一回事了。2021年有个案子，某公司爬取求职者简历数据，最后按侵犯公民个人信息罪处理的。

请求频率是门手艺

新手最容易犯的错就是for循环里直接requests.get()，一秒发几十个请求。正确做法是加time.sleep()，随机停个1到3秒。更稳妥的是用scrapy框架，它自带AutoThrottle扩展，能根据服务器响应时间自动调节速度。

还有个细节：别用单IP硬扛。小规模抓取用代理池，大规模的话考虑分布式。但代理质量参差不齐，免费代理基本不能用，付费的也得测试——有些代理IP早就被目标网站拉黑了，你用了等于白用。

解析数据比抓取更耗时间

拿到HTML只是第一步。真实网页的结构往往很脏：价格字段里混着“万”和“元”，图片链接藏在data-src而不是src里，列表页翻到第三页突然变成JavaScript渲染。这时候BeautifulSoup可能就不够用了，得上Selenium或者直接分析XHR请求。

我自己的习惯是先用浏览器开发者工具看Network面板，找到真正返回数据的API接口。很多网站的前端是React或Vue写的，数据其实来自一个JSON接口，直接请求那个接口比解析HTML省事十倍。有次抓一个电商网站，列表页HTML里只有20个商品，但对应的API接口一页能返回100条，还带分页参数。

存储和去重

数据抓下来得存。小规模用CSV就行，pandas.to_csv()一行搞定。上百万条的话考虑SQLite或者MySQL。去重是个容易被忽略的问题——同一件商品可能在列表页出现多次，或者你中途断了重新跑，重复数据就进去了。给关键字段加个唯一索引，或者用set()在内存里先过滤一遍。

最后说个实在话：爬虫代码写起来快，维护起来烦。目标网站改版一次，你的解析逻辑可能就得重写。所以能调API就别爬网页，能买数据服务就别自己动手。实在要爬，控制好频率，看清robots.txt，别碰个人隐私——这三条做到了，基本不会出大问题。