去年秋天，网站我写了个小脚本，数据每十分钟去某二手平台抓一次显卡价格。网站跑了三天，数据IP被封了。网站换代理，数据继续抓。网站一周后攒了两万条数据，数据画了条价格曲线，网站发现周末晚上八点挂出来的数据卡普遍便宜5%左右。这个结论值不值钱另说，网站但抓取这件事本身，数据比大多数人想的网站要糙得多。

网站数据抓取，数据说白了就是网站用程序代替人手，去别人的服务器上把网页内容搬回来。你打开浏览器看一个页面，背后是浏览器发请求、服务器返回HTML、浏览器渲染成你能看的模样。抓取做的事就是跳过“看”这一步，直接把返回的原始数据截下来。Python里用requests库发个GET请求，一行代码就能拿到整个页面的HTML源码。就这么简单。复杂的地方全在后面。

第一个坑是反爬。你以为网站是敞开的？不是。小网站可能无所谓，大平台基本都有防护。最基础的是检查请求头里的User-Agent，发现你是python-requests而不是Chrome，直接返回403。加个假的UA就行。再往上，有的网站会检测你的访问频率，同一IP一秒钟请求十次，封。这时候得上代理池，或者把抓取间隔拉长。更狠的是用JavaScript动态渲染内容，你拿到的HTML里根本没有数据，全是空壳。得用Selenium或者Playwright模拟浏览器执行JS，等数据加载出来再抓。速度慢十倍不止，但没办法。

我见过最离谱的是一个招聘网站，它把薪资数字用CSS伪元素偏移显示，HTML里写的是乱码，靠CSS把字符挪回正确位置。你抓源码拿到的全是垃圾。这种就得硬算CSS规则还原。写那套代码花了我一个下午，最后抓出来的数据还没我手动复制粘贴快。但那个过程挺有意思，像在跟网站的前端工程师下棋。

解析数据是另一回事。拿到HTML之后，你得从一堆标签里把想要的东西抠出来。BeautifulSoup和lxml是常用工具，写XPath或者CSS选择器定位元素。麻烦在于网站改版。今天还能用的选择器，明天网站换个class名，全废。所以写抓取脚本的时候，选择器要尽量往上层结构靠，别依赖太具体的class。有次我抓一个电商网站，它每两周改一次页面结构，我被迫把解析逻辑写得极其宽松，只匹配“包含价格数字的span”，不管它在哪个div里。丑是丑，但活得久。

法律和道德这块绕不开。抓公开数据和抓用户隐私是两码事。爬别人的网站，遵守robots.txt是底线。那个文件写在域名根目录下，告诉你哪些路径可以抓哪些不可以。很多小爬虫根本不管，但大公司会拿这个说事。国内有过判例，抓取公开数据一般不违法，但如果你抓的是别人花了大力气整理的结构化数据，或者绕过了技术保护措施，那就不好说了。我的原则很简单：抓可以，别把人服务器搞崩，别拿去卖钱，别碰个人隐私。

效率上，单线程抓取基本等于自虐。用asyncio或者Scrapy的并发机制，速度能提几十倍。但并发一高，被封的概率也直线上升。平衡点在哪，得自己试。我一般控制在每秒两到三个请求，配合随机延迟，大部分网站不会管你。真要大规模抓，分布式加代理池是标配，但那已经超出“简单抓取”的范畴了。

说到底，网站数据抓取是个脏活。没有一劳永逸的方案，每个网站都是新的对手。你得不断试错、调整、放弃、重来。但当你把散落在几十个页面里的数据拼成一张完整的表，那种感觉还是挺爽的。就像拼完了一盒没有参考图的拼图。

(责任编辑：娱乐)