网页采集这活儿，网页采集干久了会得一种怪病：看见任何网站，网页采集第一反应不是网页采集看内容，而是网页采集按F12。昨天我还在菜市场扫码付款，网页采集盯着那个支付成功页面，网页采集脑子里蹦出来的网页采集念头居然是——这个接口返回的JSON结构挺规整的，要不要抓一下试试？网页采集

这病是2019年治出来的。当时公司要做竞品价格监控，网页采集老板扔给我一个电商网站，网页采集说“三天之内给我搞定”。网页采集我打开那个页面，网页采集好家伙，网页采集一屏商品，网页采集滚动加载，网页采集翻页全靠JavaScript。我天真地以为用requests就能搞定，结果拿回来的HTML里，商品价格全是空的。那感觉就像你对着一个漂亮姑娘说话，她光张嘴不出声——页面是活的，但你看不见它怎么动。

后来被逼着学了Selenium，让浏览器自己跑。那玩意儿笨重得像头老牛，开个Chrome要三秒，跑一个页面要五秒，但架不住它真能看见东西。我盯着那个自动打开的浏览器窗口，看它自己滚动、自己点击、自己等待，突然觉得这像在教一个机器人逛街。它不会挑，不会砍价，但能把整条街的价签都抄回来，一字不落。

再往后才明白，真正的采集不是抄页面，是跟网站背后的逻辑捉迷藏。有些网站反爬做得贼精，你请求太频繁，它给你返回一个假数据，页面看着正常，数字全是错的。我踩过这个坑——监控了半个月的价格曲线，突然有一天发现数据全对不上，回查才发现第三天开始就被耍了。那种感觉，像被人蒙在鼓里干了半个月的活，还干得挺起劲。

现在我做采集，先看robots.txt，再分析XHR请求，能直接调接口就绝不碰HTML。有一次抓一个政府公开数据网站，人家接口文档写得明明白白，参数、频率限制、数据格式全给你列好了。我半小时写完代码，跑了一下午，拿回来几万条数据，干净得像刚从水里捞出来的青菜。那才是真采集——不是偷，是拿。

但多数时候没那么体面。上个月接了个活，要抓某个论坛的用户发言记录，那论坛是2008年的老代码，页面编码是GBK，表格嵌套得跟俄罗斯套娃似的。我用正则硬抠，抠到半夜，眼睛都快瞎了。最后抠出来的数据里还混着广告帖和乱码，清洗数据又花了半天。你说这活儿值不值？客户给的钱还不够我买眼药水。

说真的，网页采集这事儿，技术是一半，另一半是判断力。你得知道什么能抓，什么不能抓；什么该用蛮力，什么该用巧劲；什么时候该停下来歇歇，别把人家服务器搞崩了。我见过有人写个死循环去抓一个政府网站，抓了三天三夜，结果IP被封了，整个公司都上不了那个网站——那哥们儿后来被开了。

我还在干这行，大概是因为每次成功抓到一批数据，看着它们在Excel里整整齐齐地排着，会有点小小的成就感。就像小时候拆开一个闹钟，把所有齿轮都摆出来，再一个个装回去——你能看见世界的构造，哪怕只是很小的一块。这活儿不高级，但挺实在。挺累，但也挺有意思。