内容摘要：凌晨三点，老张的爬虫脚本又跑完了一轮。屏幕上滚动的日志显示，某电商平台新上架了四百多款商品，他写的正则表达式精准地抓取了价格、库存和用户评价。这不是什么黑客行为，只是他日常工作的一个片段——用代码在互

凌晨三点，网站猎手老张的网站猎手爬虫脚本又跑完了一轮。屏幕上滚动的网站猎手日志显示，某电商平台新上架了四百多款商品，网站猎手他写的网站猎手正则表达式精准地抓取了价格、库存和用户评价。网站猎手这不是网站猎手什么黑客行为，只是网站猎手他日常工作的一个片段——用代码在互联网的缝隙里寻找公开数据。老张管自己叫“网站猎手”，网站猎手虽然这个称呼听起来有点中二，网站猎手但他觉得比“数据采集工程师”更贴切。网站猎手

做这行的网站猎手人都有个共识：网站就像一座座结构各异的建筑。有的网站猎手门没锁，你推门就能进；有的网站猎手装了防盗网，得找找有没有没关严的网站猎手窗户；还有的看似铜墙铁壁，其实后门虚掩着。老张最得意的一次，是帮一家创业公司抓取竞品的用户评论。对方网站用了动态加载，普通请求返回的全是空白。他花了两个晚上分析XHR请求，最后发现评论数据藏在某个GraphQL接口里，参数稍微改改就能拿到全量数据。“那感觉就像在旧货市场淘到了绝版唱片。”他说这话时，眼睛还盯着屏幕上的Network面板。

不过猎手也有失手的时候。去年他接了个活，要抓某政府公开网站的历史文件。网站反爬策略简单粗暴——检测到高频访问直接封IP。老张换了代理池，加了随机延迟，甚至模拟了鼠标轨迹。结果第三天，对方运维直接打电话到他公司，说“你们那个IP段我们盯很久了”。原来人家在服务器端做了行为分析，访问模式太规律，一眼就能认出来。这事后来成了圈子里的笑谈，但也提醒了老张：技术再花哨，终究是在别人的地盘上跳舞。

工具的选择上，老张现在偏爱Playwright而不是Selenium。倒不是性能差多少，主要是Playwright的自动等待机制省心。有次抓一个用React做的后台管理系统，Selenium总是点不到动态生成的按钮，换成Playwright后，它自己会等元素可交互了再操作。“就像换了个懂你的副驾驶。”他这样比喻。但工具终究是工具，他见过太多新手抱着Scrapy框架硬啃，连最基本的HTTP状态码都分不清。有次面试个小伙子，简历上写着“精通反爬对抗”，问怎么处理Cloudflare的5秒盾，对方答“用selenium模拟点击”。老张没忍住笑出了声——那玩意儿早就能通过JS Challenge自动跳转了。

法律红线是绕不开的话题。老张给自己定了三条规矩：不碰个人隐私数据、不绕过付费墙、不干扰网站正常运行。去年有个甲方出高价让他抓某社交平台的用户手机号，他直接拒了。“爬虫和黑客就一线之隔，区别在于你拿数据干什么。”他见过同行因为抓了太多数据导致对方服务器宕机，最后赔了钱还留了案底。现在他写脚本都会加并发限制，哪怕慢点，图个心安。

这行干久了，看网站的角度都会变。普通人打开网页看到的是图文排版，老张第一反应是F12打开开发者工具，看看请求头里有没有藏着什么接口。有次陪老婆逛母婴论坛，他顺手抓了版块列表，发现URL规律后直接构造出了全站帖子链接。“职业病。”他耸耸肩。但他也承认，随着前端技术越来越复杂，纯粹的爬虫空间在缩小。很多数据现在都走WebSocket实时推送，或者加密后存在IndexedDB里。猎手得不断学新东西，否则连猎物的影子都摸不着。

前几天老张接了个新项目，要抓某新能源车企的充电桩分布数据。网站用了高德地图的JS API，数据直接渲染在canvas上。他盯着屏幕看了半小时，突然想到可以hook掉高德的Polyline绘制函数。凌晨五点，当第一个坐标点被成功截获时，他泡了碗泡面，觉得这行还能再干几年。