凌晨三点，爬虫我盯着终端里滚动的技术状态码，第47次请求又返回了403。网站隔壁工位的爬虫实习生问我为什么不直接买数据，我指了指屏幕上那家电商网站——它的技术商品价格每小时浮动一次，竞品分析报告明天早上就要交。网站爬虫不是爬虫技术选择，是技术生存手段。

抓取网页最基础的网站原理，说白了就是爬虫模拟浏览器发请求。Python的技术requests库三行代码就能拿到HTML源码，但真正的网站麻烦从解析开始。正则表达式能处理简单页面，爬虫碰上嵌套div就得用BeautifulSoup，技术遇到动态渲染的网站React站点，还得上Selenium驱动无头浏览器。上周我爬某个旅游平台，数据全藏在XHR接口里，翻Network面板找到加密参数，折腾了六个小时才破解。

反爬机制才是这场猫鼠游戏的高潮。有些网站用User-Agent检测，伪装成Chrome浏览器就行；高级点的会校验Cookie和Referer，这需要先访问几次页面建立会话。最头疼的是验证码——图形验证码用OCR识别，滑块验证得模拟人类拖拽轨迹。我见过一个极端案例：某招聘网站给每个IP只返回20条数据，超过就封禁，最后我只能用代理池轮换IP，每爬300条就换一个城市。

写爬虫最忌讳贪快。去年我接了个私活，要抓某论坛的帖子，图省事把并发调到20线程，结果三分钟后网站服务器直接宕机。对方运维顺着IP找到我客户，差点闹上法庭。现在我的代码里永远有条硬规则：单线程请求间隔至少1.5秒，批量任务前先爬robots.txt看协议。技术无罪，但得学会和别人的服务器和平共处。

数据解析完只是开始。清洗阶段要处理乱码、去重、补全缺失字段，偶尔还得对付网站改版——上个月某新闻站把class名从"article-content"换成"post-body"，我整个解析逻辑全废了。所以我的爬虫框架都做成模块化，解析规则单独存JSON配置文件，改版时只需更新配置，不用动核心代码。

有人问我爬虫的天花板在哪。法律边界是硬性的，个人隐私数据、登录后才能看的付费内容绝对不能碰。技术边界倒是越来越模糊——现在很多网站用WebSocket推送数据，抓包难度陡增；有些App接口走protobuf二进制协议，得先逆向编译才能看懂字段含义。但换个角度想，只要网站还在用HTTP协议传输数据，爬虫就永远有生存空间。

上周那个电商项目终于跑通了。看着MySQL里整齐排列的十万条商品记录，我突然想起刚学爬虫时用print()调试的日子。这行当没有教科书能教你所有坑，全靠踩出来的经验。下次遇到反爬升级，别慌，先看对方返回的报错信息——那往往藏着破解线索。