内容摘要：写爬虫抓网页，本质上就是模拟浏览器向服务器发请求，再把返回的HTML解析成能用的数据。听起来简单，但真正跑起来，坑比想象中多。 我第一个爬虫是抓某图书网站的书籍信息。用Python的requests库

写爬虫抓网页，爬虫本质上就是网页模拟浏览器向服务器发请求，再把返回的数据HTML解析成能用的数据。听起来简单，爬虫但真正跑起来，网页坑比想象中多。数据

我第一个爬虫是爬虫抓某图书网站的书籍信息。用Python的网页requests库发GET请求，拿到HTML后用BeautifulSoup解析。数据代码不到二十行，爬虫跑起来却只返回了一堆空列表。网页打开浏览器一看，数据页面明明有数据。爬虫问题出在User-Agent——服务器识别出我是网页脚本，直接返回了简化版页面。数据加个请求头伪装成Chrome，数据就出来了。这件事让我明白：爬虫的第一步不是写代码，是搞清楚目标网站怎么区分人和机器。

请求发出去只是开始。返回的HTML结构往往比预想的复杂。拿豆瓣电影Top250举例，每部电影的标题、评分、引言分别藏在不同的<div>和<span>里。用find_all一层层往下钻，稍不留神就抓错节点。我的做法是先在浏览器开发者工具里定位元素，复制它的CSS选择器，再拿到代码里试。有时候一个页面上有多个相同class的标签，得靠父级或兄弟节点来区分。这种活没有捷径，就是反复试。

静态页面还好，动态渲染的才头疼。很多网站用JavaScript加载数据，requests拿到的HTML里根本没有内容。这时候要么分析XHR请求直接抓API接口，要么上Selenium或Playwright模拟浏览器。我倾向于前者——打开Network面板，找到返回JSON的那个请求，复制URL和参数，用requests直接调。速度快，数据干净。但有些网站会加密参数或加时间戳校验，那就得逆向JS代码，工作量翻倍。

频率控制是另一个必须面对的问题。早期我写循环不加延时，一分钟内请求了三百多次，IP直接被封。后来学乖了，每次请求间隔1到2秒，随机浮动。再配合代理池，基本能稳定运行。不过代理池维护成本不低，免费代理大多不可用，付费的也要经常换。我的经验是：小规模抓取用延时就够了，大规模才考虑代理。

数据存下来之后，清洗往往比抓取更耗时。网页里的文本常带多余空格、换行符、HTML实体（比如 ）。评分可能是“9.2分”这种字符串，得用正则提取数字。日期格式五花八门，统一成ISO标准还得写转换逻辑。这些琐碎工作占了整个项目一半以上的时间。

法律边界也得留意。robots.txt不是摆设，它明确写了哪些路径允许抓、哪些禁止。违反它可能惹上麻烦。我一般只抓公开数据，不碰用户隐私，请求频率控制在合理范围。商业用途的话，最好先看网站的服务条款。

说到底，爬虫是个手艺活。工具就那几个——requests、BeautifulSoup、lxml、Selenium，但怎么组合、怎么应对反爬、怎么保证数据质量，全靠经验积累。每次遇到新网站，都是一次新的拆解过程。代码可以复用，思路得重新来过。