html爬虫代码

写爬虫代码，爬虫本质上是代码和网站玩一场猫鼠游戏。我见过太多人把这事想得太神圣，爬虫好像要破解什么加密协议似的代码。实际上，爬虫大部分爬虫的代码核心逻辑就三行：requests.get()拿到HTML，BeautifulSoup解析标签，爬虫for循环提取数据。代码难的爬虫不是代码，是代码你要爬的那个网站想不想让你爬。

我上个月帮朋友爬一个二手家具交易平台，爬虫那个网站的代码反爬措施就一个——在HTML里塞满了随机生成的注释节点。你肉眼看到的爬虫是几十条商品信息，但用浏览器开发者工具一看，代码DOM树里密密麻麻全是爬虫<!-- 随机数 -->。新手写爬虫时，直接按class="item"去筛，结果筛出来的有一半是空壳。后来我加了句判断，if item.find('span', class_='price') is not None:，一下就把垃圾节点过滤掉了。这算什么技术？就是细心点，多观察几层页面结构。

真正麻烦的是动态加载的页面。很多网站现在学聪明了，商品列表先用空壳div占位，等JavaScript跑完才填充真实数据。你要是直接拿requests去抓，抓回来的就是一堆空壳子。这时候要么用Selenium模拟浏览器，要么就得去翻它的XHR接口。翻接口这事儿，说穿了就是拿F12打开Network面板，看哪个请求返回的是JSON数据。我见过一个电商网站，它的商品数据藏在/api/v2/search这个路径里，参数加密了，但返回的JSON里字段名是明文。你猜怎么着？我直接用json.loads()解析，比解析HTML还省事。

当然，写爬虫最怕的不是技术问题，是法律问题。去年有个程序员爬了某点评网站的用户评价，结果被起诉赔偿了20万。这不是危言耸听，robots.txt协议虽然不强制，但《反不正当竞争法》是实打实的。我自己的原则是：公开数据可以爬，但不超过每分钟10次请求；登录后才能看的数据绝对不碰；个人隐私信息哪怕在页面源码里明文显示，也当没看见。

说到具体代码，给你看个最简版本。抓一个静态页面的标题，用urllib库就够了，连第三方库都不用装：

import urllib.request from html.parser import HTMLParser class TitleParser(HTMLParser): def __init__(self): super().__init__() self.in_title = False self.title = '' def handle_starttag(self, tag, attrs): if tag == 'title': self.in_title = True def handle_data(self, data): if self.in_title: self.title += data def handle_endtag(self, tag): if tag == 'title': self.in_title = False req = urllib.request.Request('https://example.com', headers={ 'User-Agent': 'Mozilla/5.0'}) with urllib.request.urlopen(req) as resp: html = resp.read().decode('utf-8') parser = TitleParser() parser.feed(html) print(parser.title)

这段代码粗糙得很，连异常处理都没写。但它的好处是零依赖，纯标准库就能跑。你要是用requests加BeautifulSoup，代码会更短，但得先pip install两个包。我建议初学者先从标准库开始，等搞明白HTTP请求和HTML解析的本质，再上第三方库不迟。

最后说个反直觉的事儿。有时候爬虫代码写得越优雅，越容易被封。那些用Selenium模拟真人点击的，反而容易被识别——因为真人不会毫秒不差地每隔2.5秒点一次。我有个同事写爬虫，故意在每次请求之间加随机延迟，范围是1.8秒到3.2秒，还随机旋转User-Agent。结果那个网站的反爬系统愣是没发现他，跑了三天才被ban。你说这是技术吗？更像是一种行为艺术。

写爬虫这事儿，入门容易精通难。难在你要理解目标网站的脾气，知道它什么时候会弹验证码，什么时候会返回403。但话说回来，只要不贪心，不拿数据干坏事，爬虫就是个挺有意思的编程练习。毕竟，互联网上那些公开数据，本质上就是等着人去读取的，只是方式方法得讲规矩。

本文地址：http://www.79wt.cn/news/494d899497.html