python爬网站代码

凌晨两点，爬网我盯着终端里滚动的站代数据流，终于明白一件事——写爬虫代码，爬网百分之八十的站代时间不是在写抓取逻辑，而是爬网在跟网站的反爬机制斗智斗勇。就拿我上周爬某电商平台商品价格来说，站代第一版代码不到五十行就搞定了，爬网结果跑起来才发现，站代对方服务器在第三次请求后就给我返回了403。爬网

先看最基础的站代代码骨架。用requests库发个GET请求，爬网拿回来的站代响应对象里，response.text就是爬网整个页面的HTML源码。这时候用BeautifulSoup解析，站代soup.find_all('div',爬网 class_='product-price')就能把价格标签全捞出来。看起来简单对吧？但真实场景里，你往往需要先处理cookies、headers、session维持，甚至要模拟浏览器指纹。

有一次我爬一个新闻网站，明明headers里带了User-Agent，还是被识别了。后来抓包才发现，对方检测了Accept-Language字段——我用的默认值跟真实浏览器差一个语言优先级。改完之后，又遇到JS动态渲染的内容，requests拿到的源码里根本没有目标数据。这时候就得换selenium，用无头浏览器去执行JavaScript，等页面加载完再抓取。

写爬虫最忌讳的就是一股脑猛抓。我见过有人写了个死循环，每0.1秒发一次请求，结果IP直接被封了。后来我在代码里加了time.sleep(random.uniform(1, 3))，每次请求间隔随机化，再配合代理池轮换，才稳定跑通。这里有个细节：代理IP的质量比数量重要，免费的代理经常失效，反而拖慢速度。

数据解析这块，正则表达式虽然快，但可读性差。我更喜欢用XPath或者CSS选择器，结构清晰，后期维护也方便。比如抓取豆瓣电影标题，//span[@class='title'][1]这种写法，一眼就能看出定位逻辑。但遇到嵌套复杂的页面结构，还是得靠BeautifulSoup的find_parent和find_next_sibling这类方法来回跳转。

存储环节也有讲究。小规模数据直接存CSV就够了，但数据量超过几万条，就得考虑SQLite或者MongoDB。我习惯先把数据清洗一遍再去重入库，否则后面分析的时候才发现字段格式乱七八糟，返工更耗时。比如日期字段，有的页面返回“2024年3月5日”，有的返回“2024-03-05”，不统一处理的话，排序和筛选全是坑。

最后说点实在的——别指望代码一次写对。我用装饰器给每个请求函数加了重试机制，连续失败三次就切换下一个代理IP。异常处理也要分层次：网络超时重试，反爬触发则降低频率，数据解析失败就跳过当前条目并记录日志。这套流程跑下来，爬虫的健壮性才算及格。

爬虫本质上是跟网站服务器的一场博弈。你这边代码写得再优雅，对方一个前端改动，可能就让你全部失效。所以我的习惯是，核心解析逻辑单独抽成函数，页面结构变了只改那一个函数就行。写代码的时候多留个心眼，别把逻辑写死，后续维护能省下大把时间。