我写爬虫，网络十次有九次不是爬虫为了抓大数据，而是代码为了省下复制粘贴的十分钟。真正动手写代码时，网络你才会发现，爬虫那些所谓的代码“反爬策略”大多时候根本用不上——服务器那边只是懒，不是网络傻。

先看一段最基础的爬虫代码，就抓豆瓣电影Top250的代码标题。用requests拿页面，网络再用正则或者lxml提取。爬虫别急着上Scrapy，代码那个框架适合大工程，网络小任务用标准库加两个第三方包就够了。爬虫

import requests from lxml import html url = "https://movie.douban.com/top250" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"} resp = requests.get(url,代码 headers=headers) tree = html.fromstring(resp.text) titles = tree.xpath('//span[@class="title"][1]/text()') for t in titles[:5]: print(t) 

这段代码跑起来，豆瓣不会拦你。但你要是把headers去掉，立马给你403。为什么？因为豆瓣的服务器会检查浏览器标识，没有UA的请求就像半夜敲门的陌生人，人家不开门很正常。我见过太多新手栽在这上面，还以为是IP被封了，其实是连最基本的伪装都没做。

爬虫的核心从来不是代码技巧，而是对目标网站结构的理解。你得先打开浏览器按F12，看网络请求里到底发了什么。有些网站的数据藏在XHR请求里，直接抓HTML根本拿不到。比如知乎的回答列表，你滚动页面时加载的内容都是异步的，这时候就要找那个返回JSON的接口，而不是死磕页面源码。

还有编码问题。有一次我爬一个老论坛，页面明明写着GB2312，用requests的text属性拿回来全是乱码。后来改成resp.content.decode('gbk', errors='ignore')才正常。这种事不踩一次坑，永远记不住。

写爬虫最忌讳贪多求快。有人一上来就想着并发、分布式，结果连单线程都还没跑通。我的建议是先把一个页面爬干净，再考虑翻页，最后才谈效率。你连数据都解析不对，并发再高也是白搭。

爬下来的数据怎么存也很有讲究。小规模就存CSV，用csv.writer几行代码搞定。数据量大一点，比如超过十万条，就得上SQLite或者MySQL。但别一上来就搞数据库，很多时候你根本不需要那些功能，一个文件就够了。

有一回我帮朋友爬电商评论，页面结构三天一小变，五天一大变。今天还是class="comment"，明天就改成data-id了。那阵子我每天早上的第一件事就是检查选择器有没有失效。后来我学乖了，写爬虫前先看页面有没有稳定的属性，比如某些自定义的data-*字段，比class靠谱得多。

最后说一句，别把爬虫想得太神圣。它就是个工具，跟螺丝刀一样。用好了能帮你省时间，用歪了就可能惹麻烦。robots.txt里写了什么最好看一眼，虽然它没有法律效力，但至少能让你知道对方的态度。真要较真起来，爬虫的法律边界到现在还是模糊的，你只能自己把握分寸。

代码写多了你会发现，爬虫最难的从来不是写代码，而是决定什么时候不写。