爬虫代码这东西，网页看着唬人，代码拆开其实就三板斧：发请求、网页解响应、代码存数据。网页我去年帮朋友抓一个二手书交易平台的代码库存，他嫌手动刷新太蠢，网页我花二十分钟写了三十行Python，代码效果立竿见影——他那边刚点完咖啡，网页这边三千条书目已经躺进Excel里了。代码

别急着背框架，网页先理解一个事实：网页本质上是代码文本文件。你浏览器能看到的网页，无非是代码服务器把HTML字符串吐给你。爬虫干的网页事，就是模拟浏览器去要这份文本，然后自己挑有用的部分抠出来。所以核心就一个请求库加一个解析库的事，requests负责要，BeautifulSoup负责挑。

写第一版代码时，我常犯的错是忽略headers。有些网站看你不带浏览器标识，直接甩个403。后来学乖了，每次请求都伪装成Chrome，还得带上Referer——就像进小区得刷门禁，保安看你空手进可能拦，但你要是拎着快递箱，他反而帮你开门。

解析那步最考验耐心。HTML标签层层嵌套，像洋葱剥不完。我习惯先打印出响应文本，肉眼扫一遍结构。有一次抓动态加载的评论，源码里死活找不到评论内容，折腾半小时才明白——人家数据是JS异步请求接口拿的，得直接去调那个隐藏的JSON接口。所以遇到页面空白，别怀疑代码，先按F12看网络请求，找真正的数据源。

存数据也别太讲究。CSV够用，SQLite也行。但有个坑得提醒：编码问题。中文乱码十有八九是编码没指定，记得在请求头里加Accept-Encoding: gzip，拿到响应后response.encoding = 'utf-8'。这个细节我栽过两次，一次抓豆瓣书评，一次抓天气数据，全是满屏的“锟斤拷”。

写爬虫最爽的瞬间不是跑通，而是看见循环里打印出第100条数据时，那种批量获取的快感。但别贪心，加个time.sleep(1)，既礼貌又能防止IP被封。我见过一个同事，没加延时抓了五千页，结果人家机房防火墙直接把他公司整个IP段拉黑了，那场面，行政小姐姐都来问是不是在攻击服务器。

代码量真不多。核心逻辑大概这样：

import requests from bs4 import BeautifulSoup resp = requests.get(url, headers=headers) soup = BeautifulSoup(resp.text, 'html.parser') for item in soup.select('.book-item'): title = item.find('h2').text.strip() price = item.find('span', class_='price').text print(title, price) 

七行，够了。剩下的都是对特定页面的调参。有人问我学爬虫要不要先啃HTTP协议，我说不用，你只要知道GET和POST的区别，知道状态码200代表成功、404代表没这页，就能跑起来了。真遇到反爬，再临时查Cookie和Session怎么维持，边写边学，比看十篇教程都管用。

最后说个反直觉的事：写爬虫最难的不是代码，是判断什么该爬。我后来帮朋友抓数据前，都会先去查网站的robots.txt，尊重一下人家的规则。毕竟代码能突破技术限制，但突破不了使用者的分寸感——这行字，比任何语法都重要。