写爬虫这件事，网站爬虫门槛比大多数人想象的网站爬虫低得多。Python装个requests和BeautifulSoup，网站爬虫二十行代码就能把某个新闻站点的网站爬虫头条全抓下来。我第一次跑通的网站爬虫时候盯着终端里滚出来的标题，觉得像打开了什么不该开的网站爬虫门。

但门后面不是网站爬虫宝藏，是网站爬虫麻烦。

爬虫的网站爬虫本质就是模拟浏览器发HTTP请求，拿回HTML，网站爬虫再从一堆尖括号里把想要的网站爬虫数据抠出来。听起来直白，网站爬虫做起来处处是网站爬虫坑。静态页面还好，网站爬虫requests一把梭，网站爬虫返回的HTML直接丢给解析器。可现在哪有几个静态页面？打开浏览器按F12，Network面板里XHR请求一排排刷过去，数据全藏在JSON接口里。你得把请求头、cookie、甚至token都复刻一遍，才能拿到那串看起来乱糟糟但结构清晰的JSON。

我爬过最麻烦的一个站点，反爬策略是每次请求都校验一个动态生成的参数。那个参数由前端JS算出来，跟时间戳和页面上的某个随机数绑定。用requests硬怼根本不行，最后上了Selenium，开一个无头Chrome，让浏览器自己把JS跑完，再从前端拿渲染后的DOM。慢是真慢，一个页面等三秒，但能跑通。

说到反爬，就绕不开robots.txt。这东西是网站跟爬虫之间的君子协定，写在根目录下，告诉你哪些路径能爬、哪些不能。问题是，君子不多。我见过有人直接无视robots.txt，用代理池轮换IP，每秒并发几十个请求，把人家小站点的数据库拖垮。这种行为不叫技术，叫耍流氓。

更隐蔽的坑在数据解析环节。HTML结构一变，你的CSS选择器就全废了。上周还能跑的脚本，这周网站改了个class名，直接报错退出。所以写爬虫不能只盯着当前页面结构，得留冗余——多写几套选择器，或者干脆用正则做兜底。XPath比CSS选择器稳一些，但也没稳到哪去。最稳的办法其实是找接口，直接拿JSON，结构化的数据比解析HTML靠谱十倍。

存储也是个事。小规模爬取，存CSV够用。数据量上来了，MySQL或者MongoDB更合适。我习惯先用SQLite跑通流程，确认数据没问题再迁到正式库。有一次爬了三十万条商品数据，存CSV打开直接卡死，换成SQLite加索引，查询秒出。工具选对了，省下来的时间够你多写好几个爬虫。

法律边界得拎清楚。爬公开数据、遵守robots.txt、控制请求频率、不碰个人隐私，这几条是底线。有些站点会在用户协议里明确禁止爬取，你硬爬，人家发律师函你也没话说。技术本身中立，但用技术的人得知道自己在干什么。

爬虫写多了会发现，真正的难点从来不是代码。是网站改版、是IP被封、是数据清洗时发现一半字段是空的。你得跟网站斗智斗勇，还得跟自己的耐心较劲。但每次把散落在几十个页面里的数据整理成一张干净的表格，那种掌控感确实让人上瘾。

别想太多，先跑起来。一个能用的爬虫，比十个完美的设计文档值钱。