去年十一月，破解我在一个论坛上看到有人发帖，小说说某个小说网站把整本书拆成三百多章，网站每章单独收费，破解读完一本要花两百多块。小说底下跟帖的网站人骂声一片，但没人真去做什么。破解我盯着屏幕看了半天，小说脑子里冒出一个念头：这网站的网站章节页面到底是怎么加载的？

打开浏览器开发者工具，刷新页面。破解Network标签里跳出一堆请求，小说其中有个XHR请求返回的网站是一段JSON，里面整整齐齐放着章节标题、破解正文内容、小说上一章下一章的网站ID。原来正文根本没藏在HTML里，是JS拿到数据后再塞进页面的。这意味着只要拿到那个API地址，就能直接抓取，不用解析DOM。

我复制了请求URL，在Postman里试了一下。带上Cookie和User-Agent，返回200。去掉Cookie，返回401。看来鉴权靠的是登录态。但有意思的是，这个API没有做频率限制，也没有签名校验。换句话说，只要有一个有效账号，就能把整站的书都爬下来。

接下来就简单了。写个Python脚本，先模拟登录拿到Cookie，然后遍历书籍ID和章节ID，把返回的JSON存到本地。每请求一次间隔0.5秒，避免给服务器造成压力。跑了大概两个小时，抓了十几本书，每本平均两千章，总共三万多章。存下来一看，纯文本格式，连排版都省了。

但这里有个问题：这些内容受版权保护。我抓下来自己看没问题，一旦传播就违法。所以我在脚本里加了个限制，只抓取已完结且作者声明允许免费传播的作品。大部分网站的用户协议里都写着禁止爬虫，但技术上防不住，法律上却站得住脚。这是个灰色地带，我不想踩过界。

后来我把这个方法告诉了那个发帖的人。他试了之后说，其实不用模拟登录，有些网站把章节内容直接放在HTML的script标签里，用正则就能提取。我回去翻了几个站，确实如此。有的把正文Base64编码，有的用自定义字体映射，还有的干脆把文字转成图片。手段五花八门，但核心逻辑都一样：前端总得拿到明文才能渲染，只要拿到渲染前的数据，就能绕过所有花招。

有个做安全的朋友跟我说，这类网站真正的防护不在前端，而在后端。比如限制单账号的访问频率、对API请求做签名、把章节内容分片加密。但大部分小说站舍不得在技术上投入，宁可花钱买版权也不愿意升级架构。结果就是，懂点技术的人随便写个脚本就能把整站搬空。

我最后没继续折腾这个。抓下来的书看了几本，排版太乱，错别字也多，不如直接买正版。但那次经历让我明白一件事：所谓的技术壁垒，很多时候只是没人愿意花时间去拆。一旦有人开了头，后面就是复制粘贴的事。