网站下载器

我电脑里存着两百多个网页下载器，网站从命令行工具到图形界面，下载从免费开源到付费专业版。网站这癖好始于三年前，下载当时要批量抓取一个摄影论坛的网站帖子，手动保存了四十多个网页后，下载手腕酸得抬不起来。网站那个下午我试了七八款软件，下载终于找到个能用的网站，从此一发不可收拾。下载

网站下载器这东西，网站说白了就是下载给网页做镜像。你给它一个网址，网站它把整个站点的下载HTML、图片、网站CSS、JavaScript全扒下来，存到你硬盘里。听起来简单，做起来全是坑。有些网站用动态加载，内容全靠JavaScript渲染，普通下载器抓回来的就是一副空壳。还有些网站做了防盗链，图片直接给你返回个403错误。最麻烦的是那些嵌套了十几层iframe的页面，下载器要是没处理好，抓回来的网页打开全是白屏。

我用过的工具里，HTTrack算是最老牌的，界面丑得像是上个世纪的产物，但胜在稳定，对付静态网站绰绰有余。后来发现wget这个命令行工具更灵活，配合正则表达式能精准筛选要下载的文件类型。不过要论处理动态网页的能力，还得是Cyotek WebCopy，它对JavaScript渲染的页面支持得不错，虽然偶尔也会漏掉些异步加载的内容。

有个朋友做文物修复的，他要用下载器保存博物馆官网的藏品高清图。那网站每张图片都带着水印，下载器抓下来全是有水印的版本。他折腾了三天，最后发现网站有API接口，直接调接口拿原图比用下载器省事多了。这让我明白个道理——工具终究是死的，关键看你怎么用。

下载器还有个隐秘功能，用来做网站改版前的备份。我认识个做电商运维的，他们公司每年要改两次版，每次改版前都用下载器把整个旧站点完整扒下来存档。去年他们数据库崩了，旧版本的产品图片全丢了，幸好有这份镜像，不然几年的商品数据就真没了。

现在我的下载器收藏夹里，真正常用的也就三四个。有些工具更新得勤快，适配了新浏览器的渲染引擎；有些已经停止维护，遇到新版网站就抓瞎。这行当更新换代太快，去年还好用的工具，今年可能就废了。就像之前流行过一阵的Teleport Pro，现在连HTTPS协议的网站都抓不利索。

前阵子帮人抓一个在线课程网站，那网站的视频是分段加载的，每节课拆成几十个小片段。下载器抓回来的全是碎片文件，根本没法看。后来我写了段脚本，按时间顺序把片段拼接起来，才总算搞定。这事让我觉得，下载器这东西，有时候得配合点编程能力才能玩得转。

说到底，网站下载器就是个数字化的收藏癖工具。有人收藏实体书，有人收藏黑胶唱片，我们这些人收藏网页。网络上的东西太容易消失了，今天还在的页面，明天可能就404。下载器好歹能留个念想，哪怕只是硬盘里的一堆文件，至少证明那个网站曾经存在过。

本文地址：http://www.79wt.cn/news/1897b1299798.html