内容摘要：爬虫全站扫描，说白了就是拿程序把整个网站从头到尾翻个底朝天。这事儿我干过无数次，每次都有新感觉——不是刺激，是心惊肉跳。 三年前接了个活儿，帮一家电商公司做安全评估。对方CTO拍着胸脯说他们站子固若金

爬虫全站扫描，爬虫说白了就是全站拿程序把整个网站从头到尾翻个底朝天。这事儿我干过无数次，扫描每次都有新感觉——不是爬虫刺激，是全站心惊肉跳。

三年前接了个活儿，扫描帮一家电商公司做安全评估。爬虫对方CTO拍着胸脯说他们站子固若金汤，全站WAF、扫描CDN、爬虫双因子认证全配齐了。全站我笑了笑，扫描没说话。爬虫当天晚上，全站我写了个简单的扫描Python脚本，从他们的robots.txt开始爬。robots.txt这东西，表面上是给搜索引擎看的规矩，实际上等于把站点的目录结构主动递到你手里。爬虫顺着那条路走，第一层就发现了个/admin/login，密码还是admin123。全站扫描都不用跑完，光这一个入口就够喝一壶了。

但真正的全站扫描，远不是翻几个链接那么简单。你得考虑URL去重、动态渲染、分页逻辑、表单提交。有些站点藏着几万条URL，靠递归爬会卡死，你得用广度优先，还得维护一个待抓取队列。更麻烦的是那些SPA应用，页面全靠JavaScript渲染，普通爬虫抓下来就是一堆空壳HTML。这时候得上无头浏览器，模拟真实用户操作，等两秒让脚本跑完再抓快照。慢，但没办法。

印象最深的一次，是帮一个政府信息公开平台做扫描。表面看只有首页和几个子栏目，但我从网站地图文件里挖出个隐藏的搜索接口。那个接口没做权限校验，直接暴露了后台数据库的查询逻辑。我试着往参数里塞了个单引号，报错信息直接把SQL语句全吐出来了。那一刻我后背发凉——不是兴奋，是后怕。这种漏洞要是被别有用心的人扫到，整个库的数据都得裸奔。

有人问，全站扫描和搜索引擎爬虫有啥区别？区别大了去了。搜索引擎讲究礼貌，遵守robots协议，抓取频率有节制。安全扫描员呢？我们就是故意去撞那些不该碰的地方——测试目录、备份文件、临时上传点、测试环境子域名。有时候扫描结果比预期更“精彩”：某个开发把数据库备份文件直接丢在根目录，文件名就叫bak.zip，密码都没有。这种事儿见得多了，你会怀疑人类的懒惰到底有没有下限。

当然，扫描器不是万能的。它跑得再欢，也判断不了业务逻辑的漏洞。比如一个转账接口，爬虫能发现它没做CSRF防护，但发现不了“负金额转账”这种纯业务层面的漏洞。所以真正专业的全站扫描，后半程得靠人肉分析。我通常的做法是，让爬虫先把数据抓回来，生成完整的URL清单和参数列表，再重点挑那些带id、page、sort这类关键词的接口，手动改参数测试越权。

写扫描脚本这事，本身也是个修炼。一开始我用现成的工具，比如Burp Suite或AWVS，但那些玩意儿对国内一些奇葩框架兼容性差，误报率高得吓人。后来干脆自己写，requests加BeautifulSoup打底，遇到动态页面就切Selenium。代码越写越顺手，扫描速度也从最初的每分钟几百个URL，提到现在能扛住每分钟上万次请求。但速度上去了，反而更谨慎了——扫得太猛，容易把目标站点打崩，那就尴尬了。有一次我压测一个新闻网站，没控制好并发，直接把人家的服务器CPU跑满了，运维电话打过来问是不是在攻击。我只好赔着笑解释，说是在做安全测试，对方差点骂娘。

全站扫描这事儿，说到底就是一场猫鼠游戏。你扫得越深，挖出来的东西就越脏。有些开发者觉得站点小，没人看得上，懒得做防护。但扫描器不会这么想，它一视同仁，把每个角落都翻个遍。你会发现，越是没人维护的老站，漏洞越多——PHP版本停留在5.6，数据库连密码都没设，后台管理页面裸奔在公网上。每次扫完这种站点，我都想劝甲方直接关站重做，别修了，省得浪费时间。

写到这儿，我想起上周扫的一个博客站。博主很用心，写了五年技术文章，但服务器上还挂着个phpMyAdmin，端口直接对外开放。我扫到那玩意儿的时候，心里五味杂陈——这站子内容挺优质，但安全意识约等于零。我给他发了封邮件提醒，对方回了个“谢谢”，然后就没下文了。大概他觉得，一个写代码的博客站，谁会来攻击呢？

你看，全站扫描从来不缺素材。每扫一次，都是一次对人性侥幸心理的检测。