爬虫技术抓取网站数据原理

你打开一个网页，爬虫浏览器向服务器发了一个HTTP请求，技术服务器把HTML文档吐回来，网站浏览器再把它渲染成你看到的数据页面。爬虫干的原理事情，本质上跟浏览器一样——发请求、爬虫收数据。技术区别在于，网站浏览器把数据变成给人看的数据图文，爬虫把数据变成给程序用的原理结构化信息。

拿Python写一个最简单的爬虫爬虫，三行代码就够：用requests.get()拿到页面源码，技术用BeautifulSoup解析HTML，网站然后find_all()把需要的数据标签拎出来。我第一次写爬虫的原理时候，用它抓豆瓣电影Top250的片名和评分，跑完发现少了三部。查了半天，原来是页面分页，每页25条，我只抓了第一页。这种低级错误，新手几乎都会犯一遍。

HTTP请求里有个东西叫User-Agent，它告诉服务器你是什么客户端。浏览器发的是Mozilla/5.0...，Python的requests默认发的是python-requests/2.x。有些网站看到后者直接返回403。解决办法不复杂，在请求头里伪装成浏览器就行。但更狠的网站会检查更多东西——Cookie、Referer、甚至用JavaScript动态生成加密参数。到了这个层面，光靠requests已经不够了，得上Selenium或者Playwright这类工具，直接驱动一个真实浏览器去加载页面。

动态渲染是爬虫遇到的头号麻烦。很多现代网站用React或Vue搭建，HTML源码里根本没有数据，全靠JavaScript在浏览器端异步加载。你用requests拿到的只是一堆<div id="app"></div>。这时候有两种思路：一是用浏览器自动化工具等页面渲染完再提取，二是直接分析XHR请求，找到数据接口，绕过HTML直接拿JSON。第二种效率高得多，但需要打开开发者工具，在Network面板里翻请求。我个人的习惯是先看Network，能走接口就走接口，走不通再上浏览器。

反爬机制是另一个绕不开的话题。频率限制最常见，你短时间内发太多请求，服务器直接封IP。应对方式无非是加延时、用代理池轮换IP。还有验证码，简单的图形验证码可以用OCR识别，复杂的滑动验证码就得靠打码平台或者机器学习模型了。我见过最绝的一个网站，它把关键数据用CSS伪元素::before的content属性来显示，你在HTML里看到的是一串乱码，只有浏览器渲染后才正常。这种就得老老实实解析CSS。

数据拿到之后，清洗往往比抓取更费时间。HTML标签、多余空格、编码问题——中文网站经常遇到GBK和UTF-8混用的情况，requests的encoding属性设错了就是满屏乱码。我一般直接用response.content.decode('utf-8', errors='ignore')，先把内容拿到手再慢慢处理。

法律边界得说清楚。爬公开数据、遵守robots.txt、控制频率不造成服务器负担，这些是基本底线。抓别人用户的隐私数据、绕过付费墙、把抓来的内容直接商用，这些事别干。技术本身没有对错，但用技术的人得知道自己在做什么。

说到底，爬虫就是一个自动化的数据搬运工。它不神秘，也不万能。页面结构一变，昨天还能跑的代码今天就报错。写爬虫的人大部分时间不是在写新代码，而是在修旧代码。

本文地址：http://www.79wt.cn/news/192d9299715.html