```html

数据爬取就是数据写一段程序，让电脑自动去网页上把你要的数据信息抓回来。比如你想知道北京所有在售二手房的数据价格，手动翻链家、数据贝壳、数据安居客，数据一页页复制粘贴，数据三天也弄不完。数据写个爬虫，数据设定好规则，数据它能在几分钟内把几千条房源信息存进Excel。数据这件事的数据本质是：用代码模拟浏览器访问网页，然后从返回的数据HTML里提取结构化数据。

我最早接触爬虫是数据因为要做一个电影评分分析。豆瓣Top250的数据页面，每页25部电影，共10页。手动记录片名、评分、导演、年份，至少要花两小时。用Python的requests库加BeautifulSoup，二十行代码，十秒跑完。那一刻我意识到，互联网上的公开数据虽然人人可见，但能高效获取的人少之又少。爬虫就是把这个差距拉开的工具。

网页本质上是一堆HTML标签组成的文本。浏览器把这些标签渲染成你看到的图文排版。爬虫不关心排版，它只盯着标签里的内容。比如一个商品价格通常藏在<span class="price">299</span>这样的结构里。你告诉程序：“找到所有class为price的span标签，把里面的数字取出来。”程序就照做。这叫解析。

但网站不是静态的。很多页面用JavaScript动态加载数据。你右键查看源代码，发现商品列表是空的，因为数据是浏览器执行JS后才填充进去的。这时候requests就不够用了，得用Selenium或者Playwright去驱动一个真实浏览器，等页面加载完再抓。我去年爬一个政府公开数据平台，表格数据藏在XHR请求里，直接分析网络请求找到API接口，反而比模拟浏览器快十倍。这行有个说法：能抓接口就别解析HTML，能解析HTML就别开浏览器。

爬虫写起来容易，跑起来麻烦。第一个拦路虎是反爬。网站会检测你的访问频率、User-Agent、IP地址。你一秒发十个请求，服务器直接返回403。解决办法无非是加延时、换请求头、用代理IP池。但更麻烦的是验证码和登录态。有些数据需要登录才能看，你得先模拟登录拿到Cookie，再带着Cookie去爬。我见过最狠的是一个电商网站，价格数字用CSS偏移量隐藏，你抓到的HTML里价格是乱码，得计算CSS位置才能还原。跟网站斗智斗勇，是爬虫工程师的日常。

法律边界也得心里有数。爬公开数据，比如政府统计、论文摘要、商品公开报价，通常没问题。但绕过登录、抓取用户隐私、高频请求导致服务器瘫痪，就可能违反《数据安全法》或《反不正当竞争法》。2021年有个案子，某公司爬取求职网站简历数据被判赔几百万。我的原则是：只爬不登录就能看到的页面，请求频率控制在人工浏览的水平，不碰个人身份信息。

实际工作中，爬虫往往只是数据流水线的第一环。抓下来的原始数据脏得很——HTML实体没转义、日期格式乱七八糟、重复记录一堆。得用pandas清洗，用正则提取，用数据库去重。我爬过某招聘网站的岗位信息，薪资字段有“15k-25k”、“15-25K·13薪”、“面议”三种写法，光统一格式就写了三套正则。爬取本身可能只占整个项目20%的时间，剩下80%都在处理数据。

如果你刚入门，别一上来就爬大网站。找个静态博客、维基百科页面练手。Python的requests + BeautifulSoup足够跑通流程。遇到动态内容再学Selenium。记住三件事：遵守robots.txt，控制请求速度，别把人家服务器搞崩。爬虫是工具，用得好能省下大量重复劳动，用不好就是给自己和别人找麻烦。

```