我昨天花了三个小时，免费从某个政府公开数据平台抓了四千多条企业注册信息。采集没花一分钱，网站没写一封申请邮件，数据就靠几行Python代码。免费

很多人一听“采集数据”就皱眉，采集觉得那是网站黑客干的事。其实大部分网站的数据数据是半开着的——它们不设防，只是免费没人告诉你怎么拿。比如各类统计年鉴、采集气象记录、网站上市公司公告，数据甚至电商平台的免费公开评论，都是采集可以合法抓取的。

关键在于分清边界。网站robots协议是网站的“请勿打扰”牌，你得先看一眼。但更实际的标准是：登录后才能看的内容别碰，明确写了“禁止抓取”的条款别碰，会造成服务器压力的高频请求别碰。除此之外，公开页面上的公开数据，法律上处于灰色但通常被默许的地带。

拿我抓企业数据举例。目标网站是某省市场监管局的信息公示系统，每家企业有个详情页，URL里带个唯一ID。我只需要循环请求几千个ID，把返回的HTML存下来，再用正则表达式把公司名称、法人、注册资本这些字段抠出来。整个过程像在自动翻一本巨大的电话簿。

真正的技术难点从来不是写代码，而是处理意外。那天下午我遇到三个坑：网站突然弹出一个验证码，某些页面返回的是空模板，还有一次我忘了设置请求间隔，IP被临时封了十分钟。解决办法也粗暴——换用代理池，加随机延时，把失败请求重试三次。你不需要成为网络安全专家，只要具备基本的容错思维。

免费采集的另一个妙用是监控价格变动。我有个朋友做跨境电商，他写了个脚本每天早上八点抓取某平台同类产品的售价，存进Excel。当对手降价超过5%时，他的邮箱会自动收到提醒。这活儿要是人工干，每天得花两小时，现在零成本自动化。

有人会问：网站管理员不生气吗？分情况。小站点无所谓，甚至欢迎你带来流量。大平台有反爬机制，但通常只针对恶意攻击者。真正懂技术的站长明白，爬虫和搜索引擎本质上没什么区别——Google也是一只巨大的爬虫。区别在于你是否遵守规则，以及是否贪心。

最后说个实在的建议。别一上来就盯那些热门大站，先从冷门数据源练手。比如你所在城市的公共图书馆网站，或者某个行业协会的会员名录。这类网站往往技术老旧、无人维护，但数据价值不低。用requests库加BeautifulSoup，半小时就能写个基础采集器。等跑通全流程，再挑战更复杂的站点。

数据这东西，放在服务器上只是字节，抓下来才是资源。免费与否，很多时候只取决于你愿不愿意动手试一下。