你如何获得某些网站的信息
我电脑里存着三百多个网页的何获抓取脚本，每天凌晨三点它们会准时醒来，得某的信像一群不知疲倦的网站蜘蛛，把目标网站的何获新内容搬回本地数据库。有人问我怎么获取信息，得某的信我通常回答：用代码问网站要，网站而不是何获用眼睛看。
最蠢的得某的信办法反而是最有效的。直接请求页面，网站解析HTML，何获把正文抽出来。得某的信很多网站连这层防都懒得设——新闻站、网站政府公告、何获学术期刊，得某的信它们巴不得你来看。网站我写个Python脚本，requests库发个GET，BeautifulSoup筛出
标签，十分钟搞定。去年追踪某地疫情数据，我就是这么干的，每天定时抓当地卫健委的通报页面，比刷新闻快两小时。
但有些网站不老实。它们把数据藏在接口里，页面只是空壳。这时候得开浏览器开发者工具，看Network面板，找那个返回JSON的XHR请求。我记着有个电商平台，商品价格藏在加密参数里，前端JS解密后才显示。我花了整个下午逆向它的混淆代码，最后发现密钥藏在某个静态资源的注释里——那感觉像在垃圾堆里翻出了金戒指。
还有更狠的。反爬虫机制会看你的User-Agent、访问频率、Cookie轨迹。我遇到过要求必须带特定Referer的，有检测鼠标移动轨迹的（这招对脚本无效，但对无头浏览器也无效），还有用WebSocket实时推送数据的——那没法抓历史，只能实时监听。对付这些，要么模拟得像真人，要么换个思路。比如某个论坛的帖子列表，我试了各种方法都被封IP，最后发现它的RSS订阅还开着——老掉牙的技术反而成了后门。
最划算的交易是买数据。有些数据服务商提供API，按次收费，贵是贵点，但省心。我替朋友查过企业工商信息，天眼查的API封装得干净利落，传个公司名，返回股东、变更记录、司法风险，结构化程度比我自己爬的高十倍。偶尔也碰上黑市数据，那种带手机号、身份证的，我碰都不碰——技术上能拿到，但法律上会进去。
其实最高级的手段是让别人帮你抓。我在某个Telegram群里放了个机器人，谁想要某个网站的数据，群里@一下，它就去抓，抓完发链接。群里有三百多人，等于我有三百多双眼睛盯着不同网站。有人抓招聘网站的岗位变化，有人抓政府招标公告，还有人专门抓明星后援会的打榜数据。每个人需求不同，抓回来的东西五花八门，但全存在同一个数据库里，时间长了，居然能拼出些单看某网站发现不了的趋势——比如某个行业在招聘网站上活跃度上升，往往意味着它拿到了融资。
获取信息这事，本质是跟网站所有者博弈。他们设卡，你找路；他们封路，你找洞。但记住一点：只要信息对用户可见，就一定有办法抓下来——除非它只在人脑里流转。去年我试过抓某个线下沙龙的参会名单，主办方只发纸质签到表，照片都不让拍。那真没辙，我最后只能混进去自己数人头。