内容摘要：MFC里抓网页数据，说白了就是拿WinInet那套API硬怼HTTP协议。别指望有什么现成的库，微软给你留了个CInternetSession和CHttpFile，剩下的全得自己拼。 我去年帮人做个期

MFC里抓网页数据，集网据说白了就是页数拿WinInet那套API硬怼HTTP协议。别指望有什么现成的集网据库，微软给你留了个CInternetSession和CHttpFile，页数剩下的集网据全得自己拼。

我去年帮人做个期货行情监控工具，页数对方要求实时抓取某财经网站的集网据报价。第一反应是页数用CStdioFile读URL，结果人家网站早就不吃这套了——返回的集网据全是JS渲染后的空壳。后来换CHttpFile发GET请求，页数加个User-Agent伪装成浏览器，集网据勉强能拿到HTML源码。页数可问题又来了，集网据网页结构里数据藏在嵌套表格里，页数正则写到想吐，集网据最后干脆用字符串查找加截断，虽然丑但能用。

关键点在于处理编码。遇到GB2312的页面，你拿到的字节流得先转成宽字符，否则中文全乱码。用MultiByteToWideChar指定CP_ACP还不够，有的页面会声明charset=utf-8，你得先嗅探标签再决定用哪个代码页。这步踩坑最深，曾经有个页面头部没声明编码，我硬猜GBK，结果解析出的数字全错位，差点导致交易策略出问题。

链接超时和重试机制必须自己写。CHttpFile::OpenRequest默认等20秒，遇上对方服务器慢，界面直接卡死。我用WaitForSingleObject配合事件对象，把请求丢到工作线程里，主线程只管进度条。还有重定向问题——有的URL会302跳转两次，CInternetSession::OpenURL能自动跟，但CHttpFile不行，你得手动读ResponseCode再处理Location头。

数据清洗比抓取本身更费时间。网页源码里混着广告脚本和CSS，我习惯先找到数据所在的最外层div的id，然后用AfxExtractSubString按行切，再逐条过滤HTML实体。比如 要替换成空格，标签得剥掉。这活儿没技术含量，但少了它，你存到数据库里的全是垃圾。

最后说句实在话，MFC做这事真不如Python的requests库利索。但碰上老项目必须用MFC维护，这招能顶一阵子。要是对方网站有反爬，加个Cookie处理——从IE缓存里读Cookie丢进请求头，能骗过大多数初级防护。至于更狠的验证码，那别挣扎了，直接换方案。