昨天帮朋友抓一个电商网站的取网商品价格，他手动复制了三个小时才弄了五十条。页数我用PHP写了个脚本，取网十分钟搞定一千条，页数还顺手把库存状态也存进了数据库。取网他瞪大眼睛问我怎么做到的页数——其实就三件事：拿网页、解析数据、取网存结果。页数

拿网页这步，取网PHP里最朴素的页数办法就是file_get_contents()。但现实没那么温柔，取网目标网站多半有反爬机制。页数UA检测是取网最基础的，你得伪装成浏览器。页数我习惯用cURL库，取网设置好CURLOPT_USERAGENT，再带上CURLOPT_FOLLOWLOCATION跟随重定向。有些站还要处理cookie，那就得用CURLOPT_COOKIEJAR把会话状态存下来。有一回我抓一个论坛，不带referer直接返回403，加上CURLOPT_REFERER立马通了——对方就是靠这个字段过滤请求的。

拿到HTML源码，下一步是提取想要的内容。正则表达式能干活，但维护起来想骂人。比如抓一个商品价格，你写/(.*?)<\/span>/，今天能用，明天网站改个class名，全部白费。我更推荐DOMDocument配合XPath，虽然代码量多一些，但结构清晰。先new DOMDocument()，再@$dom->loadHTML($html)，注意加@抑制乱码警告，然后new DOMXPath($dom)查询节点。XPath写//div[@class='product']//span[@class='price']，比正则稳得多。缺点是内存占用大，抓几千个大页面可能爆内存，那就得用libxml_use_internal_errors(true)压制错误，再配合unset()及时释放变量。

数据解析完，存起来也讲究。别一条条插入数据库，那效率太低。攒够一百条，用一条INSERT INTO ... VALUES (...),(...),(...)批量插入，速度能快十倍以上。文件存储的话，JSON比CSV更灵活，嵌套结构不用费心转义。我习惯抓完先存成JSON文件做备份，再同步到数据库——万一后续解析逻辑写错了，还能从原始文件重新跑一遍。

这里有个坑必须提：并发请求。PHP默认是同步阻塞的，抓一个页面等一个响应，慢得让人着急。用curl_multi_*系列函数能实现并发，但代码复杂度上来了，要处理超时、重试、错误回调。我试过用Swoole协程，写起来像同步代码，性能却接近异步，但环境要求高，不是所有服务器都装了扩展。新手别一上来就搞并发，先单线程跑通逻辑，再考虑提速。

还有robots.txt这回事。有些站明确禁止爬取，但你用PHP抓数据本身不违法，关键看用途。我给自己定个规矩：只抓公开数据，不碰登录后的内容，控制请求频率在每秒一次以内。上次抓那个电商站，我特意加了usleep(500000)，半秒一个请求，跑了二十分钟，对方服务器一点反应都没有。你要是用多线程猛轰，IP被ban是小事，搞挂别人服务器就是大事了。

说实话，PHP写爬虫不算最优雅的工具，Python的Scrapy框架更成熟。但PHP的优势在于部署简单，一台普通虚拟主机就能跑，而且和现有业务系统对接方便——很多老项目就是LAMP架构，加个爬虫脚本不用换技术栈。我那个朋友后来把脚本集成到他自己的后台里，每天凌晨自动更新价格，再也没手动复制过。

最后提醒一句：抓下来的数据，编码问题别忽略。很多网站用GBK，你解析出来是乱码，mb_convert_encoding($html, 'UTF-8', 'GBK')转一下就好。还有，HTML标签嵌套不规范时，DOMDocument会报错，但数据通常还能解析出来，别被warning吓到。写爬虫就是个不断调试的过程，多抓几次，看到什么样的页面结构都能条件反射般写出对应的XPath了。