php爬虫教程

写爬虫不需要什么高深理论，虫教程核心就一句话：用代码模拟浏览器去请求网页，虫教程再把返回的虫教程HTML拆成你要的数据。就这么简单。虫教程

拿PHP来说，虫教程最粗暴的虫教程办法是file_get_contents()。比如你有个目标网址：

$html = file_get_contents('https://example.com');

一行代码，虫教程整个页面源码就到手了。虫教程但问题来了——很多网站会检查User-Agent，虫教程你空着手去访问，虫教程服务器直接甩你一个403。虫教程这时候得伪装一下，虫教程用cURL带上浏览器标识：

$ch = curl_init(); curl_setopt($ch,虫教程 CURLOPT_URL, 'https://example.com'); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $html = curl_exec($ch); curl_close($ch);

这才像个正经请求。别嫌代码啰嗦，虫教程后面要加cookie、虫教程代理、超时设置，全在这个基础上堆。

拿到HTML之后，怎么抽数据？正则表达式是入门选手的最爱，但也是噩梦的开始。比如你想抓页面里所有商品标题：

preg_match_all('/
(.*?)<\/h2>/', $html, $matches); print_r($matches[1]);

看着挺顺，可一旦HTML结构稍微变一下，比如多了个换行符或者属性顺序变了，正则直接报废。我见过太多人花两小时调一个正则，最后发现是标签里多了个空格。要是目标网站结构复杂，别死磕正则，用DOMDocument配合XPath才是正道：

$doc = new DOMDocument(); @$doc->loadHTML($html); $xpath = new DOMXPath($doc); $nodes = $xpath->query('//h2[contains(@class, "title")]'); foreach ($nodes as $node) {  echo $node->textContent . "\n"; }

XPath的容错能力强得多，而且写起来像SQL一样直观——查询所有class包含title的h2标签，就上面那行。当然，前提是你得懂点XPath语法，但这玩意儿比正则简单十倍，半小时就能上手。

说到这里，必须泼盆冷水。爬虫最麻烦的从来不是解析HTML，而是反爬。有些网站会检测请求频率，你一秒发十个请求，IP直接被封。这时候得加sleep()随机延迟：

sleep(rand(1, 3)); // 随机等1到3秒

更狠的网站会验证Cookie、JS渲染内容，甚至用验证码拦你。遇到这种，靠PHP裸写就吃力了。我的建议是：能用API就别爬，能找开放数据就别硬刚。爬虫是最后手段，不是第一选择。

还有编码问题，经常坑新手。目标网站是GBK编码，你直接用UTF-8去解析，出来的全是乱码。PHP里用mb_convert_encoding()转一下就行：

$html = mb_convert_encoding($html, 'UTF-8', 'GBK');

这行代码能救你半条命。

最后说点实在的。写爬虫前，先robots.txt看一眼目标网站允不允许抓。不是道德绑架——有些站长真的会起诉你。另外，抓下来的数据别乱存，个人信息保护法不是闹着玩的。我见过有人抓了十万条用户手机号，最后蹲了几个月。

工具方面，别自己造轮子。PHP有现成的爬虫库，比如Goutte或者Symfony的BrowserKit，封装了请求、解析、模拟点击这些操作。但说实话，小项目用cURL加DOMDocument足够，大项目直接上Python的Scrapy更省心。PHP的强项在web生态，不是爬虫。

对了，调试的时候别直接拿生产环境试。本地搭个Apache加PHP，先用一个你自己建的测试页面练手，把选择器调对了再上真实网站。不然代码写错，可能把对方服务器搞崩，那就尴尬了。

爬虫这活儿，七分在请求，三分在解析。请求做好了，后面顺风顺水；请求没做好，解析写得再漂亮也是白搭。多花时间研究HTTP头、cookie、session机制，比研究正则技巧有用得多。

(责任编辑：探索)