内容摘要：```html easyspider抓动态网页 easyspider抓动态网页 用easyspider抓静态页面，点几下就完事。但网页一上JavaScript，事情就变了。你看着浏览器里数

```html

easyspider抓动态网页

用easyspider抓静态页面，抓动点几下就完事。态网但网页一上JavaScript，抓动事情就变了。态网你看着浏览器里数据一条条刷出来，抓动easyspider里预览却是态网一片空白，或者只有骨架没有肉。抓动这不是态网工具坏了，是抓动它默认拿到的HTML里压根没有那些数据。

动态网页的态网数据怎么来的？两种常见路子。一种是抓动页面加载后，JS再发一个XHR或Fetch请求去后台拿JSON，态网拿到后拼到DOM里。抓动另一种是态网数据直接嵌在HTML里的<script>标签中，比如window.__INITIAL_STATE__这种。抓动easyspider能抓的是服务器返回的原始HTML，它不执行JS，所以第一种情况它看不到后续请求，第二种情况它能看到但得自己从脚本里抠。

我拿一个真实例子说。某招聘网站按城市筛选职位，URL是https://example.com/jobs?city=beijing。用easyspider直接抓这个链接，返回的HTML里职位列表是空的，只有一个<div id="app"></div>。但打开浏览器开发者工具，Network面板里能看到一个请求：https://example.com/api/jobs?city=beijing&page=1，返回的是干净的JSON。这就是典型的前后端分离。easyspider要抓这种，得换思路——别抓页面，直接抓API。

具体操作不复杂。在easyspider里新建任务，URL填那个API地址，不是页面地址。然后选JSON解析模式，或者用正则提取。比如返回{ "data":{ "list":[{ "title":"Python工程师","salary":"20k-35k"}]}}，你就在字段映射里写data.list[].title和data.list[].salary。翻页怎么办？看API请求参数里有没有page或offset，有的话在easyspider里设置URL参数递增就行。注意有些API需要带Referer或User-Agent，在请求头里补上，不然返回403。

另一种情况更隐蔽。数据不在XHR里，而是藏在页面源码的<script>里。比如<script>window.__DATA__ = { "items":[{ "name":"A"},{ "name":"B"}]}</script>。easyspider抓到这个HTML后，你得用正则或XPath把那段JSON抠出来。正则写window\.__DATA__\s*=\s*(\{ .*?\});，然后对捕获组做JSON解析。这招对Vue或React服务端渲染的页面特别管用，因为首屏数据往往就嵌在__INITIAL_STATE__里。

有人会问，那能不能让easyspider执行JS？原生版本不行。它定位是轻量采集，不内置浏览器内核。硬要执行JS，得配合Selenium或Playwright，先渲染再拿HTML，然后把渲染后的源码喂给easyspider。但这样效率低，一个页面等三五秒，几百个页面就崩了。我的建议是优先找API，API找不到再考虑渲染。大部分动态网站的数据接口都有规律，翻页参数、筛选参数，看两遍Network请求就能摸清。

还有个坑：有些API返回的数据是加密的，或者参数带签名。比如sign=md5(city+timestamp+secret)。这种easyspider搞不定，得写代码逆向。遇到这种，要么放弃，要么用Python写个脚本模拟请求，再把结果存成CSV给easyspider做后续处理。工具是死的，思路是活的。

最后提一句，抓动态页面别死磕页面URL。打开开发者工具，切到Network，勾选XHR，刷新页面，看哪个请求返回了你想要的数据。那个请求的URL才是easyspider该填的地址。这招我用了三年，比任何教程都直接。

```