一个页面被搜索引擎抓取，网站不等于它有机会出现在搜索结果里。搜索上周帮朋友看他的引擎友好工具站，首页收录正常，性分析报但核心产品页在百度搜全标题都找不到。网站查了日志，搜索百度蜘蛛每天来爬，引擎友好可抓取频次低得可怜，性分析报平均每个页面要等十几天才被重新访问一次。网站问题出在服务器响应上——TTFB经常飙到2秒以上，搜索蜘蛛爬到一半就主动断开。引擎友好搜索引擎的性分析报耐心，比我们想象的网站要差得多。

网站对搜索引擎的搜索友好性，第一道门槛就是引擎友好可访问性。robots.txt写错一个斜杠，整站都可能被拒之门外。我见过最离谱的案例，某电商网站为了防爬虫，在robots里把`Disallow: /`写成了`Disallow: / `（末尾多个空格），结果百度直接放弃抓取，流量腰斩。还有更隐蔽的：CDN节点对蜘蛛IP段做了限速，人访问正常，蜘蛛一来就返回503。这种问题在监控图表上完全看不出来，只有去服务器日志里翻，才能发现蜘蛛的请求全是红色状态码。

URL结构是第二个容易被忽视的点。动态参数超过三个，蜘蛛就容易陷入死循环。有个做招聘的客户，职位详情页URL长这样：`/job/detail?id=123&from=list&city=bj&page=2&ref=home`。百度爬了两个月，收录量始终停在几百条，而实际职位有十几万个。后来改成伪静态`/job/123.html`，两周内收录涨到八万。不是说动态URL一定不行，但参数越多，蜘蛛判断内容唯一性的成本就越高，它干脆就不爬了。

内容层面的友好性，跟很多人想的不一样。原创不是唯一标准，关键是“可索引的独特性”。你从维基百科复制一段定义，再配三张产品图，蜘蛛会认为这个页面没有独立价值。但如果你把那段定义拆成表格，加上自己的测试数据、用户问答、对比截图，哪怕核心信息来自别处，页面也能获得排名。我观察过一批工具类网站，排名好的页面往往不是字数最多的，而是结构化数据最清晰的——FAQ、HowTo、Product标记齐全，蜘蛛读完就知道这页在讲什么，该给什么关键词。

内链的权重分配经常被做反。很多网站把首页链到所有栏目，栏目链到所有文章，文章底部再链回首页，形成一个巨大的扁平网络。蜘蛛爬是爬了，但权重被稀释得厉害。更合理的做法是：首页只链向最重要的三个栏目，栏目页链向子栏目和精选文章，文章页只链向同主题的两三篇深度内容。这样蜘蛛沿着链接走，每一步都能感受到“这页很重要”。有个做机械配件的站，调整内链后，核心产品词排名从第五页跳到第一页，外链一条没加。

移动端适配不是响应式就完事。百度蜘蛛现在优先抓移动版，如果你的移动页面用JS渲染主要内容，而JS又被robots屏蔽，蜘蛛看到的就是空白。用`curl`模拟百度蜘蛛抓一下移动版URL，返回的HTML里有没有正文，一眼就能看出来。很多站长用浏览器开发者工具看，以为内容渲染出来了，其实那是本地JS执行后的结果，蜘蛛根本不执行那套逻辑。

最后说个反常识的：网站速度对排名的影响，被高估了，也被低估了。高估的是，你从3秒优化到1.5秒，排名不会立刻变化。低估的是，如果速度慢到蜘蛛频繁超时，那就是抓取预算的灾难。抓取预算有限，蜘蛛会把时间花在响应快的站上。一个日抓十万次的站，如果平均响应从800ms降到300ms，有效抓取量能翻一倍。这比发一百条外链都管用。

搜索引擎友好性，说到底就是别给蜘蛛添堵。它想爬的时候能爬通，爬进来能看懂，看懂后觉得这页值得存。三件事做到位，剩下的交给时间。