跳到内容

· SeRyong

新上线的题库站,为什么搜索引擎几乎不收?一份 SEO 排查笔记

我给一个有 7,000 多个模板化页面的中文题库站做了一次只读 SEO 排查:实测到了什么、官方规则怎么说、2023 年 Yandex 泄露能(和不能)说明什么,以及我准备怎么改。

  • SEO
  • 百度
  • 题库站
  • 笔记

这是我自己的排查笔记,不是教程,更不是效果承诺。文中的数字都来自我在 2026-10-28 做的一次只读检查:没有改动站点,没有向任何搜索引擎提交任何东西,也没有用任何站长平台账号。能测的我标了“实测”,测不了的我写“未能测量”,不猜数字。

先说结论

  • 我做的 www.lianti.cn(一个中文职业资格题库站)上线后,sitemap 里有 7,049 个 URL,但在我能测到的搜索引擎里,新页面几乎一个都没被收录。
  • 技术上没有挡爬虫:robots 允许抓取,各家蜘蛛 UA 都拿到 200,页面有 canonical,也能正常访问。问题更像出在页面本身。
  • 我认为最可能的原因是:绝大多数页面是内容很薄、高度模板化的章节页和练习页;解析要登录后才能看;旧地址全 404 没做 301;站外几乎没有任何入口。这是判断,不是定论。
  • 百度和 Google 的收录量我没能测出来(验证码、JS 墙、没有账号)。所以“百度到底收了多少”这个最关键的问题,我现在没有答案。
  • 2023 年的 Yandex 源码泄露只能当旁证:它是 Yandex 的、版本偏旧、大量因子已弃用,迁移到百度全是推断。真正能支撑行动的,是百度、Google、Bing 的官方文档。
  • 行动方向是“少而精”:把页面瘦身,让保留下来的页面真的能回答一个具体问题,内容不用登录就能看,旧地址 301,再慢慢找外部入口并稳定更新。

一、实测:到底有没有被收录

我从国内网络环境和海外分别抓取,对几家引擎查了 site: 和一批关键词。结果如下:

引擎 结果 能说明什么
百度 请求被图形验证码拦住 未能测量,我没有绕过验证码
Bing(国内版、国际版) site: 的结果全是无关站点,没有一条来自本站 实际等于 0 条
搜狗 约 2 条:首页和一张“站点信息”卡片;首页快照停在 2026-08-09,标题还是旧版 约 1 个真实页面,而且是旧快照
360 显示“约 1,610 个网页被收录”,但可见结果全是 2025 年底的旧 /news/… 页面 这是旧站遗留。我抽测的几个旧页面现在返回 404,新站 7,049 条的收录量未知
神马 被云 IP 黑名单拦截 未能测量
Google 返回的页面需要 JS 才能继续 未能测量,要用 Search Console 才能回答

关键词排名我也试了:Bing 国内版 15 个词、每词看前 30 条。但 Bing 对中文拆词很差,15 个词里有 13 个返回的是词典、百科一类无关结果,这些词上“没出现”没有信息量。只有“安全员C证 题库”“叉车证 考试题库”两个词是有意义的,本站都不在前 30 条里。品牌词也搜不到。搜狗和 360 只有第一个词拿到完整结果,其余被限流。

技术层面没有挡爬虫

我用 Baiduspider、bingbot、Googlebot、搜狗、360、神马的 UA 分别请求了一个页面、robots.txt 和 sitemap.xml,全部返回 200,字节数也完全一致,没有按 UA 差异化返回。robots.txt 是 Allow: /,只禁了后台、学员区和接口。HTTP 到 HTTPS、裸域到 www 都是一跳 301。随机抽样 150 个页面,全部 200,canonical 都指向自己,robots meta 是 index, follow,标题和描述两两不重复。

需要注意的限制:我用的是自己的出口 IP,不是真实蜘蛛的 IP。真实 Baiduspider 会不会被服务器的防火墙拦住,我没验证,这要看服务器日志和百度的“抓取诊断”。

二、页面本身的证据

我从 sitemap 里随机抽了 150 个 URL(外加十几个手选页面),解析正文。这是抽样,不是全站爬取,比例外推到全站有误差。

先看 sitemap 的构成(这是全量解析的结果):

页面类型 数量 占比
章节页(每章一页) 5,150 73.1%
练习页(每个题库一个在线练习壳) 876 12.4%
题库页、分类页 984 14.0%
考点页 23 0.3%
首页等入口 3 0.04%

也就是说,85.5% 的 URL(6,026 个)是章节页或练习页。抽样看这两类页面:

  • 练习页基本是同一个页面:一个 JS 答题壳,可见文字是“选择章节开始练习、错题本、模拟考试”和一道体验题。抽样里两两页面的文字相似度(Jaccard)均值约 0.73,最高 0.92;正文中位数约 684 字。
  • 章节页的“独特文字”只有 4 道公开样题和答案(中位数 4 道,最少 1 道),没有解析,页面只写“完整解析在提交作答后返回”。正文中位数约 690 字。
  • 章节名直接来自题库源数据,带着原样杂质,比如标题里出现”【难度】“。
  • “独特”不等于“有价值”:我拿 2 道样题去别处搜,都能找到别的站点原样收录。样本只有 2 道,很小,只能当提示。
  • 标题没有用户真正会搜的词:首页标题是品牌句式;题库页、章节页的标题里没有年份,没有“真题”“答案”“模拟考试”这类词,竞品几乎都带。
  • 页面里免费只能练 20 题,完整题库、错题本、模拟考试要登录。

另外,站名和内容大头也不一致:站名讲的是“职业学习与作业安全培训”,但 sitemap 里数量最多的是公务员、医药卫生、教师资格、学历类题库,安全类合计不到 8%。

好的部分也要说:技术底子是对的(SSR、canonical、唯一标题和描述、HTTPS),首页响应约 0.2 秒;23 篇“考点页”有一句话答案、依据、常考题,是全站最像“能回答具体问题”的页面——但只有 23 篇。

三、官方规则怎么说

下面只列我读过的官方文档,日期是文档标注的日期。引号里是我从文档里摘的原文,其余是我的转述,具体措辞请以原页面为准。

百度

  • 《百度搜索的工作原理》(2023-12-21):索引库是分层的,低级库里的页面展现机会很小。未被索引的常见原因包括“重复内容的网页:互联网上已有的内容,百度没有必要再索引”和“主体内容空短的网页”。文档还强调:抓了多少不重要,建了多少库才重要。
  • 《百度搜索违规低质页面问题说明》(2023-08-29):内容重复或拼接、题文不符、资源空短、死链、标题重复、首屏折叠、加载时间长等,都会影响站点资源的索引与展现。
  • 《百度搜索优质内容解读》(2023-11-20):把“减少不必要的阅读权限设置”作为一条建议。文中举的反面例子正好是答题类内容:“在阅读一些答题类、论坛类、文档阅读类内容的时候,常常会出现’需求登录看到答案’……建议在不影响创作者版权的前提下,放开阅读权限”。另一句也很贴切:“内容提倡不仅告诉答案,还需告诉原因”。
  • 《劲风算法官方解读》(2020-03-05):针对题文不符、基于站内搜索大量生成的静态搜索结果页、空短或失效的聚合页等。
  • 《飓风算法 3.0 解读》(2019-08-22):批量构造页面、使用相同排版、内容相似度较高的做法可能被判定为站群类问题。
  • 《百度搜索优质内容指南》(2020-04-01):站点级的优质信号包括有备案、领域专注、保持更新。
  • 《搜索优化常见疑难杂症》:页面模板一样本身不算重复;“如果页面内容不一样且是优质的内容,则不会被判为重复页面”。也就是说,问题不是“用了模板”,而是“模板页里没有独立的、有价值的内容”。
  • 链接推送:百度官方文档说得很直白——普通收录推送“可加快爬虫抓取速度,无法解决网站内容是否收录问题”,也“不保证一定能够收录”;如果提交的资源里有大量重复、低质内容,平台会降低配额。2024-04-26 起“快速收录”已下线。

关于“新站要等多久”:我没有找到百度官方给出的固定“沙盒期”。官方只说收录有周期,让新站先检查备案、再看内容是否丰富优质。“4 到 8 周”这个说法只见于百度智能云的产品文档,是经验值,我把它记作“未证实”。

另外我找到的公开规则里,没有看到百度对 AI 生成内容的专门规定;按我读到的,仍然按质量标准评估。

Google

Google 的 spam policies 里有一条 scaled content abuse:为操纵排名而批量生成页面、对读者几乎没有价值,不论是 AI、人工还是混合方式制作。Search Central 在 2024-03-05 前后公布了相关更新。core updates 文档提到核心更新会评估整个站点。对国内题库站来说,Google 的优先级不高,而且我没能测到 Google 的收录情况,所以这里只作旁证。

Bing

Bing Webmaster 的帮助文档在“为什么我的站点没有被索引”里列了常见原因:新站需要时间、没有任何指向你站点的链接、内容重复或缺乏深度。文档的建议是少量高质量站点的链接,好过大量随机站点的链接。Bing 官方博客(2025-12)也谈到,重复和近重复 URL 不一定单独伤害站点,但会稀释信号、浪费抓取预算、延缓发现和收录。IndexNow 的参与引擎里有 Bing、Yandex 等,百度、搜狗、360、Google 不在官方参与列表,所以它对国内几家没用。

四、2023 年 Yandex 泄露:能说明什么,不能说明什么

2023 年 1 月,俄罗斯搜索引擎 Yandex 的内部代码被泄露。SEO 圈随后出现了大量“排名因子清单”类文章。我想看看它能不能给我的问题提供线索。

我是怎么读的:只读了公开的二手分析(主要是 Search Engine Land、Search Engine Journal 上的文章),没有下载、打开或使用任何泄露的代码,也不会在这里链接到它。

先把边界讲清楚:

  1. 这是 Yandex 的,不是百度的,也不是 Google 的。
  2. Yandex 自己的说法是,泄露的是“过时版本”,并含有仅用于内部验证的测试算法。
  3. 因子数字被广泛误传。流传最广的“1,922 个因子”只是其中一个文件里的数量;按分析者的说法整个代码库里有更多,其中相当大一部分(约 64%)被标为 unused 或 deprecated,也就是大多数并不在用。
  4. 文章里提到的“权重”,据分析者说只是进入机器学习重排之前的初始系数,不是最终权重。
  5. 代码里大量被引用的文件没有泄露,注释很少;因子描述是从俄语翻译的,分析者自己也承认有“不太说得通”的。

多篇分析比较一致的方向(仍然是 Yandex 的,且只是“代码里有”,不等于“线上现在用、占多大比例”):

  • 重复内容会被降权;
  • 广告过多会被惩罚;
  • 外链里商业锚文本占比过高会被惩罚;
  • 从首页更容易到达的页面更受重视,孤儿页(站内没有链接指向)不利;
  • 服务器错误会有影响;
  • 有大量用户行为类因子,但分析者指出其中不少已弃用。

明显不能照搬的: 域名相关的因子(比如 .com 加分)、对特定站点的人工加权、meta keywords、依赖 Yandex 自家统计工具和浏览器工具栏的“直接访问占比”类因子。我没有理由相信这些对百度成立。

对百度,我手上有什么证据? 说实话,有价值的不是泄露,而是百度自己的东西:

  • 百度官方的惊雷算法公告(2021-01-12)说明了“伪造用户行为提升排序”会被打击,这间接说明点击类行为信号是被当作有价值的信号;
  • 百度研究人员发表的论文(比如 NeurIPS 2022 的 Baidu-ULTR 数据集,KDD 2025 的 FULTR)里使用了点击、停留时间等用户反馈;
  • 但 SIGIR 2024 的一篇复现研究提醒:在那个数据集上,标准的点击去偏学习并没有稳定提升排序,未调参的 BM25 在专家标注上比所有点击训练的模型都好。也就是说,不要把点击和停留神化,文本相关性这块基础仍然关键。

论文不等于线上排序怎么配权重,我没有看到百度官方对“停留时间如何影响排名”的明文说法。所以“让用户点进来后不立刻退回搜索页”是个合理的目标,但我没有证据说明它值多少。

我没找到的:我原本想引用 Google 的 Martin Splitt 或 Rand Fishkin 对 Yandex 泄露的评论,搜了没找到针对这次泄露的版本——能找到的是 Google 自己 2024 年的另一次文档泄露的评论,那是另一件事,我没有混在一起用。

一句话总结:泄露分析里和我的问题重合的部分(重复内容、薄页、可达性),百度官方文档本身就写得更直接。所以我把它当旁证,不当依据。

五、我的判断:为什么没有流量

按我自己认为的证据强度排序,这是判断,不是定论:

  1. 先是收录问题,后才是排名问题。 我能测到的几家里,新页面几乎都没进库。百度和 Google 未知。
  2. 页面类型很难进入“优质库”。 85.5% 的 URL 是薄且模板化的章节页与练习页,而且独特文字是别处已有的公开题。这正好落在官方“重复内容”“主体内容空短”的描述里。
  3. 解析需要登录才能看。 搜“某题答案”的用户看不到解析,而百度官方明确把“登录看答案”当反面例子。
  4. 体系多次重构,旧地址全 404 且没做 301。 旧站页面还留在 360 的索引里。我推测百度和搜狗里也有旧快照,但百度我没测。
  5. 站外几乎没有信号。 用品牌词和域名检索,没有发现有内容价值的外部链接或提及。
  6. 标题里没有用户真正会搜的词。
  7. 领域不聚焦(见上文站名与内容的不一致)。
  8. 新站需要时间。 官方没有给出固定期限,这一条我不下具体周数的结论。

页面载入速度、缓存头这些我也看了,在我这次测到的数据里属于次要问题,不是主因。

另外有一个小案例:我另一个工具站(aigaixie.com)在 Bing Webmaster 的 AI Performance 报告里,被引用的次数高度集中在少数几个能直接完成一个具体任务的页面上,而约 130 个批量生成的小众页每页只有个位数。这是单个站点、我没有独立核实的数据,而且那是工具站不是题库站,只能当作方向参考,不能理解成“Bing 能带来大量流量”。

六、行动清单

下面是我打算做的事,还没有结果。我不会拿它承诺任何收录或流量。

  1. 瘦身。 不再把 7,000 个页面当成一个整体推给搜索引擎。先让约 900 个题库页加上考点页成为主力;章节页和练习页要么并入有实质内容的题库页,要么 noindex,要么移出 sitemap。别一股脑把 6,000 个薄页提交给百度,官方说过低质提交会降配额。
  2. 让核心页面真的回答一个具体问题。 每个保留页要有题干之外的独特内容:考试介绍、题型题量、流程、带解析的样题、易错点。标题要写清用户会搜的词(证书全称、年份、“题库”“模拟练习”等),但要和页面实际内容相符,不能题文不符。考点页从 23 篇慢慢扩,宁可少,不要批量灌水。
  3. 解析和核心内容不用登录就能看到。 登录可以用来保存进度、错题本和模拟考试,但每个会被收录的页面,至少要有一段完整、公开的解析。
  4. 旧地址做 301。 把旧的 /news/*、/bank-center/* 301 到最相近的新页面;确实没有对应页面的,保持 404,再通过站长平台提交死链。
  5. 找外部入口。 先验证站点所有权,再看站长平台里的抓取诊断。外部内容我研究过国内主要内容平台的规则:多数平台明确禁止在正文里放推广链接(比如企鹅号规范、掘金社区规范、开源中国规则里都有相关条款,其中一些页面的日期比较旧),也禁止用变体、二维码绕规则。所以现实的收益主要是品牌曝光和少量合规的官网字段,不是批量外链。我不会买外链,不会群发,也不会刷点击——惊雷算法就是打这些的。
  6. 稳定更新。 有真实变化(大纲、政策、年份)时更新对应页面并写明日期,不批量改日期。节奏上每周少量、有实质的更新,优于一次性批量;这个节奏是我自己的经验建议,没有官方依据。
  7. 用数据看有没有用。 先验证百度和 Bing、Google 的站长工具,记录基线,每周看一次索引量和抓取异常。Bing Webmaster 能提供搜索性能和 AI 引用数据,可以当“内容实验”的测量仪器,但它在国内的流量占比我没有数据。

七、我没能测量的

  • 百度的 site: 收录量和关键词排名(验证码);
  • Google 的收录和 Search Console 数据(JS 墙,没有账号);
  • 神马的收录(云 IP 被拦截);
  • 搜狗和 360 上大部分关键词的排名(被限流);
  • 真实蜘蛛的 IP 是否被服务器防火墙拦截,以及服务器日志;
  • 竞品的真实流量构成和关键词数(第三方工具要登录,公开数据口径不明);
  • 本站的外链数量、域名年龄;
  • 全站 7,049 个页面的内容(我只抽样了 165 页);
  • “新站考察期”到底多长:官方没说,我没有测。

所以上面的“原因”排序是我的判断。真正能确认的,只有拿到站长平台里的数据以后。

参考来源

百度搜索资源平台(ziyuan.baidu.com,文档标注日期)

Google 与 Bing

Yandex 泄露的公开二手分析(仅作旁证)

百度相关研究论文(说明研究里用了什么信号,不等于线上排序的实际权重)

最后更新:2026-10-28。如果之后拿到站长平台的数据,我会回来更新这篇笔记。