如何增加百度收录，源站正常而边缘节点异常时应保留哪些证据

📍 WDQWDWQD987AAAAA:216.73.217.128
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /df5de3051601.html
📄

如何增加百度收录，源站正常而边缘节点异常时应保留哪些证据

先给结论：源站返回正常、边缘节点返回异常时，要保留的不是“百度不收录”的结论，而是一组能证明“同一 URL 在不同网络位置得到不同响应”的证据。最小集合是：同一时刻、同一 URL、不同节点或不同出口的完整响应头、状态码、响应体摘要、DNS 解析结果、抓取时间戳，以及源站自身的访问日志。缺少这组对照，后续无论改 CDN、改 robots.txt 还是提交站点地图，都只能靠猜。

先看一个假设情境：源站 200，边缘 403

假设某站点把旧内容迁到新目录后，旧目录仍保留一部分页面。运维在源站直接请求旧页面，得到 200 和完整 HTML；但通过边缘节点请求同一 URL，得到 403 或一个空壳页面。此时百度蜘蛛若走边缘节点，看到的就是 403，而不是源站的 200。

这个情境的关键不是“谁对谁错”，而是必须先确认百度侧看到的到底是哪一个版本。如果只拿源站的 200 去解释收录变化，证据链是断的。

需要保留的证据清单，按用途分三类

第一类：证明差异存在

这一类的动作是“同时抓两份”。结果决定下一步：如果两份一致，问题不在边缘；如果不一致，才进入第二类。

第二类：证明百度侧看到的是哪一份

这里要特别小心：请求量或抓取量归零，不能单独证明边缘节点处理正确。它还可能来自 URL 已从内链移除、站点地图未更新、robots.txt 误伤，或该目录本身已无入口。只有把日志与响应对照起来，才能区分这些解释。

第三类：证明你做过什么、结果如何

这一类的价值在于：如果变更后边缘返回恢复为 200，但源站日志仍没有蜘蛛请求，说明问题可能已从“边缘拦截”转为“入口不足”，下一步应检查内链和站点地图，而不是继续改边缘规则。

哪些证据看起来有用，其实不能单独下结论

robots.txt 的抓取限制不等于可靠的索引移除。即使你在 robots.txt 里屏蔽了某个目录，已经存在的索引结果未必立即消失，边缘异常也不能靠改 robots.txt 来“修复”。

站点地图不保证收录。把旧目录从站点地图移除，只能减少一条发现路径，不能证明百度不会再通过外链或历史记录访问它。

HTTPS 不保证安全无漏洞或排名。边缘节点异常如果表现为证书错误或协议跳转异常，应作为独立问题记录，不要和收录变化混成一条因果。

另外，不同搜索引擎对同一异常的处理方式须分别核查。本文只讨论百度语境下的证据保留，不把百度的表现直接套到其他引擎。

一个可执行的判断顺序

  1. 固定一个仍然有价值、但当前表现异常的旧 URL，作为观察对象。
  2. 在同一分钟内，分别从源站和一个边缘节点请求该 URL，保存完整响应。
  3. 对照两份响应的状态码与正文。若不一致，记录为“边缘差异”。
  4. 查源站日志中该 URL 的蜘蛛请求，确认百度命中的是哪一份。
  5. 若日志显示命中边缘，修正边缘规则后重复第 2 步；若日志显示从未被抓取，转向检查入口与内链。

这个顺序的作用是避免把“边缘异常”和“收录未增加”直接画等号。只有第 3 步确认差异、第 4 步确认百度侧命中异常版本，边缘修复才是有依据的动作。

退出旧系统时，证据保留的取舍

旧内容、旧系统或旧合作关系退出时，不必对每个 URL 都做完整取证。优先保留三类：仍有搜索价值或外链的页面、仍被内链指向的页面、以及边缘规则明确覆盖的路径。其余页面可以只记录最终状态，不必逐条对照。

取舍的标准是“这个 URL 是否还值得被百度抓取”。如果答案是否定的，保留一份最终状态码和退出时间即可；如果答案是肯定的，就必须保留源站与边缘的对照证据，否则你无法判断退出动作是否误伤了仍有效的页面。

最后提醒一点：证据要带时间戳。没有时间的响应记录，无法判断它对应的是变更前还是变更后，也就无法支撑下一步决策。

图1 图2
nginx