先给结论:混入草稿后,不要从“哪些页面被收录了”倒推,而要从发布动作本身圈定范围。把本次发布的入口、模板、站点地图和链接出口四条线各自核对一遍,就能把影响压到可管理的清单内。下面用一个反常现象切入,给出两种解释和可区分的证据。
一次常规发布后,站点地图里新增的URL数量比预期少,但服务器日志里来自搜索爬虫的请求反而上升。直觉会认为“少提交就该少抓取”,于是有人立刻回滚发布,结果第二天抓取量又掉下去,问题依旧没定位。这种矛盾恰恰说明:草稿混入改变的不是数量,而是入口结构。
草稿通常带着未完成的标题、缺省的canonical、指向草稿自身的内部链接,甚至临时占用了正式页面的URL。它一旦进入发布产物,爬虫可能沿着这些线索反复访问,而正式页面因为被草稿抢占了链接位置,反而提交不足。所以要圈定的不是“多了几个页面”,而是“哪些正式页面被草稿替换或分流了”。
解释一:草稿作为独立URL被抓取。它内容不完整,但可访问、可索引,爬虫把它当作新页面处理,于是抓取请求增加,而站点地图里没有它,形成提交与抓取的错位。
解释二:草稿占用了正式页面的URL或链接入口。正式页仍在,但内部链接指向草稿,或canonical指向草稿,导致正式页被视为重复或次要版本。这时抓取增加是因为爬虫在反复确认两个版本的差异,提交减少是因为站点地图生成时排除了冲突URL。
两种解释都成立,但处理动作完全不同:前者只需移除草稿并确认返回状态;后者需要恢复正式页的链接和canonical,再重新提交。把它们混为一谈,就会出现“删了草稿但排名没回来”的误判。
不要依赖单一指标。下面这组核对可以同时覆盖两种解释,且每一项都能在发布前后各取一次快照。
把结果记成两列:一列是“草稿可访问且被链接”,一列是“正式页URL或canonical被改写”。两列都为空,说明影响可能只是发布噪声;任意一列为真,就按对应解释处理。
假设某站点一次发布后,产品目录下新增了20个URL,其中5个是草稿路径,且这5个草稿被首页推荐位链接。核对发现正式产品页的canonical仍指向自身,没有被改写。此时应先把首页推荐位里的草稿链接改回正式页,并对草稿URL返回410,然后重新生成站点地图。这一步动作的结果是:内部链接出口恢复,草稿不再获得新的抓取入口。
接下来观察日志中草稿路径的请求是否在数天内衰减。如果衰减,说明影响主要是抓取入口,正式页未受结构性伤害;如果不衰减,或正式页的抓取同步下降,说明草稿可能已进入索引并参与重复判定,需要进一步核对索引状态与canonical信号,再决定是否提交正式页的更新。
这里要注意,改动前后的比较不能只看抓取量。季节、搜索需求变化和数据采集差异都会让同一指标波动。抓取量归零也不等于处理正确,它可能只是爬虫调度周期变化或日志采样差异。判断依据应是“草稿入口是否被切断”和“正式页canonical是否恢复”,而不是某个单一数字的涨跌。
优先恢复正式页的链接出口和canonical,再处理草稿URL本身。原因是链接出口决定爬虫走哪条路,canonical决定权重归给谁;这两项恢复后,草稿即使短暂可访问,也不会持续分流。最后再清理草稿URL的返回状态,并重新生成站点地图。每一步都保留发布前后的URL快照,便于下一次出现类似混入时直接比对,而不是重新猜测影响范围。