先给结论:当筛选、排序、分页、UTM等参数能任意组合时,不存在一份“完整有效地址清单”。有效集合只能被定义为规则加边界:哪些参数参与内容识别,哪些只影响展示,哪些必须忽略,以及每个维度允许的取值上限。定义完成后,用抽样请求验证规则是否与服务器实际返回一致,再决定哪些地址值得让搜索引擎抓取。
参数组合爆炸的根源,是把所有参数当成同一类。迁移后应先按作用分组:
只有第一类需要讨论“有效集合”,后两类应通过规范标签、参数忽略规则或服务器端处理收敛。把三类混在一起列清单,数量会趋向无限,且每次新增一个筛选维度都要重做。
假设一个迁移后的站点有筛选参数 color、size、sort、page,每个参数有若干取值。若允许任意组合,地址数量是各维度取值的乘积,再乘以分页层数。此时“有效地址集合”不能等于全部组合,而应等于以下规则的并集:
color=red。这个例子是假设,用于说明比较方法,不代表任何真实站点的现状。关键动作是:先写出规则,再抽一批组合去请求,看服务器返回的是独立内容、相同内容,还是重定向。返回结果决定下一步是保留、合并还是忽略。
迁移后常见一个反直觉结果:参数地址被大量抓取,但有效内容页的抓取反而下降。有人会直接归因为参数拖累。这个结论不能单独成立,至少还有几种合理解释:
要区分这些解释,可以分别核对:内链实际指向、规范标签输出、站点地图收录范围、以及同一内容在不同参数下的返回状态。若这些证据都指向同一方向,才能说参数是主因。抓取量归零或某项统计下降,本身不能证明处理正确,它也可能只是抓取策略变化或统计口径变化。
第一,robots.txt 的抓取限制不等于索引移除。禁止抓取参数地址,可能阻止搜索引擎看到规范标签,反而让已收录地址保留。第二,站点地图不保证收录,把有效集合写进站点地图只是提供发现路径,不是收录承诺。第三,HTTPS 不保证安全无漏洞或排名,迁移中的协议切换与参数收敛是两件事,不要混为一个决策。
不同搜索引擎对参数处理的支持情况不同,忽略规则、规范标签和分页处理需要分别核查。不要假设一套规则在所有引擎上表现一致。
按以下顺序推进,每一步的结果都会改变下一步:
这套顺序的重点不是一次列全地址,而是让规则可复查、可修正。参数组合会继续增长,只有规则和边界能随之扩展;任何试图穷举的清单都会在下一次筛选上线时失效。