Google 更新垃圾内容指南，要求平台控制分享页和生成内容的索引

Google 最近在其于 10 月 26 日更新的垃圾信息指南中新增了“仅将用于搜索的内容编入索引”部分。新部分建议，对于页面是为直接分享、协作或实用功能而创建的网站，应为这些页面设置 noindex 标签，或使用 robots.txt 指令默认阻止爬虫抓取。

根据Google 的变更日志，这是关于“阻止链接分享内容被编入索引”的新增内容。

新部分包含一个指向robots.txt 介绍页面的链接；根据该介绍页面，robots.txt 文件“不是让网页不出现在 Google 中的机制”。

Google 新增的内容

Google 新增的“仅将用于搜索的内容编入索引”部分紧接在指南关于识别垃圾信息账户的建议之后，内容如下：

“如果你的服务允许用户创建可分享页面、生成的输出或交互式工具，请考虑这些内容是要通过搜索引擎被发现，还是仅供拥有链接的人直接访问。”

“当页面是为直接分享、协作或实用功能而创建，而不是为了通过公开搜索被发现时，应应用 noindex 规则（使用 robots 元标签或 X-Robots-Tag HTTP 响应标头），或者默认在 robots.txt 中阻止爬虫抓取。”

指南的开头一段称，托管平台“可能同样容易遭到滥用”。更新后的句子增加了“允许用户发布共享页面、生成内容或 Web 应用的工具”，并表示垃圾信息发送者可能会创建大量“页面或网站”；此前的表述是网站。

上一版本最后更新于 2025 年 12 月 10 日，其中已经建议对新用户发布的内容使用 noindex，直到他们在平台上建立声誉。这项建议没有变化。

Noindex 还是 Robots.txt

Google 的 robots.txt 介绍说明，某个页面“即使在 robots.txt 中被禁止抓取，只要其他网站链接到它，仍然可能被编入索引”。在这种情况下，Google 不会抓取被阻止的内容，但指向该内容的 URL 以及链接的锚文本（可能会显示）在搜索结果中，而不会显示描述。

Google 的noindex 页面称，只有在 robots.txt 没有阻止该页面时，这条规则才会生效，因为否则“爬虫永远不会看到 noindex 规则”。Google 的“控制你分享的内容”页面于 10 月 21 日更新，其中列出 robots.txt 适用于“图片和视频”，而 noindex 适用于“所有内容类型”。

7 月 27 日，我确认 Claude 的分享路径被 robots.txt 中的“Disallow”指令阻止。此外，这些分享页面还在 X-Robots-Tag HTTP 响应标头中返回了“none”值。根据 Google 的robots 元标签文档，Google 将“none”视为同时等同于 noindex 和 nofollow。我无法确定 Google 最初发现这些链接时看到了什么。

新的 Search Console 检查项

Google 的新垃圾信息指南指出，你应通过 Search Console 验证平台的网站或子域名，以便在其受到人工措施或存在安全问题时接收电子邮件。指南还建议你持续检查“网页索引”报告和“搜索效果”报告，关注与平台用途不符的已编入索引页面、展示次数或查询数量是否出现“意外激增”。

指南监控建议下新增的一条要点建议在平台层面跟踪页面创建和编入索引的情况，并针对新发布的公开页面数量激增，或“少数用户生成了大量可编入索引的 URL”设置提醒。

这为何重要

Google 的更新日志称，其于 10 月 26 日对垃圾内容指南的更新旨在帮助平台“将不适合出现在搜索中的用户创建页面排除在索引之外，并更早地检测垃圾内容”。

对于分享链接、生成的输出内容和应用页面，请检查任何 noindex 指令是否能够被 Googlebot 访问。如果 robots.txt 规则阻止 Googlebot 访问这些页面，Google 就永远不会读取该指令。

展望未来

Google 新监控建议所指向的“网页索引”报告中，有一种状态称为 “已编入索引，但被 robots.txt 阻止。” Google 针对该状态的帮助说明建议移除阻止规则并使用 noindex。尽管受到 robots.txt 阻止，仍被 Google 编入索引的分享网址可能会在 Search Console 中显示为该状态。

特色图片：Thaspol Sangsee/Shutterstock