Chris Green：为何应警惕为 AI 构建的影子网络

为什么 AI 搜索提供商会有长期动力去信任一个品牌刻意与其面向公众的网站分开存放的信息？

随着越来越多关于优化 AI 搜索的讨论似乎都涉及专门为代理而非人类创建内容，这个问题一直在我脑海中反复出现。

这种逻辑是可以理解的：AI 系统需要信息，有时需要的格式或结构对人类访客来说并不特别有用。如果我们能让代理更容易获取这些信息，那当然是件好事，对吧？

没错，但让 AI 更容易访问信息，与创建一个主要用于影响 AI 系统如何描述你的替代版网站，甚至替代版品牌，之间存在显著差异。

几十年来，我们一直在 SEO 中处理这类问题的不同版本，而我不确定我们是否足够认真地吸取了这些经验教训。

SEO 从业者如何预见这一趋势？

任何从事 SEO 足够长时间的人，都见过搜索引擎如何应对用于操纵它们的手段而不断演变。

早期 SEO 充斥着旨在影响搜索引擎而非帮助用户的做法：隐藏文本、关键词堆砌、入口页面、伪装，以及后来日益复杂的内容和链接操纵。

搜索引擎制定反对这些做法的规则，并不是因为它们讨厌 SEO 从业者（大体上不是）。这样做是因为允许网站伪造相关性和权威性，会损害搜索结果的质量。

Google 的发展历程相当清晰地展现了这一演变：

2011 年： Panda 针对低质量内容。
2012 年： Penguin 打击链接垃圾信息。
2022 年： Google 的有用内容系统试图更好地奖励旨在帮助人们、而非主要用于吸引搜索流量而创建的内容。
2024 年： Google 更新后的垃圾信息政策更明确地阐述了对规模化内容滥用的立场，无论内容是由 AI 还是人类创建的。

这是对相关情况高度概括的版本，实际情况要复杂得多，但其中的模式很重要。

随着搜索引擎变得更加复杂，用于影响（操纵）它们的方法也随之发展。搜索引擎则通过投入更多精力来判断哪些信息值得信任并应获得奖励，从而作出回应。

Google 仍明确将伪装识别为垃圾信息。我并不是说伪装的定义就这么简单（或这么容易检测），但其中的相似之处太过明显，不能被忽视。

那么，我们正在为 AI 构建什么？

现在，我们看到了一系列旨在让 AI 系统和代理获取信息的方法。

llms.txt 提案就是一个例子，它提供了一种结构化方式，将语言模型引导至有用的网站内容。此外，还有代理专用的 Markdown 页面、专门的信息端点、结构化信息源，以及越来越复杂的、直接向代理提供信息的方法。

Cloudflare 的Markdown for Agents就是提供现有内容替代版本的一个很好的例子。这些信息源自同一个页面，但以一种可能更易于代理处理的格式呈现。

这与创建仅供 AI 消费的新信息有本质区别。

让相同的信息以不同格式呈现并不是什么问题。

真正复杂得多的是，向不同受众提供不同的信息。

我可以理解为什么品牌可能会对此感兴趣，因为将内容发布到网站上从来都不是一件特别容易的事。内容归属、CMS 限制、设计要求、开发资源、治理、审批，以及不同团队相互冲突的优先事项，都会产生影响。

如果你可以通过发布文本文件，或在其他地方托管一组专门面向 AI 的内容来绕过所有这些环节，那么这无疑是一条颇具吸引力的捷径。

这里的信任问题与风险/回报

传统搜索与 AI 搜索之间还有一个重要区别：Google 并不是这里唯一的重要参与者。正如我之前在深入研究ChatGPT 的搜索来源时所发现的那样，支撑每个 AI 生成答案的并不是单一且一致的信息检索流程。

不同的系统、搜索提供商、工具和检索管道，都可能影响哪些信息会被发现，并最终被采用。

其中一些流程沿用了成熟的“搜索”基础设施，包括那些用于评估信息相关性和可靠性的系统。但除了 Google 或 Bing 之外，其他来源的运作方式并不相同。

这并不意味着 ChatGPT 或其他 AI 系统会自动信任它们获得的一切信息。但能够识别可靠来源的机制，与传统搜索引擎在应对试图操纵这些机制的人方面所积累的经验之间，存在相当大的差异。

我们还需要将检索信息的能力，与决定是否信任这些信息区分开来。当我研究好奇的代理实际上有多好奇时，我发现它们会以最低的努力完成检索、总结，然后继续前进。仅仅因为正确答案是可获得的，并不意味着它总会被找到并使用。

如果代理遇到的是专门为影响其答案而创建的信息：

它应如何确定这些信息是否准确、权威，或与品牌告知实际客户的信息一致？
当机器可读版本表达的内容与公开网站上的内容不一致时，会发生什么？
谁来决定哪一个更值得信任？
而且，或许最重要的是，为什么 AI 提供商还要继续接受那些被刻意与用户可以独立验证的信息分隔开来的内容？

我认为我们目前还没有这些问题的答案。

我们以前难道没有遇到过类似情况吗？

我认为，宣称所有针对 AI 的内容格式都是一种伪装，或者认为向代理提供信息具有操纵性，既不公平，也不符合事实。结构化数据、XML 站点地图、API 和产品 Feed 多年来一直是网络的一部分。以不同格式向机器提供信息有完全正当的理由——事实上，我坚持认为你应该这样做！

但帮助机器理解你的业务，与专门创建内容来影响 AI 输出之间存在差异。尤其是当这些内容在任何人们都能轻易访问的地方都没有体现时。

操纵的动机显而易见，尽管 AI 搜索并非传统搜索，AI 搜索提供商的动机与此相悖。他们需要返回有用且准确的答案，并维护用户信任。他们为什么要鼓励这样一个日益碎片化、难以验证的信息生态，而这些信息主要存在的目的只是影响他们的答案？

也许这些系统会更擅长对照其他来源验证信息。或许，针对代理的信息会受到更严格的审查，或者在缺乏独立佐证的情况下，其影响力会受到限制。

我们不知道这一趋势究竟会如何发展，但假设如今正在出现的做法从长远来看仍会被接受、有效，甚至有用，这种想法似乎令人担忧地过于乐观，或过于天真。

将客户所需的信息放到网站上一直充满挑战

我们正在用一种新的捷径“解决”一个老问题，而如果这好得令人难以置信，那它很可能确实如此！

多年来，内容策略一直受到企业希望发布的内容以及其内部流程所允许维护的内容的限制。这往往造成客户想要的信息与品牌提供的信息之间存在差距。

生成式 AI 让这一点更加明显，也在此基础上产生了显著的放大效应！如今，人们可以针对产品、服务、房产、体验以及几乎任何其他事物提出详细而具体的问题，并期待获得有用的答案，而不必浏览网站、亲自拼凑信息。这就对清晰、易于获取且具体的信息提出了更高的需求。

如果这些信息不可用，AI 系统可能不得不转向其他地方，或者干脆无法正确回答问题。因此，我们确实需要重新考虑正在发布的信息、信息的组织方式，以及不同系统访问这些信息的方式。

但为什么解决方案应该是创建另一套内容资产？这套内容需要单独维护和治理，可能还需要另一套技术栈以及额外流程，以确保其与客户实际能看到的信息保持一致？

大多数人都很难让网站的一个版本保持准确且有用……我不确定创建第二个、可见度更低的网站是不是显而易见的解决方案。

对 AI 有用，对人也有用

我不认为答案是拒绝针对代理的格式，或坚持要求 AI 系统必须以与人类完全相同的方式使用网站。那样会忽视这些系统运行方式的真实差异，以及它们所带来的机遇。

同样，假设解决方案只是专门为 AI 创建内容，也是在回避一个我们多年来一直试图解决的问题。

目标应当是让双方都能获得真正有用的信息，这些信息来自一个一致且权威的来源，并且能够得到维护、验证，并在适当情况下进行独立核实。

只有 AI 才觉得有用的信息会造成治理问题，并引发信任方面的疑问。

只有人觉得有用的信息，则日益造成可见性问题。

这里存在一个合理的折中方案，而且不需要我们再创造一个版本的网络。我此前曾撰文解释过，为什么Google 不愿认可一套完全独立的 AI 优化实践是有道理的。搜索服务提供商几乎没有动力去让另一个他们随后还需要监管的技术行业获得合法性。

我们越鼓励品牌专门为代理创建信息，并将其与面向公众的网络分离开来，就越有可能重新制造搜索引擎数十年来一直试图解决的问题。

我不认为为 AI 构建一个影子网络就是进步。这可能只是一条捷径，而我们将在接下来的十年里努力消除它。

更多资源：

本文最初发布于 Chris Green SEO。

特色图片：DC Studio/Shutterstock