Brave Search 向 AI 公司出售搜索索引，网站难以单独屏蔽其爬虫

你可能从未使用过 Brave Search。嗯，不是直接使用。但你用来提问的 AI 可能用过，而且它可能在那里找到过你的网站。11 月 2 日，《纽约时报》起诉了 Brave，也就是 Brave 浏览器和 Brave Search 背后的公司。《纽约时报》称，Brave 复制了超过 300 亿个网页，“既没有表明自己的身份，也没有向网站所有者提供任何阻止其爬虫的机制”，随后将这些内容出售给 AI 公司。Brave 尚未回应，因此目前这些还只是指控。但为什么你不能在不阻止 Google 的情况下把它的爬虫挡在外面？Brave 在其帮助页面上就在那里解释了这一点。

Brave 将其搜索索引出售给 Cohere、Mistral 和 Perplexity

Brave 通过名为 Brave Search API 的产品，向 AI 公司出售其搜索索引的访问权限。当 AI 助手需要获取网络上的最新信息时，它并不总是会自己去读取网络内容。它可以付费搜索别人的索引。Brave 的关于页面称，该 API“被 AI 领域一些最大的公司使用，包括 Cohere、Mistral、Perplexity 和 You.com”。其AI 页面称，该索引包含“超过 300 亿个页面，每天新增索引页面达数百万个”。

《纽约时报》的诉状开头列出了它所称 Brave 供应服务的五家 AI 公司：Anthropic、Perplexity、Mistral、xAI 和 Cohere。它们没有一家被起诉。Claude 的情况比较模糊，因为相关证据已经过时。诉状引用了 Brave 在 2023 年发布的一篇文章，该文介绍 Anthropic 训练 Claude 2 的情况。2025 年 3 月，Anthropic 将 Brave Search 加入其子处理商名单，也就是它使用的外部公司；TechCrunch 对此进行了报道。同一周，Simon Willison 是一名撰写广受关注的 AI 工具博客的开发者，他要求 Claude 搜索有关鹈鹕的信息，它引用的 10 条结果与在 Brave 上进行相同搜索得到的结果完全一致。我无法确认 Claude 今天是否仍在使用 Brave。

*顺便说一句，这是一只鹈鹕。¯\_(ツ)_/¯ 图片：Wikimedia Commons，CC0。*图片来源：Slobodan Manic

Brave 的爬虫没有名称，因此你无法在不屏蔽 Google 的情况下屏蔽它

网站通过一个名为 robots.txt 的小文件决定哪些爬虫可以读取它们，而这之所以有效，只是因为爬虫都有名称。OpenAI 和 Anthropic 都公布了各自爬虫的名称，因此你可以允许一家公司的爬虫进入，同时拒绝另一家的爬虫。

Brave 的帮助页面，也就是本文开头提到的那个页面，称其爬虫“不会公布具有区分性的用户代理”。简单来说，Brave 的爬虫没有佩戴名牌，而 Brave 给出的理由是：有些网站允许 Google 进入，却不允许其他人进入，所以带有 Brave 名称的爬虫会被拒之门外。Brave 称它遵循 Google 的规则：凡是 Googlebot 不被允许读取的内容，Brave 也不会读取。

所以你无法允许 Google 进入，同时把 Brave 拒之门外。你要么两者都允许，要么两者都不允许。要从 Brave 的索引中移除内容，同一页面指引你使用noindex 标签，但这也会告诉 Google 删除该页面。《纽约时报》称，这是 Brave“拒绝公布其网络爬虫机器人名称”的表现。

我的网站在 Brave 的索引中，而我的 robots.txt 甚至无法提及它

11 月 3 日，在 Brave 中搜索 site:nohacks.co 显示，我有 16 个页面出现在结果首页，其中 13 个是文章。

Brave 的结果甚至显示了我当天早些时候替换掉的主页描述，因此 Brave 提供的是一份存储的副本，而不是对我的网站进行实时查看。我的 robots.txt 列出了 13 个 AI 机器人，从 GPTBot 到 Bytespider，并屏蔽了其中两个：Meta 的和 ByteDance 的。我没有什么可以添加来屏蔽 Brave 的规则。要屏蔽一个并不存在的名称很难。

检查你的网站大约只需 30 秒：前往 search.brave.com，输入 site: 和你的域名。显示出来的所有内容都在 Brave 出售的索引中。

搜索引擎会把人们带回网站，而出售给 AI 的索引则不必如此

网站被搜索引擎收录，是每个网站都能理解的一笔交易。有人进行搜索，看到你的页面，点击后进入你的网站。Brave Search 的普通搜索结果就是这样运作的，不过 Brave 还加入了自己的 AI 答案功能，名为 Ask Brave，《纽约时报》也正因此起诉 Brave。

出售索引则是另一种交易。诉状引用了 Brave 对其中一部分“LLM Context”的描述：将“提取出的页面片段和来源元数据，以满足 LLM 需求的形状和长度交付，无需进一步抓取”。因此，AI 公司拿到的是你的页面——已经被切分好——并据此写出答案。这个答案是否会把任何人引回你的网站，由 AI 公司决定。这不是你能决定的，也不是 Brave 出售的内容。这正是让我感到困扰的地方。

法院将决定 Brave 是否可以向 AI 公司出售其索引

《纽约时报》指控 Brave 侵犯版权并绕过其付费墙等问题；《每日新闻报》、《芝加哥论坛报》和《奥兰多哨兵报》也在同一天单独提起了诉讼。我撰写本文时，Brave 尚未回应这两起诉讼。不过，它过去曾为自己的立场辩护：当 News Corp 向其发出停止侵权函时，Brave 先行起诉，称自己只是在为互联网建立索引，而这是“所有搜索引擎运营商要想存在都必须做的事”；据 Semafor 报道，2026 年 7 月，News Corp 反诉称 Brave 隐藏其爬虫，使出版商无法检测或屏蔽它们。针对《纽约时报》页面作出的裁决不会自动适用于其他网站，但它将充分说明该索引中的每个网站会面临什么，而你的网站很可能也在其中。因此，我会关注这起案件。

更多资源：

本文最初发表于 No Hacks。

特色图片：FotoField/Shutterstock