跳到正文
Search Engine Journal· Dan Taylor·· 4 小时前AI 评分74

OpenAI 的 Aura 安全检查可能阻止网站被 ChatGPT 浏览

OpenAI’s Aura Safety Check Can Block Your Site From ChatGPT Browsing via @sejournal, @TaylorDanRW

AI 导读

作者调查称,OpenAI 的 Aura 站点安全检查可能在请求到达网站前阻止 ChatGPT 和 Codex Browser Use 访问域名,即使 robots.txt 和用户允许设置正常也可能受影响。文章建议跨 ChatGPT 与 Codex 等工具测试同一 URL,对比竞争网站、服务器日志和 GPTBot 等爬虫数据,并向支持团队提交带时间戳的错误截图与访问证据;目前没有公开的自助申诉入口。

正文 · AI 翻译

关于如何在 AI 搜索中获得关注,大多数讨论仍然集中在通过结构化内容、清晰的实体定义,以及在 robots.txt 文件中设置适当的权限来获得引用。然而,我最近一直在研究一个更加基础的问题:它发生在所有这些标准步骤之前很久,尽管数字出版商几乎从未讨论过这个问题。

OpenAI 使用一项集中式安全检查来决定其网页浏览工具是否获准连接到任何特定网站。如果网站被这一系统标记,该系统在 OpenAI 的系统和代码库中被称为 Aura(不要与 Atlas 的代号 Aura 混淆),那么 Codex 的 Browser Use 和 ChatGPT 的实时搜索等工具将完全拒绝打开该网站,彻底忽略你的本地用户设置和 robots.txt 规则。

虽然大多数网站从未遇到这些限制,但完全正常且信誉良好的公司可能会突然发现自己被加入这一封锁名单。不幸的是,目前没有公开方式可以查明网站被封锁的原因,也无法申请正式审核。

这个封锁是什么(以及它不是什么)

要正确理解这个问题,首先需要澄清一个关于网络爬虫如何工作的常见误解。当你试图弄清楚某个代理为何无法加载页面时,了解普通自动化数据收集器与实时浏览工具之间的区别至关重要。

OpenAI 公开列出了几种不同的网络爬虫,包括用于训练模型的 GPTBot、用于搜索功能的 OAI-SearchBot,以及用于处理用户直接请求的 ChatGPT-User。虽然这些爬虫会公布其 IP 地址并遵循标准的网络规则,但它们独立于控制 AI 代理的安全规则运行。

网站安全检查充当独立的守卫,决定自主工具是否获准访问特定链接。虽然 OpenAI 提到存在一些浏览限制,以阻止代理打开有害内容,但它们没有解释该系统在底层究竟如何运作。

图片来自作者,2026 年 10 月

官方帮助页面指出,出于安全、防护和合规原因,代理可能会被禁止访问某些网站,这一限制通过全局封锁名单实施。系统文档还补充说,与非法活动相关的网站会被阻止浏览;这是一项合理的安全措施,对所有人来说都说得通。

OpenAI 没有公开解释的是这一系统背后的技术设置;从网络流量中可以看到,系统会检查 chatgpt.com/backend-api/aura/site_status。当网站被这项检查标记为封锁时,该决定会在本地保存 24 小时,同时不会为网站所有者提供任何明确的申诉或询问渠道。

在实际考察这些封锁的运作方式时,另外两个技术细节尤其重要。理解这些细节有助于解释为什么错误封锁会给网站造成如此大的麻烦。

它以真正重要的方式默认拒绝

尽管OpenAI 工程师曾表示,状态检查期间发生网络故障时,系统默认允许访问,但明确的网站封锁仍然完全严格。即使公司管理员在自己的系统中设置了自定义允许规则,OpenAI 的内部决定仍会覆盖这些规则,并阻止页面加载。

我们不知道是什么原因会让某个域名被列入名单

由于发送到状态 API 的请求会将聊天详情与网页链接一并传送,一些研究人员认为,某些提示历史可能会意外触发全站拦截。无论最终查明的确切原因是什么,包括知名媒体品牌在内的可信商业平台,都正面临阻止代理访问它们的无法解释的拦截。

另请参阅:ChatGPT 实际上如何选择来源(我读取的是网络流量,而不是输出结果)

实证:ChatGPT 无法打开的家喻户晓的出版商

我一直在为一家国际媒体出版商提供咨询服务。该出版商负责发布官方新闻和杂志内容,近期还与 OpenAI 开展了一项为期 24 小时的广告活动,以评估该平台并建立额外的支持渠道。尽管完全开放 robots.txt 规则并支持 OpenAI 的工具,这家出版商仍在其主网站上遇到了严重且无法解释的访问问题。

自 2026 年 5 月以来,ChatGPT 反复无法加载该出版商的网页,只返回笼统的错误消息,甚至从未尝试建立连接。详细的服务器日志显示,从未有来自 ChatGPT 的流量到达该网站,这证明拦截发生在更上游的位置。

使用 Codex CLI 和桌面应用进行的测试确认,Browser Use 明确拒绝访问该网站。安全消息明确指出,停止请求的唯一原因是网站安全规则。

“Browser Use 因浏览器安全策略拒绝了此操作。原因:网站安全策略阻止了此操作;未尝试请求用户许可或进行自动审查。不允许在 [domain] 上使用浏览器。”

此外,代理系统还告知底层模型,不要尝试任何备用方案或其他加载页面的方式。这证明该规则是在平台层面被严格执行的。

图片来自作者,2026 年 10 月

一系列对比测试证明,这次连接失败是由错误的安全标签造成的,而不是网站配置错误。通过在不同聊天中一次只改变一个变量,我们收集到了明确证据,证明该网站正被有意拦截。

  • 在同一会话中,两家直接竞争的数字报纸和杂志平台均能正常加载。
  • 一个由该品牌自有技术提供支持、但托管在另一个域名上的第三方报纸页面也能正常加载。同样的技术,不同的主机名,没有拦截。
  • Chrome 权限被设置为“始终允许”,并为该品牌明确添加了条目。但仍然遭到拦截。
  • 几周后,测试的全部五个 URL(主站、子域名、文章页面)仍然被拦截。

与此同时,网站流量统计显示,在过去 30 天内,OpenAI 的训练爬虫仅成功建立了约 5,000 次连接。对于这样规模的网站来说,与 Google 的 477,000 次和 Anthropic 的 564,000 次等其他主要 AI 爬虫相比,这一数字几乎微不足道;这表明,尽管代理浏览被完全拦截,整体抓取访问实际上非常有限。

图片来自作者,2026 年 10 月

与 OpenAI 技术支持团队持续进行的帮助沟通揭示了有关该问题的一些有趣细节。前线支持人员早期进行的检查很快就导致工单被转交给内部专家团队。

“……以确定 [the domain] 是否受到 OpenAI 方面的网站安全限制,并确定适当的后续步骤。”

后续电子邮件证实,专业团队正在积极核查该域名遭到拦截是否出于故意。这项持续进行的内部审查凸显出,受影响的网站所有者完全缺乏清晰、自动化的管理选项。

“……以审查该拦截并确定这是否是预期行为。”

尽管支持人员避免直接点名内部的 Aura 系统,但他们在书面回复中承认,安全拦截处于启用状态。他们的书面回复证实,需要进行内部检查,以确认该网站限制是否本应存在。

作者图片,2026 年 10 月

这一情况与官方公开帮助页面的说法直接矛盾;后者通常将浏览失败归咎于网站自身的安全规则。由于发布方的系统保留了干净的流量记录,并且爬虫访问正常,因此很明显,该拦截完全来自 OpenAI 的内部基础设施。

如何判断自己是否遭到了误拦截

如果你怀疑自己的网站遭遇了意外的安全拦截,应立即按照分步骤的测试计划进行操作。采用结构化方法,可以让你在联系支持团队之前收集到确凿的技术证据。

  1. 在不同界面测试相同的 URL。 尝试 ChatGPT 实时抓取(要求它打开特定 URL)、ChatGPT 云端浏览器,以及 Codex Browser Use 和 Computer Use。网站安全拦截往往会在多个界面上出现。
  2. 在同一会话中运行对照测试。 立即直接打开两三个竞争对手的网站。如果它们能够加载而你的网站不能,这就排除了代理服务整体中断的可能。
  3. 检查 CDN 和服务器日志,确认是否没有请求。 网站侧的拦截会留下痕迹:403、挑战页面或 WAF 事件。OpenAI 侧的拦截则不会在你失败尝试对应的时间戳处留下任何请求记录。
  4. 检查爬虫分析数据。 如果 GPTBot、OAI-SearchBot 或 ChatGPT-User 从你的网站获得了 2xx 响应,而代理却遭到拒绝,那么问题就位于你的网站上游。
  5. 测试边缘情况。 尝试子域名、深层文章 URL,以及在可能的情况下,尝试一个在其他域名上运行你的技术的第三方页面。基于主机名的分类会拦截前两者,却允许第三者通过。
  6. 记录确切的错误措辞。 “网站安全策略阻止了此操作”、“不允许在……上使用浏览器”、“由于当前浏览器 URL 不允许使用 Computer Use,此会话已停止”、“不允许”以及“无法打开 URL(不可重试错误)”都是我见过有人引用的不同表述。请将它们截图,并记录带时区的时间戳。
  7. 排除你自己的技术栈问题。 检查 robots.txt、WAF 和机器人管理规则(包括 Cloudflare 的 AI 机器人设置)、地理位置拦截和速率限制。有时拦截确实是由你自己造成的,因此在升级处理前务必确认清楚。

如果你在不同工具之间进行测试后确认,请求被拒绝,而服务器日志显示没有来自代理的任何传入请求,那么几乎可以确定是内部系统拦截。在排除你自己的防火墙和拦截列表后,你就可以确信问题源于 OpenAI 内部作出的决定。

另请参阅:分类器层:位于你与答案之间的垃圾信息、安全、意图和信任

你能为此采取什么措施

由于没有用于修复 Aura 分类结果的自助服务页面,要纠正错误拦截,就需要充分的证据和持续跟进。网站管理者需要整理清晰的诊断材料包,以支持其提交的支持请求。

  • 建立证据包。包括带时间戳的错误截图、竞争对手的控制情况、显示没有入站请求的日志摘录、显示 OpenAI 爬虫成功抓取的爬虫分析数据,以及你的 robots.txt。
  • 提交支持工单并保留工单编号。如果有多个产品受到影响,请在每个工单中说明这一点,并明确要求将这些工单关联起来。不要假设 OpenAI 会自动将它们合并处理。
  • 提出三个具体问题。第一,该域名是否被划分为网站安全类别?如果是,原因是什么?第二,它会影响哪些入口:ChatGPT 实时抓取、通过 OAI-SearchBot 进行搜索、云端浏览器或代理,以及 Codex?第三,申请审核的流程是什么?
  • 利用你拥有的每一层关系。广告主、出版商合作伙伴和企业客户除了联系支持团队外,还应通过客户联系人反映此事。
  • 不要尝试变通方案。该工具明确告知代理不要规避此政策,而 OpenAI 的使用政策也禁止绕过安全缓解措施。试图绕过某种分类,是将误判最快变成合理判定的方式。
  • 监控。按计划重新测试你的关键 URL,并记录结果。你需要知道限制何时解除,以及是否会再次出现。

商业影响

在衡量网站在 AI 搜索中的表现时,公司通常会关注可见度、信息准确性和引荐流量。如果你因网站安全 Aura 而被错误拦截,实际上就失去了在 OpenAI 上的全部存在感,这可能带来重大的商业后果。

随着人们越来越多地使用能够搜索网络并直接完成任务的自主代理,被拦截的网站会自动从选项中被排除。当代理无法打开你的网站以获取实时信息或完成某项操作时,它只会转向其他来源。

大多数情况下,组织会将此视为可见度问题,并投入资源解决 ChatGPT 可见度不足的问题。但实际上,隐藏的拦截意味着你可以投入资源开展有史以来最出色的 GEO/AEO 活动,却看不到任何结果。

在我们的测试中,竞争新闻网站在完全相同的聊天会话中都能顺利打开。因此,每当代理需要实时网络访问来回答问题时,可访问的竞争品牌就会默认赢得流量。

如果无法直接访问你的主要网页,ChatGPT 会利用二手来源、论坛帖子和过时的新闻文章来构建答案。对于依赖信任和准确性的成熟品牌而言,这会给其公众声誉带来严重风险。

由于 Aura 拦截会在请求离开 OpenAI 之前阻止连接,Web 服务器日志中不会留下失败访问的记录。除非你的团队专门测试代理操作,否则潜在用户访问量的重大损失会完全隐藏在分析数据之外。

受影响的网站所有者不会获得状态页面、明确规则、正式申诉表单或预计修复时间。令人意外的是,付费广告主可能会发现,即使 ChatGPT 的浏览代理完全无法打开其链接,他们仍在付费让自己的内容出现在 ChatGPT 中。

我的观点

OpenAI 阻止访问真正危险的网站,以遏制提示注入攻击和网络欺诈,这是完全合理的。在用户个人选择之上建立强大的安全层,对于能够浏览网络的 AI 工具而言,是一种明智的保护措施。

然而,任何能够悄无声息地屏蔽真正商业公司的系统,都需要提供适当的管理工具,包括清晰的错误消息和有文档记录的审核流程。正如搜索引擎构建网站管理员工具来解决人工处罚问题一样,AI 搜索平台也必须为网站所有者建立清晰的管理流程。

在这些管理工具出现之前,负责组织搜索曝光的人员需要将代理访问检查纳入定期的 AI 搜索审计。确保网站能够被抓取已经不够了;你的网站还必须能够被自主代理打开。

更多资源:


题图:Nerza/Shutterstock

来源:Search Engine Journal · searchenginejournal.com