跳到正文
Search Engine Journal· Matt G. Southern·· 13 天前精选AI 评分77

DeepSeek向开发者开放站内搜索引擎与 Search、Fetch API

DeepSeek Opens Its In-House Search Engine To Developers via @sejournal, @MattGSouthern

AI 导读

DeepSeek于10月17日向开发者开放站内搜索引擎,并推出 Search 和 Fetch API,声称会过滤 SEO 垃圾、GEO manipulation 和低质量 AI 生成内容。

电商应用价值

DeepSeek Search API为内容团队提供了按站点检索、权威度与相关性指标,适合用于检查页面在其搜索系统中的可见性。

正文 · AI 翻译

DeepSeek 于 10 月 17 日向开发者开放了其内部搜索引擎,该公司的 更新日志称,该引擎会过滤 SEO 垃圾、“GEO 操纵”以及低质量的 AI 生成内容。

新的 搜索 API 的每条结果都包含页面权威等级和相关性评分,并且 API 接受 site: 查询,可将结果限制在单个域名内。

DeepSeek 对其引擎的说法

DeepSeek 的更新日志称,其内部引擎负责处理网站和 API 中的搜索,索引数千亿个网页,并每天接收来自全球的数亿次搜索请求。

GEO(生成式引擎优化)是指调整内容,使其能够被 AI 问答引擎引用。DeepSeek 的更新日志称,他们将严格检测作为过滤的依据;然而,该公司并未定义什么是 GEO 操纵,也没有说明其检测流程如何运作。5 月 15 日,Google 表示:“我们的垃圾内容政策同样适用于 Google 搜索中的生成式 AI 响应。”

DeepSeek 的隐私政策最近一次修订于 2 月 10 日,其中称,该公司集成“第三方 API 以提供搜索服务”,并与这些公司共享用户输入的关键词。一家名为 Bocha 的中国搜索 API 公司在其某款产品的 GitHub README 客户部分称,他们是 DeepSeek 的官方网页搜索供应商。DeepSeek 在其发布页面中没有提及 Bocha。更新日志和隐私政策没有说明任何网页搜索查询是否仍会发送给第三方服务。DEJAN 的 Dan Petrovic 在其关于 DeepSeek 发布的文章中引用了隐私政策和 GitHub README。

搜索 API 返回的内容

每条搜索 API 结果都包含一个权威字段;权威字段的取值范围为 0 到 4,-1 表示未知。根据 DeepSeek 的 API 参考文档,等级为 3+ 的页面被描述为“高度权威”的来源。

重新排序评分(另一个字段)的范围为 0-3,并综合了相关性、权威性和新鲜度等信号。重新排序评分达到 1.5+ 被视为高质量。指南和参考文档没有解释页面如何获得其等级或评分。

每条结果还附带一个用于展示的摘要,通常为 100 到 200 个字符,以及一个供模型阅读的总结,通常为 600 到 800 个字符。如果请求要求返回页面内容且内容可用,页面内容也会随之返回。查询可以使用 site: 进行限制,也可以按语言和发布日期进行筛选。

Search 和 Fetch 每 1,000 次成功请求的费用均为 $0.75。未返回结果的搜索不会计费,而请求 50 条结果与只请求 1 条的费用相同。

DeepSeek 页面对抓取的说法

DeepSeek 的 Fetch API 与 Search 一同发布。Fetch 会提供单个 Markdown 页面,并且根据指南的说法,“受目标网站可用性和访问政策的约束”。

根据用于训练 DeepSeek-V4 的数据的欧盟摘要,该爬虫“旨在在适用情况下遵守 robots.txt 指令和其他标准网页协议”。然而,该摘要没有说明这里指的是哪个爬虫。

此外,所有发布页面(指南、API 参考文档、更新日志和公告)都没有说明搜索索引所使用的爬虫,也没有提供 Fetch 使用何种用户代理的信息。

除了提供有关多个爬虫的信息外,Known Agents 机器人目录还列出了一个 DeepSeekBot 用户代理,并将其描述为 AI 训练数据爬虫。

这为何重要

拥有资金支持的 DeepSeek API 账户后,单次 site: 搜索的费用低于 $0.01。每次 site: 搜索最多可以返回来自你网站的 50 个页面;每个页面都会针对该查询获得一个权威等级和相关性评分。如果你发现缺少某个结果,可能是因为该页面不在索引中,或被 DeepSeek 更新日志中所述的过滤器拦截,也可能是由于其他原因被排除;用户指南和 API 参考均未提供查明具体原因的方法。

旨在屏蔽 DeepSeekBot 的 robots.txt 规则,针对的是 Known Agents 机器人目录描述为与训练数据相关的爬虫。从 DeepSeek 最初的发布页面来看,尚不清楚此类规则是否会影响 DeepSeek 搜索索引中收录的内容。

展望未来

如果你使用 Claude Code、Codex 或 DeepSeek Harness 搭配 DeepSeek API,服务器端的搜索和页面抓取已经通过 Search and Fetch API 处理,且目前不收费。服务器端调用将于 Oct. 31 16:00 UTC(noon ET)开始计费。

请关注 DeepSeek 的文档,以了解对 GEO 操纵的定义、等级设定方式的详细信息,以及用于该索引的命名爬虫。

来源:Search Engine Journal · searchenginejournal.com