Decodo 推出 Web Data API，整合网页抓取、搜索、映射与爬取

作为领先的网页数据基础设施提供商，Decodo 推出了 Web Data API，将抓取、映射、爬取和搜索整合在一个 API 密钥之后。该 API 专为构建代理或检索流水线的 AI 初创公司设计，其单一接口可提供新鲜、结构化的网页数据。

“AI 初创公司没有时间构建自己的抓取基础设施，” Decodo CEO Vaidotas Juknys 表示。“Web Data API 为它们提供一个密钥，用于抓取、搜索、映射和爬取。这样可以减少投入基础设施的时间，将更多时间用于产品开发。”

大多数 AI 代理面临的数据挑战

语言模型基于固定的信息快照进行训练。跟踪公司、新闻源或价格列表的代理需要最新数据。同样，检索增强生成（RAG）也依赖于所检索文档的新鲜程度。

获取实时页面意味着要在轮换 IP 后运行抓取器，绕过 CAPTCHA 和机器人检测，随后还要清理不完整的页面，并从返回的内容中去除导航、广告和模板内容。构建这种基础设施或组装单独的工具，会占用原本用于产品开发的工程时间。

认识 Web Data API

Decodo 开发 Web Data API，旨在消除这些额外工作，通过一个账户和一个 API 密钥提供四个端点。不再需要分别签订抓取、搜索、映射和爬取合同。每个端点对应网页数据收集流程中的不同阶段。

• Scrape 可获取单个页面的干净内容，即使页面受到反机器人保护。
• Search 可提供实时网页结果，取代此前提供的 Fast Search API。
• Map 可揭示网站结构；每次调用最多可返回 147,000 个 URL。
• Crawl 可自动跟踪网站链接，在单个任务中收集最多 10K 个页面。

一个供应商覆盖全部 4 个端点

由于四个端点共用一个密钥，团队可以使用一张发票、一个仪表板，以及一个查看使用情况的地方。每个端点都由 Decodo 的代理网络提供支持，该网络覆盖 195+ 个地点，拥有超过 125 million 个 IP。

这还可以缩短采购流程：只需审核一个供应商，账单和技术问题统一进入一个支持队列，新员工也只需学习一次集成。

团队已经如何使用这 4 个端点

四个端点现已可用于根据每位用户需求定制的实际工作流程：

• RAG 团队通过单个爬取任务，将文档网站转换为干净的 Markdown，以便进行嵌入。
• 创建编程工具的开发者使用搜索，将实时结果引入 IDE 或代理。
• 法律和研究团队先映射监管机构的网站，再爬取相关文档，以定位所需资料。
• 竞争情报团队定期重复执行映射和爬取任务，持续监控竞争对手的产品目录。

最重要的是，所有这些工作流程都无需单独的抓取技术栈即可运行。

从这里开始

Decodo 每月提供最多 10,000 次免费请求，四个端点共享同一配额，且无需信用卡。该配额每月重置，因此团队可以在决定选择付费层级前进行实际试用。

对于正在比较自建抓取基础设施与购买许可所需时间和预算的 AI 初创公司而言，Web Data API 将页面提取与搜索、发现和爬取整合到一次集成中。免费层级可以让团队评估它如何适配现有技术栈。

题图：Paulo Bobita/Search Engine Journal