> ## Documentation Index
> Fetch the complete documentation index at: https://brightdata-ipv6-release.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 概述

> 探索用于简化数据采集和增强数据集生成的网页抓取工具 API。学习如何启动抓取和管理数据，并了解系统限制信息。

我们非常激动地向您介绍我们的新产品网页抓取工具 [API](https://brightdata.com/products/web-scraper)，它可以简化数据采集流程，让您轻松获取更加丰富多元的数据。该款新产品让您可以通过更强大、更简化的方式采集数据，并可根据您的特定需求更有效地生成数据集。

We offer real-time support for scrapers using URLs as inputs, with up to 20 URL inputs, and batch support for more than 20 inputs, regardless of the scraper type.

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/overview.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=dcef30ef2d0c5877372da97ba228e388" alt="概述" width="2048" height="1196" data-path="images/scraping-automation/web-scraper-api/overview/overview.png" />
</Frame>

# How To Collect? (High level)

## [触发采集](https://docs.brightdata.com/cn/scraping-automation/web-data-apis/web-scraper-api/trigger-a-collection)

1. 从我们提供的各种 API 中选择目标网站
2. 通过 JSON 或 CSV 更新所需输入列表
3. 选择数据交付方式：通过 Webhook 或通过 API

### 通过 Webhook 交付：

1. 选择首选文件格式（JSON、NDJSON、JSON lines、CSV）
2. 根据需要设置 Webhook URL 和授权标头
3. 选择是否将文件压缩后发送
4. 测试 Webhook 以验证操作能否成功运行（使用样本数据）
5. 复制代码并运行。

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/delivery-options.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=dc4f0f46c43115d0e40c414a58dc828f" alt="delivery-options.png" width="529" height="295" data-path="images/scraping-automation/web-scraper-api/delivery-options.png" />
</Frame>

### Via Deliver to external storage:

1. 选择首选交付平台（S3、Google cloud、Snowflake 或其他可选平台）
2. 根据所选交付平台填写所需凭据
3. 选择首选文件格式（JSON、NDJSON、JSON lines、CSV）
4. 复制代码并运行。

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/deliver-snapshot.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=06e2ff81f287bc128896b990f0cad6bc" alt="deliver-snapshot.png" width="849" height="715" data-path="images/scraping-automation/web-scraper-api/deliver-snapshot.png" />
</Frame>

### 限制记录

在运行发现型 API 时，您可限制每个输入请求返回的结果数量

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/limit-per-input-disabled.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=53ed23f8b1915738d65f15d4648009ff" alt="limit-per-input-disabled.png" width="1214" height="115" data-path="images/scraping-automation/web-scraper-api/overview/limit-per-input-disabled.png" />
</Frame>

在下方示例中，我们限制每个输入请求返回的结果数量为 10

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/limit-per-input-10.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=25b3c274b46f4e17e32e3a6c71637962" alt="limit-per-input-10.png" width="1182" height="272" data-path="images/scraping-automation/web-scraper-api/overview/limit-per-input-10.png" />
</Frame>

## [管理 API](https://docs.brightdata.com/cn/scraping-automation/web-data-apis/web-scraper-api/management-apis)

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/management-apis.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=eee5d601a910aa4fc03eaa8c47e6b488" alt="management-apis.png" width="2048" height="1060" data-path="images/scraping-automation/web-scraper-api/overview/management-apis.png" />
</Frame>

### 获取快照列表

您可使用此 API 查看快照历史记录。 它可返回所有可用快照的列表，包括快照 ID、创建日期和状态。

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/get-snapshot-list.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=706649002ee71bc3daf8325263c77418" alt="get-snapshot-list.png" width="835" height="192" data-path="images/scraping-automation/web-scraper-api/overview/get-snapshot-list.png" />
</Frame>

### 监控进度

您可使用此 API 查看数据采集状态。当它返回 “collecting” 时，表明数据仍在采集中，当返回 “digesting” 时表明数据进入处理阶段，当返回 “ready” 时表明数据处理完毕且已可以交付。

<Frame>
  <img src="https://mintcdn.com/brightdata-ipv6-release/yAA1dELwzqgxV65_/images/scraping-automation/web-scraper-api/overview/monitor-progress.png?fit=max&auto=format&n=yAA1dELwzqgxV65_&q=85&s=596d0969a51bbe653a87abcf664323f4" alt="monitor-progress.png" width="828" height="151" data-path="images/scraping-automation/web-scraper-api/overview/monitor-progress.png" />
</Frame>

## 系统限制

### 文件大小

|            |                             |
| ---------- | --------------------------- |
| 输入         | 高达 1GB                      |
| Webhook 交付 | 高达 1GB                      |
| API 下载     | 最大 5GB（对于更大的文件，请使用 API 交付 ） |
| 交付 API     | 无限制                         |
