AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


自动化爬虫神器:把网页转成大模型所需数据,助力 AI 应用与大模型训练全面优化!
发布日期:2024-05-29 04:24:48 浏览次数: 2291 来源:AI真好玩


Firecrawl[1] 是一款先进的网络抓取和数据转换工具,可将任何网站转换为干净、适用 LLM 的 Markdown 文档或结构化数据。仅用单个 API 一次性完成抓取、搜索、数据清洗和数据提取全流程操作。

Firecrawl 的特点

  • 会抓取所有可访问的子页面,即使没有站点地图(sitemap)。
  • 即使网站使用 JavaScript 来渲染内容,也能采集数据。
  • 返回干净、格式良好的 Markdown 文档,可直接用于 LLM 应用程序中。
  • 抓取过程支持并行处理,能快速返回结果。
  • 会缓存内容,除非有新内容出现,否则您无需等待全面搜索。
  • 由 LLM 工程师打造,为您提供您想要的干净数据。

Firecrawl 近期还上线了一个新的功能 —— LLM Extract,即利用大语言模型(LLM)快速完成网页数据的提取。

如何使用 Firecrewl

Firecrewl 提供了多种开箱即用的使用方式,不仅支持 API 或 SDK 集成,还支持在 LangChain 或 Llama Index 等框架中直接使用。

  • API
  • Python SDK
  • Node SDK
  • Langchain Integration[2] ?
  • Llama Index Integration[3] ?
  • LangchainJS[4] ?
  • Zapier

除了上述的方式外,Firecrewl 还支持本地部署。

Firecrewl 快速上手

前置条件

首先,你需要注册 Firecrawl 并获取 API key。

一、使用 API

1.抓取 URL

用于抓取 URL 和所有可访问的子页面。提交抓取任务并返回任务 ID,以检查抓取状态。

curl -X POST https://api.firecrawl.dev/v0/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://mendable.ai"
    }'

成功调用 API 之后,会返回一个 jobId

{ "jobId": "1234-5678-9101" }

2.获取指定抓取任务的状态

用于检查抓取任务的状态并获取其结果。

curl -X GET https://api.firecrawl.dev/v0/crawl/status/1234-5678-9101 \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY'

成功调用 API 之后,会以 JSON 的格式返回爬取任务的状态:

{
  "status""completed",
  "current"22,
  "total"22,
  "data": [
    {
      "content""Raw Content ",
      "markdown""# Markdown Content",
      "provider""web-scraper",
      "metadata": {
        "title""Mendable | AI for CX and Sales",
        "description""AI for CX and Sales",
        "language"null,
        "sourceURL""https://www.mendable.ai/"
      }
    }
  ]
}

二、使用 Python SDK

1.安装 Python SDK

pip install firecrawl-py

2.抓取网站

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="YOUR_API_KEY")

crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})

# Get the markdown
for result in crawl_result:
    print(result['markdown'])

3.抓取单个 URL 要抓取单个 URL,请使用 scrape_url 方法。该方法将 URL 作为参数,并以字典形式返回抓取的数据。

url = 'https://example.com'
scraped_data = app.scrape_url(url)

三、使用 Node SDK

1.安装 Node SDK

npm install @mendable/firecrawl-js

2.抓取网站

要抓取网站,请使用 crawlUrl 方法。它将起始 URL 和可选参数作为参数。params 参数允许您为爬取任务指定其他选项。比如,要爬取的最大页面数、允许的域和输出格式。

const crawlUrl = 'https://example.com';
const params = {
  crawlerOptions: {
    excludes: ['blog/'],
    includes: [], // leave empty for all pages
    limit1000,
  },
  pageOptions: {
    onlyMainContenttrue
  }
};
const waitUntilDone = true;
const timeout = 5;
const crawlResult = await app.crawlUrl(
  crawlUrl,
  params,
  waitUntilDone,
  timeout
);

3.抓取 URL

要抓取单个 URL,请使用 scrapeUrl 方法。该方法将 URL 作为参数,并以字典形式返回抓取的数据。

try {
  const url = 'https://example.com';
  const scrapedData = await app.scrapeUrl(url);
  console.log(scrapedData);

catch (error) {
  console.error(
    'Error occurred while scraping:',
    error.message
  );
}

4.从指定 URL 抽取结构化数据

通过 LLM Extract,您可以轻松地从任何 URL 提取结构化数据。Firecrawl 支持 zod 模式,让您的工作更轻松。以下是使用方法:

import FirecrawlApp from "@mendable/firecrawl-js";
import { z } from "zod";

const app = new FirecrawlApp({
  apiKey"fc-YOUR_API_KEY",
});

// Define schema to extract contents into
const schema = z.object({
  top: z
    .array(
      z.object({
        title: z.string(),
        points: z.number(),
        by: z.string(),
        commentsURL: z.string(),
      })
    )
    .length(5)
    .describe("Top 5 stories on Hacker News"),
});

const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {
  extractorOptions: { extractionSchema: schema },
});

console.log(scrapeResult.data["llm_extraction"]);

5.使用搜索查询

使用 search 方法,您可以在搜索引擎中搜索查询,并获得排名靠前的结果以及每个结果的页面内容。该方法将 query 查询短语作为参数,并返回搜索结果。

const query = 'what is mendable?';
const searchResults = await app.search(query, {
  pageOptions: {
    fetchPageContenttrue // Fetch the page content for each search result
  }
});

四、在 Langchain 中使用

Firecrawl 以文档加载器的方式与 Langchain 集成。

1.安装 firecrawl-py

pip install firecrawl-py

2.使用 FireCrawlLoader

crawl 模式:抓取网站和所有可访问的子页面,并 Markdown 格式返回每个子页面。

from langchain_community.document_loaders import FireCrawlLoader

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY"
    url="https://firecrawl.dev"
    mode="crawl"
)

docs = loader.load()

scrape 模式: 抓取单个网址并以 Markdown 格式返回当前页面。

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY",
    url="https://firecrawl.dev",
    mode="scrape",
)

data = loader.load()

五、在 Langchain JS 中使用

1.安装 @mendableai/firecrawl-js

npm install @mendableai/firecrawl-js

2.使用 FireCrawlLoader

import { FireCrawlLoader } from "langchain/document_loaders/web/firecrawl";

const loader = new FireCrawlLoader({
  url"https://firecrawl.dev"// The URL to scrape
  apiKey: process.env.FIRECRAWL_API_KEY, // Optional, defaults to `FIRECRAWL_API_KEY` in your env.
  mode"scrape"// The mode to run the crawler in. Can be "scrape" for single urls or "crawl" for all accessible subpages
  params: {
    // optional parameters based on Firecrawl API docs
    // For API documentation, visit https://docs.firecrawl.dev
  },
});

const docs = await loader.load();

Firecrawl 官网上还提供了 5 个 Firecrawl 的使用示例,比如使用 Groq Llama 3 API 实现 Chat with website 的功能,感兴趣的话,可以阅读官网上的相关文档。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询