AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用五种不同方法进行网页爬取:你需要知道的一切
发布日期:2024-07-04 11:22:30 浏览次数: 2524 来源:三人行AI



简介

网页爬取是通过编程或专用工具自动提取网站数据的过程。它适用于市场研究、数据分析、内容聚合和竞争情报等任务。这种高效的方法可以节省时间、改善决策,并允许企业研究趋势和模式,使其成为从互联网提取有价值信息的强大工具。

由于我在上一篇文章中收到了很多积极的反馈,我想深入探讨这个许多人感兴趣的话题。除了 BeautifulSoup、Scrapy 和 Selenium,你是否考虑过使用 LLM 进行网页爬取?这是一种值得你关注的技术。

开始吧!!!

如果你知道 Python 但不了解 HTML,你应该首先了解 HTML 的基础知识。

一、了解基本的 HTML

HTML 是网页的基本组成部分。通过一组标签来结构化互联网上的内容。标签就像容器,将各种元素包装起来,定义它们在网页上的结构和外观。

HTML 元素 (维基百科)

1. HTML 的结构

一个 HTML 文档由两部分组成:头部和主体。

头部包含元数据,如页面标题和链接到外部资源的链接。主体包含网页的内容,包括文本、图片和其他多媒体元素。

以下是一个简单的 HTML 模板:

<!DOCTYPE html><html><head><title>我的第一个网页</title></head><body><h1>你好,世界!</h1><p>这是一个简单的网页。</p></body></html>

2. HTML 标签

标签是 HTML 的核心。它们定义了网页上的不同元素。一些常见的标签包括:

<h1> 到 <h6>:标题,其中 <h1> 是最大的,<h6> 是最小的。<p>:文本段落。<a>:超链接,允许你导航到其他页面。<img>:图片。<ul><ol><li>:列表,包括无序列表和有序列表。

3. 属性

属性为 HTML 元素提供附加信息。它们总是包含在开标签中,并作为名称/值对指定。例如,<a> 标签中的 href 属性定义了超链接的目的地。

<a href="https://www.example.com">访问示例网站</a>

4. 如何检查网站中的元素

大多数网络浏览器都提供内置的元素检查工具。要打开此工具,右键点击网页并选择“检查”。在这里你可以查看 HTML 代码并识别包含你想要提取数据的标签。

选择器帮助精确定位网页上的特定元素。常见的选择器包括:

元素选择器:element 选择所有指定 HTML 元素的实例。类选择器:.class 选择所有具有指定类的元素。ID 选择器:#id 选择具有指定 ID 的唯一元素。

例如:

检查 IMDB 网站

二、如何进行“网页爬取”

❗免责声明
本文不涉及非法用途的网页爬取。在提取内容之前,请确保你有权限。检查方法包括:

查看网站的使用条款,查找是否提及爬取权限。在有可用的 API 时使用 API。API 提供对数据的合法访问。直接联系网站所有者以明确你的权限。

好的,假设你已经意识到你的行为。让我们开始。

以下是 2022 年动作电影的 URL:https://www.imdb.com/list/ls566941243/。我将使用 5 种不同的方法从这个网站爬取[‘Title’, ‘Genre’, ‘Stars’, ‘Runtime’, ‘Rating’]数据。

# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"

? 你可以在这个 GitHub 仓库[1]中找到完整的代码。首先,请安装 requirements.txt 中列出的所需 Python 包。

方法 1:BeautifulSoup 和 Requests

第一种方法使用流行的 BeautifulSoup  Requests 库。这些工具使分析 HTML 和导航网页结构变得容易。以下是一个示例 Python 代码。

import requestsfrom bs4 import BeautifulSoupimport pandas as pd
# 第一步:向指定 URL 发送 GET 请求response = requests.get(url)
# 第二步:使用 BeautifulSoup 解析响应的 HTML 内容soup = BeautifulSoup(response.text, 'html.parser')
# 第三步:将 HTML 内容保存到文本文件以供参考with open("imdb.txt", "w", encoding="utf-8") as file:file.write(str(soup))print("页面内容已保存到 imdb.txt")
# 第四步:从解析的 HTML 中提取电影数据并存储在列表中movies_data = []for movie in soup.find_all('div', class_='lister-item-content'):title = movie.find('a').textgenre = movie.find('span', class_='genre').text.strip()stars = movie.find('div', class_='ipl-rating-star').find('span', class_='ipl-rating-star__rating').textruntime = movie.find('span', class_='runtime').textrating = movie.find('span', class_='ipl-rating-star__rating').textmovies_data.append([title, genre, stars, runtime, rating])
# 第五步:从提取的电影数据创建 Pandas DataFramedf = pd.DataFrame(movies_data, columns=['Title', 'Genre', 'Stars', 'Runtime', 'Rating'])
# 显示结果 DataFramedf

在每种网页爬取方法中,我将 HTML 保存到 imdb.txt 文件中,以更清楚地查看目标 HTML 元素。将 HTML 内容保存到 txt 文件中(图片由作者提供)

将 HTML 内容保存到 txt 文件中(图片由作者提供)

最终输出:

使用 BeautifulSoup 和 Requests 进行网页爬取(图片由作者提供)

方法 2:Scrapy

Scrapy 是一个强大且灵活的网页爬取框架。以下是展示如何使用 Scrapy 的代码片段,注释中有解释:

# 导入必要的库import scrapyfrom scrapy.crawler import CrawlerProcess
# 定义用于 IMDb 数据提取的 Spider 类class IMDbSpider(scrapy.Spider):# 爬虫的名称name = "imdb_spider"# 爬虫开始爬取的 URL 列表start_urls = ["https://www.imdb.com/list/ls566941243/"]
# 解析方法,从网页中提取数据def parse(self, response):# 遍历网页上的每个电影项for movie in response.css('div.lister-item-content'):yield {'title': movie.css('h3.lister-item-header a::text').get(),'genre': movie.css('p.text-muted span.genre::text').get(),'runtime': movie.css('p.text-muted span.runtime::text').get(),'rating': movie.css('div.ipl-rating-star span.ipl-rating-star__rating::text').get(),}
# 初始化带有设置的 CrawlerProcess 实例process = CrawlerProcess(settings={'FEED_FORMAT': 'json','FEED_URI': 'output.json',# 每次运行爬虫时都会覆盖该文件})
# 将 IMDbSpider 添加到爬取进程中process.crawl(IMDbSpider)# 启动爬取进程process.start()
import pandas as pd
# 将 output.json 文件读入 DataFrame(jsonlines 格式)df = pd.read_json('output.json')
# 显示 DataFramedf.head()

在这个示例中,我使用的是 Jupyter Notebook。如果遇到 ReactorNotRestartable错误,只需重启内核并再次运行代码。

示例:使用 Scrapy 时出现 ReactorNotRestartable 错误

显示数据在 DataFrame 中:

import pandas as pd
# 将 output.json 文件读入 DataFrame(jsonlines 格式)df = pd.read_json('output.json')
# 显示 DataFramedf.head()

方法 3:Selenium

Selenium 通常用于动态网页爬取。以下是一个基本示例:

from selenium import webdriverfrom bs4 import BeautifulSoupimport pandas as pd
# IMDb 列表的 URLurl = "https://www.imdb.com/list/ls566941243/"
# 设置 Chrome 选项以无痕模式运行浏览器chrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--incognito")
# 初始化带有指定选项的 Chrome 驱动driver = webdriver.Chrome(options=chrome_options)
# 导航到 IMDb 列表 URLdriver.get(url)
# 等待页面加载(根据您的网页调整等待时间)driver.implicitly_wait(10)
# 获取页面完全加载后的 HTML 内容html_content = driver.page_source
# 使用 BeautifulSoup 解析 HTML 内容soup = BeautifulSoup(html_content, 'html.parser')
# 将 HTML 内容保存到文本文件以供参考with open("imdb_selenium.txt", "w", encoding="utf-8") as file:file.write(str(soup))print("页面内容已保存到 imdb_selenium.txt")
# 从解析的 HTML 中提取电影数据movies_data = []for movie in soup.find_all('div', class_='lister-item-content'):title = movie.find('a').textgenre = movie.find('span', class_='genre').text.strip()stars = movie.select_one('div.ipl-rating-star span.ipl-rating-star__rating').textruntime = movie.find('span', class_='runtime').textrating = movie.select_one('div.ipl-rating-star span.ipl-rating-star__rating').textmovies_data.append([title, genre, stars, runtime, rating])
# 从收集的电影数据创建 Pandas DataFramedf = pd.DataFrame(movies_data, columns=['Title', 'Genre', 'Stars', 'Runtime', 'Rating'])
# 显示结果 DataFrameprint(df)
# 关闭 Chrome 驱动driver.quit()

最终输出:

使用 Selenium 进行网页爬取(图片由作者提供)

Selenium 的关键在于其 Chrome 选项,这些选项是用于自定义由 Selenium WebDriver 控制的 Chrome 浏览器行为的设置。这些选项可以控制无痕模式、窗口大小、通知等方面。

以下是一些您可能会发现有用的重要 Chrome 选项:

# 以无痕(私密浏览)模式运行浏览器chrome_options.add_argument("--incognito")
# 以无头模式运行浏览器,即没有图形用户界面。适用于在后台运行 Selenium 测试而不打开可见的浏览器窗口chrome_options.add_argument("--headless")
# 设置浏览器的初始窗口大小chrome_options.add_argument("--window-size=1200x600")
# 禁用浏览器通知chrome_options.add_argument("--disable-notifications")
# 禁用浏览器顶部出现的信息栏chrome_options.add_argument("--disable-infobars")
# 禁用浏览器扩展chrome_options.add_argument("--disable-extensions")
# 禁用 GPU 硬件加速chrome_options.add_argument("--disable-gpu")
# 禁用 Web 安全功能,这对于在 localhost 上测试没有 CORS 问题时很有用chrome_options.add_argument("--disable-web-security")

这些选项可以根据您的需求进行组合或单独使用。当创建 webdriver.Chrome 实例时,您可以通过 options 参数传递这些选项:

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--incognito")chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)

这些选项在使用 Selenium 进行网页自动化或测试时提供了灵活性和对浏览器行为的控制。根据您的具体用例和需求选择选项。

方法 4:Requests 和 lxml

lxml 是一个 Python 库,链接到 C 库 libxml2 和 libxslt,将速度和 XML 功能与简单的原生 Python API 结合起来,类似于 ElementTree,但有更多的优势。

import requestsfrom lxml import htmlimport pandas as pd
# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"
# 发送 HTTP 请求到 URL 并获取响应response = requests.get(url)
# 使用 lxml 解析 HTML 内容tree = html.fromstring(response.content)
# 从解析的 HTML 中提取电影数据titles = tree.xpath('//h3[@class="lister-item-header"]/a/text()')genres = [', '.join(genre.strip() for genre in genre_list.xpath(".//text()")) for genre_list in tree.xpath('//p[@class="text-muted text-small"]/span[@class="genre"]')]ratings = tree.xpath('//div[@class="ipl-rating-star small"]/span[@class="ipl-rating-star__rating"]/text()')runtimes = tree.xpath('//p[@class="text-muted text-small"]/span[@class="runtime"]/text()')
# 创建包含提取数据的字典data = {'Title': titles,'Genre': genres,'Rating': ratings,'Runtime': runtimes}
# 从字典创建 DataFramedf = pd.DataFrame(data)
# 显示结果 DataFramedf.head()

方法 5:如何使用 LangChain 进行网页爬取

我打赌所有对本文感兴趣的读者都知道 ChatGPT 和 BARD。大型语言模型(LLM)让生活变得更简单。你可以用它们来执行各种任务,比如询问“谁是唐纳德·特朗普?”或“将句子从德语翻译成英语”,并获得快速答案。好消息是你也可以用它们进行网页爬取。以下是方法。

? 有关此演示的有用 LangChain 资源:

LangChain Beautiful Soup[2]LangChain Extraction[3]

使用 LangChain LLM 进行网页爬取(图片由作者提供)

每行代码的简要解释已在注释中提供。

import osimport dotenvimport time
# 从 .env 文件加载环境变量dotenv.load_dotenv()
# 从环境变量中检索 OpenAI 和 Comet 密钥MY_OPENAI_KEY = os.getenv("MY_OPENAI_KEY")MY_COMET_KEY = os.getenv("MY_COMET_KEY")

在我的 LLM 项目中,我通常会在 Comet 项目中记录输出。在这个演示中,我只使用一个 URL。但是,如果你需要遍历多个 URL,Comet LLM 的实验跟踪非常有用。

? 了解更多关于 Comet LLM 的信息。

? 如何获取 API 密钥:OpenAI 帮助中心——在哪里可以找到我的 API 密钥?;CometLLM——获取你的 API 密钥

import comet_llm
# 初始化 Comet 项目comet_llm.init(project="langchain-web-scraping", api_key=MY_COMET_KEY)
# 通过应用 nest_asyncio 解决异步问题import nest_asyncionest_asyncio.apply()
# 从 langchain 导入所需模块from langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import AsyncChromiumLoaderfrom langchain_community.document_transformers import BeautifulSoupTransformerfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.chains import create_extraction_chain
# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"
# 使用 OpenAI API 密钥初始化 ChatOpenAI 实例llm = ChatOpenAI(openai_api_key=MY_OPENAI_KEY)
# 使用 AsyncChromiumLoader 加载 HTML 内容loader = AsyncChromiumLoader([url])docs = loader.load()
# 将 HTML 内容保存到文本文件以供参考with open("imdb_langchain_html.txt", "w", encoding="utf-8") as file:file.write(str(docs[0].page_content))print("页面内容已保存到 imdb_langchain_html.txt")
# 使用 BeautifulSoupTransformer 转换加载的 HTMLbs_transformer = BeautifulSoupTransformer()docs_transformed = bs_transformer.transform_documents(docs, tags_to_extract=["h3", "p"])
# 使用 RecursiveCharacterTextSplitter 拆分转换后的文档splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(chunk_size=1000, chunk_overlap=0)splits = splitter.split_documents(docs_transformed)

请注意,根据您的需要,您可能需要探索 HTML 布局以选择合适的 tags_to_extract。在这个演示中,我正在提取电影标题类型评分时长,因此我将使用 <h3> 和 <p> 标签。

基本上,在获取所需的 HTML 之后,我们会问 LLM:“嘿 LLM,使用这个 HTML,请根据以下架构填写信息。”

# 定义用于电影数据验证的 JSON 架构schema = {"properties": {"movie_title": {"type": "string"},"stars": {"type": "integer"},"genre": {"type": "array", "items": {"type": "string"}},"runtime": {"type": "string"},"rating": {"type": "string"},},"required": ["movie_title", "stars", "genre", "runtime", "rating"],}
def extract_movie_data(content: str, schema: dict):"""使用指定的 JSON 架构从内容中提取电影数据。
参数:- content (str): 包含电影数据的文本内容。- schema (dict): 用于验证电影数据的 JSON 架构。
返回:- dict: 提取的电影数据。"""# 使用提供的架构和内容运行提取链start_time = time.time()extracted_content = create_extraction_chain(schema=schema, llm=llm).run(content)end_time = time.time()
# 在 Comet 项目中记录元数据和输出以进行跟踪comet_llm.log_prompt(prompt=str(content),metadata={"schema": schema},output=extracted_content,duration=end_time - start_time,)
return extracted_content

最后,我们得到了结果:

# 使用定义的架构和第一个拆分页面内容提取电影数据extracted_content = extract_movie_data(schema=schema, content=splits[0].page_content)
# 显示提取的电影数据print(extracted_content)

最终输出:

输出:使用 LangChain LLM 进行网页爬取(图片由作者提供)

关于 LLM,还有很多值得探索的内容。想了解更多 LLM 主题?在评论中分享你的想法吧!

如何使用 OpenAI 创建一个简单的电子商务聊天机器人

忘记复杂的深度学习算法——使用 OpenAI 制作聊天机器人简单得多。 heartbeat.comet.ml[4]

如何在 LangChain 中增强具有记忆功能的对话代理

LangChain 对话记忆类型:优缺点及代码示例 heartbeat.comet.ml[5]

❗ 注意事项 网页爬取并不像你想象的那么简单。你可能会遇到一些挑战:

动态网站结构:现代网站使用动态 JavaScript 结构,需要像 Selenium 这样的工具进行准确的数据提取。反爬取:IP 封锁和 CAPTCHA 是常见的阻碍。诸如 IP 地址轮换等策略可以帮助克服这些障碍。法律和伦理考虑:为了避免法律后果,遵守网站的使用条款非常重要。优先考虑伦理实践并请求许可。数据质量和一致性:在更新网站时维护数据质量是一个持续的挑战。定期更新你的爬取脚本以确保准确和可靠的提取。

结论

网页爬取值得一试。它可能看起来不像一项正式工作,但实际上使用 Python、JavaScript 和 HTML 非常有趣。收集网站信息的方法有很多。我希望你不仅仅尝试网页爬取,还能实现 LLM 技术。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询