微信扫码
添加专属顾问
我要投稿
LangChain 非常强大的一点就是封装了非常多强大的工具可以直接使用。降低了使用者的学习成本。比如数据网页爬取。
在其官方文档-网页爬取中,也有非常好的示例。
信息爬取。
RAG 信息检索。
从 ceshiren 网站中获取每个帖子的名称以及其对应的url信息。
ceshiren论坛地址:https://ceshiren.com/
# 定义大模型
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")
# 定义提取方法
def extract(content: str, schema: dict):
from langchain.chains import create_extraction_chain
return create_extraction_chain(schema=schema, llm=llm).invoke(content)
import pprint
from langchain_text_splitters import RecursiveCharacterTextSplitter
def scrape_with_playwright(urls, schema):
# 加载数据
loader = AsyncChromiumLoader(urls)
docs = loader.load()
# 数据转换
bs_transformer = BeautifulSoupTransformer()
# 提取其中的span标签
docs_transformed = bs_transformer.transform_documents(
docs, tags_to_extract=["span"]
)
# 数据切分
splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
chunk_size=1000, chunk_overlap=0)
splits = splitter.split_documents(docs_transformed)
# 因为数据量太大,输入第一片数据使用,传入使用的架构
extracted_content = extract(schema=schema, content=splits[0].page_content)
pprint.pprint(extracted_content)
return extracted_content
urls = ["https://ceshiren.com/"]
schema = {
"properties": {
"title": {"type": "string"},
"url": {"type": "string"},
},
"required": ["title", "url"],
}
extracted_content = scrape_with_playwright(urls, schema=schema)
了解网页爬取的实现思路以及相关技术。
通过LangChain实现爬取测试人网页的标题和url。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-03
Langchain与LlamaIndex应该选哪个
2025-04-01
langchain4j+Chroma小试牛刀
2025-03-31
Manus行不行我不知道,但LangManus是真行!
2025-03-31
LangManus:打造下一代智能助手的多智能体架构解析
2025-03-30
Langchain v0.3 开发起步
2025-03-25
解锁 Langchain v0.3 — 大模型应用开发新姿势
2025-03-24
10万开发者推荐的LangGraph,Swarm让效率暴涨300%!
2025-03-24
谷歌 AI Agent 白皮书(4)-- 快速入门
2024-10-10
2024-07-13
2024-04-08
2024-06-03
2024-09-04
2024-08-18
2024-04-08
2024-06-24
2024-03-28
2024-07-10
2025-03-22
2025-03-22
2025-03-15
2025-02-05
2024-12-02
2024-11-25
2024-10-30
2024-10-11