微信扫码
与创始人交个朋友
我要投稿
在实际业务场景中,我们经常需要从各种数据源加载数据。LangChain 提供了一套强大的文档加载器模块,帮助开发者轻松地将数据源中的内容加载为文档对象。本文将详细介绍 LangChain 的 Document Loaders 核心模块,并结合实际业务场景和代码示例,展示如何高效地加载和处理文档数据。
Document 类是 LangChain 的核心组件之一,定义了一个文档对象的结构,包括文本内容和相关的元数据。该类允许用户与文档内容进行交互,如查看文档段落、摘要,以及使用查找功能来查询特定字符串。以下是 Document 类源码:
# 基于BaseModel定义的文档类。
class Document(BaseModel):
"""接口,用于与文档进行交互。"""
# 文档的主要内容。
page_content: str
# 用于查找的字符串。
lookup_str: str = ""
# 查找的索引,初次默认为0。
lookup_index = 0
# 用于存储任何与文档相关的元数据。
metadata: dict = Field(default_factory=dict)
def paragraphs(self) -> List[str]:
"""页面的段落列表。"""
# 使用"\n\n"将内容分割为多个段落。
return self.page_content.split("\n\n")
def summary(self) -> str:
"""页面的摘要(即第一段)。"""
# 返回第一个段落作为摘要。
return self.paragraphs[0]
# 这个方法模仿命令行中的查找功能。
def lookup(self, string: str) -> str:
"""在页面中查找一个词,模仿cmd-F功能。"""
# 如果输入的字符串与当前的查找字符串不同,则重置查找字符串和索引。
if string.lower() != self.lookup_str:
self.lookup_str = string.lower()
self.lookup_index = 0
else:
# 如果输入的字符串与当前的查找字符串相同,则查找索引加1。
self.lookup_index += 1
# 找出所有包含查找字符串的段落。
lookups = [p for p in self.paragraphs if self.lookup_str in p.lower()]
# 根据查找结果返回相应的信息。
if len(lookups) == 0:
return "No Results"
elif self.lookup_index >= len(lookups):
return "No More Results"
else:
result_prefix = f"(Result {self.lookup_index + 1}/{len(lookups)})"
return f"{result_prefix} {lookups[self.lookup_index]}"
BaseLoader 类定义了如何从不同的数据源加载文档,并提供了一个可选的方法来分割加载的文档。开发者可以基于该类为特定数据源创建自定义加载器。以下是 BaseLoader 类的定义:
# 基础加载器类。
class BaseLoader(ABC):
"""基础加载器类定义。"""
# 抽象方法,所有子类必须实现此方法。
def load(self) -> List[Document]:
"""加载数据并将其转换为文档对象。"""
# 该方法可以加载文档,并将其分割为更小的块。
def load_and_split(
self, text_splitter: Optional[TextSplitter] = None
) -> List[Document]:
"""加载文档并分割成块。"""
# 如果没有提供特定的文本分割器,使用默认的字符文本分割器。
if text_splitter is None:
_text_splitter: TextSplitter = RecursiveCharacterTextSplitter()
else:
_text_splitter = text_splitter
# 先加载文档。
docs = self.load()
# 然后使用_text_splitter来分割每一个文档。
return _text_splitter.split_documents(docs)
class TextLoader(BaseLoader):
def __init__(self, filepath):
self.filepath = filepath
def load(self):
with open(self.filepath, 'r', encoding='utf-8') as file:
text = file.read()
return [Document(text)]
# 示例使用
text_loader = TextLoader('example.txt')
documents = text_loader.load()
print(documents[0].summary())# 输出文件的前100个字符...
ArxivLoader 类专门用于从 ArXiv 平台获取文档。用户提供一个搜索查询,加载器与 ArXiv API 交互,检索相关文档列表并返回 Document 对象。以下是一个示例:
class ArxivLoader(BaseLoader):
def __init__(self, query):
self.query = query
def load(self):
# 模拟与 ArXiv API 的交互
results = self.query_arxiv(self.query)
return [Document(result['summary'], result) for result in results]
def query_arxiv(self, query):
# 伪代码,实际需要调用 ArXiv API
return [
{'summary': '论文1摘要...', 'title': '论文1标题', 'authors': '作者1'},
{'summary': '论文2摘要...', 'title': '论文2标题', 'authors': '作者2'}
]
# 示例使用
arxiv_loader = ArxivLoader('deep learning')
documents = arxiv_loader.load()
for doc in documents:
print(doc.summary())
UnstructuredURLLoader 使用非结构化分区函数(Unstructured)来检测 MIME 类型并将文件路由到适当的分区器。它支持两种模式:"single" 和 "elements"。以下是一个加载网页内容的示例:
from unstructured.partition.auto import partition
class UnstructuredURLLoader(BaseLoader):
def __init__(self, urls, mode='single', continue_on_failure=True, **kwargs):
self.urls = urls
self.mode = mode
self.continue_on_failure = continue_on_failure
self.kwargs = kwargs
def load(self):
documents = []
for url in self.urls:
try:
partitioned_text = partition(url, **self.kwargs)
if self.mode == 'single':
documents.append(Document(partitioned_text))
elif self.mode == 'elements':
for element in partitioned_text:
documents.append(Document(element))
except Exception as e:
if not self.continue_on_failure:
raise e
print(f"Failed to load {url}: {e}")
return documents
# 示例使用
urls = ['https://react-lm.github.io/']
url_loader = UnstructuredURLLoader(urls, mode='elements')
documents = url_loader.load()
for doc in documents:
print(doc.summary())
在实际业务中,Document Loaders 模块可以用于多种场景。例如:
财务报表处理:通过 TextLoader 加载公司财务报表的文本文件,进行数据分析和摘要生成。
科研论文检索:使用 ArxivLoader 从 ArXiv 平台加载与公司研究相关的最新论文,进行技术跟踪。
竞争对手分析:通过 UnstructuredURLLoader 加载竞争对手网站的内容,提取关键信息以进行市场分析。
LangChain 的 Document Loaders 模块为从不同数据源加载文档提供了灵活且强大的解决方案。通过了解和使用 Document 类、BaseLoader 类以及各种具体加载器,开发者可以轻松地将各种数据源中的信息整合到自己的项目中,从而提升数据处理和分析的效率。
希望本文能够帮助你更好地理解和应用 LangChain 的 Document Loaders 模块。如果你有任何问题或建议,欢迎留言交流!
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-22
ANTHROPIC:高端的食材往往需要最朴素的烹饪方法: prompt, workflow, agent
2024-12-21
用LangChain教AI模仿你的写作风格:详细教程
2024-12-18
一站式 LLM 工程观测平台:Langfuse,让所有操作可观测
2024-12-17
LLMs开发者必看!Pydantic AI代理框架震撼登场!
2024-12-16
用LangChain实现一个Agent
2024-12-16
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
2024-12-16
大模型部署调用(vLLM+LangChain)
2024-12-14
利用 LangGraph 和代理优化工作流程效率:关键功能、用例和集成...
2024-04-08
2024-08-18
2024-06-03
2024-10-10
2024-04-08
2024-04-17
2024-06-24
2024-07-13
2024-04-11
2024-09-04
2024-12-02
2024-11-25
2024-10-30
2024-10-11
2024-08-18
2024-08-16
2024-08-04
2024-07-29