微信扫码
与创始人交个朋友
我要投稿
环境搭建
langchain==0.2.9 torch html2text paddlepaddle paddleocr
文本提取
import cv2
from paddleocr import PPStructure
table_engine = PPStructure(show_log=True, use_gpu=False, lang='ch')
img_path = r'./2.jpg'
img = cv2.imread(img_path)
result = table_engine(img)
html = result[0]['res']['html']
print(len(html))
# 2723
提取的文本是html格式的,占据了很多无用的格式提示词,我们将它转为markdown格式,这样可以有效的减少输入长度:
import html2text
markdown = html2text.html2text(html)
print(len(markdown))
# 1051
定义模型
from langchain_openai import ChatOpenAIchat_model = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)
也可以加载自己的模型,可参考RAG:Langchain中使用自己的LLM大模型:
from langchain_huggingface import HuggingFacePipeline
from langchain_huggingface import ChatHuggingFace
llm = HuggingFacePipeline.from_model_id(
model_id="./Qwen/Qwen2-0.5B-Instruct",
task="text-generation",
pipeline_kwargs=dict(
max_new_tokens=512,
do_sample=False,
),
)
chat_model = ChatHuggingFace(llm=llm)
这样我们就构建好了自己的模型,后面的应用流程可以灵活配置。
要素提取
from langchain_core.prompts import ChatPromptTemplate
# 创建Prompt模板
chat_prompt_template = ChatPromptTemplate.from_messages([
("system", "You are a helpful assistant"),
("user", "根据表格内容回答下面问题:\n表格内容:\n{context}\nQuestion: {question}\nAnswer:")
])
# 流程搭建
chain = chat_prompt_template | chat_model.bind(skip_prompt=True)
# 问答运行
res = chain.invoke({"context": markdown, "question": "姓名是什么?"})
# res.content# 赵开心
res = chain.invoke({"context": markdown, "question": "婚姻状况?"})
# res.content# 婚姻状况为未婚。
由于0.5B的模型比较小,我们做要素问答效果比较好,如果想一次性提取,那么可以使用更大的模型。下篇文章将介绍怎么做一次性结构化提取,prompt该怎么写。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-13
只需8步,手把手教你用LangGraph创建AI智能体
2024-11-13
使用 LangChain 建立一个会话式的 RAG Agent 系统
2024-11-12
一文深度了解Agent智能体以及认知架构
2024-11-12
使用LangChain建立检索增强生成(RAG)系统
2024-11-11
Qwen-Agent 核心点说明
2024-11-11
吴恩达分享五个AI趋势,重点谈了多AI代理的美好前景
2024-11-11
使用 LangChain 构建一个 Agent(智能体/代理)
2024-11-10
使用 LangChain 构建一个有记忆的聊天机器人
2024-08-18
2024-04-08
2024-06-03
2024-04-08
2024-04-17
2024-06-24
2024-04-12
2024-04-10
2024-07-01
2024-04-11
2024-10-30
2024-10-11
2024-08-18
2024-08-16
2024-08-04
2024-07-29
2024-07-28
2024-07-27