我要投稿

让GPT帮你读文档：一种简单的实现方法

发布日期：2024-09-03 05:30:48 浏览次数： 2116 来源：歪思大数据

GPT-4阅读文档的原理与人类阅读类似。想象一下，当您拿到一份数十页的PDF文件时，您会先关注哪些部分？摘要、总结以及目录结构。接着，您会在心里提出若干问题（大约3-5个），并带着这些问题继续阅读。

为了借助GPT-4实现高效阅读，并尝试突破单次 token 数量限制，我们需要使用官方提供的 embedding 工具箱。简单来说，embedding 的原理就是将一段文本压缩成一组向量数据，就像是将文章片段存储到大脑中。

因此，我们的程序分为以下几个步骤：

第一步：清洗并切片PDF文档

对PDF文档进行清洗，去除重复的页眉、页脚以及目录中的过长连字符，以尽量减少API调用次数（毕竟每次调用都需要花费）。
将文档按段落切片，对于过长的段落则拆分成两部分。
将所有切片输入API生成embedding，并将其存储到 parquet 文件格式中，便于后续复用。

第二步：生成概述和提出问题

读取文档前10页（不超过4096个token）的数据量，提交给GPT-4以生成概述。
让GPT-4根据概述提出五个相关问题。至此，阅读文档和提出问题的第一步已完成。

第三步：回答问题

以“问题一”为例，我们需要执行以下操作：

将“问题一”输入API生成embedding-1。
将embedding-1与之前生成的embedding集合进行一一比对，计算余弦相似度。
对数据进行排序，筛选出Top N条相似的embedding。
将第3步筛选出的embedding原文提交给GPT-4，让其生成一段通顺的回答。
输出第3步Top N的embedding原文，以便了解答案来源。

重复以上过程四次，即可让GPT-4回答五个问题。将所有内容整合到一个Markdown文件中保存即可。

第四步：提供额外的问题支持

有时，我们对GPT-4提出的问题可能并不满意，因此需要继续向文档提问。在这里，我们使用Python的input函数在命令行中执行上述提问流程。当我们提出所有想要问的问题后，这些后续问题的回答将整合到另一个Markdown文件中，并保存在与PDF文件同一路径下。

通过以上步骤，我们可以利用GPT-4更高效地阅读文档，并对文档内容进行深入理解。这种方法既节省了时间，又提高了工作效率，使得我们能够更轻松地处理大量文档资料。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-03-15

什么是RAG？大模型和RAG有什么关系？

2025-03-15

RAG效果差竟因文本切片！深入理解LangChain4J NLP方案

2025-03-15

NLP+图技术：如何低成本打造高效GraphRAG应用？

2025-03-15

使用 Ollama 本地模型与 Spring AI Alibaba 的强强结合，打造下一代 RAG 应用

2025-03-14

一文学会基于LangChain开发大模型RAG知识问答应用

2025-03-14

GraphRAG落地难，微软工业级RAG+Agent实施方案

2025-03-14

Embedding向量模型在RAG本地知识库中如何使用

2025-03-14

DeepSearch/DeepResearch中最优文本段选择和URL重排

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

什么是RAG？大模型和RAG有什么关系？

2025-03-15

NLP+图技术：如何低成本打造高效GraphRAG应用？

2025-03-15

为什么RAG一定需要Rerank？

2025-03-13

如何提升RAG知识库文档的召回准确率？

2025-03-13

什么是Embedding向量模型？我们应该如何选择？

2025-03-11

Graph RAG 迎来记忆革命：“海马体”机制如何提升准确率？

2025-03-05

谷歌放大招！RAG 技术已死？

2025-03-03

知识库对决：知乎、钉钉、腾讯、谷歌，谁更懂你的资料？

2025-03-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB