我要投稿

让GPT帮你读文档：一种简单的实现方法

发布日期：2024-09-03 05:30:48 浏览次数： 1765 来源：歪思大数据

GPT-4阅读文档的原理与人类阅读类似。想象一下，当您拿到一份数十页的PDF文件时，您会先关注哪些部分？摘要、总结以及目录结构。接着，您会在心里提出若干问题（大约3-5个），并带着这些问题继续阅读。

为了借助GPT-4实现高效阅读，并尝试突破单次 token 数量限制，我们需要使用官方提供的 embedding 工具箱。简单来说，embedding 的原理就是将一段文本压缩成一组向量数据，就像是将文章片段存储到大脑中。

因此，我们的程序分为以下几个步骤：

第一步：清洗并切片PDF文档

对PDF文档进行清洗，去除重复的页眉、页脚以及目录中的过长连字符，以尽量减少API调用次数（毕竟每次调用都需要花费）。
将文档按段落切片，对于过长的段落则拆分成两部分。
将所有切片输入API生成embedding，并将其存储到 parquet 文件格式中，便于后续复用。

第二步：生成概述和提出问题

读取文档前10页（不超过4096个token）的数据量，提交给GPT-4以生成概述。
让GPT-4根据概述提出五个相关问题。至此，阅读文档和提出问题的第一步已完成。

第三步：回答问题

以“问题一”为例，我们需要执行以下操作：

将“问题一”输入API生成embedding-1。
将embedding-1与之前生成的embedding集合进行一一比对，计算余弦相似度。
对数据进行排序，筛选出Top N条相似的embedding。
将第3步筛选出的embedding原文提交给GPT-4，让其生成一段通顺的回答。
输出第3步Top N的embedding原文，以便了解答案来源。

重复以上过程四次，即可让GPT-4回答五个问题。将所有内容整合到一个Markdown文件中保存即可。

第四步：提供额外的问题支持

有时，我们对GPT-4提出的问题可能并不满意，因此需要继续向文档提问。在这里，我们使用Python的input函数在命令行中执行上述提问流程。当我们提出所有想要问的问题后，这些后续问题的回答将整合到另一个Markdown文件中，并保存在与PDF文件同一路径下。

通过以上步骤，我们可以利用GPT-4更高效地阅读文档，并对文档内容进行深入理解。这种方法既节省了时间，又提高了工作效率，使得我们能够更轻松地处理大量文档资料。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

微软开源的GraphRAG解读

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG搭建中，如何选择最合适的向量索引？

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

热门标签