我要投稿

RAG数据集自动构造探索, 附PROMPT

发布日期：2024-08-27 16:27:48 浏览次数： 1830 来源：哎呀AIYA

从文档中手动创建数百个 QA（问题-上下文-答案）样本可能非常耗时且劳动密集。此外，人工生成的问题可能难以达到全面评估所需的复杂程度，最终影响评估的质量。通过使用合成数据生成，开发人员在数据聚合过程中的时间可以减少 90%。

理想的数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。默认情况下，LLM 不擅长创建多样化的样本，因为它倾向于遵循共同的路径。今天我们介绍Ragas中创建数据的方法，Ragas 采用了一种新颖的方法来生成数据，通过采用进化生成范式实现了这一点，其中具有不同特征的问题（例如推理、条件、多上下文等）是从提供的文档集中系统地制作出来的。这种方法可确保全面覆盖管道中各个组件的性能，从而实现更强大的训练和评估过程。

方法介绍

大型语言模型 (LLM) 能够有效地将简单问题转化为更复杂的问题。为了从提供的文档中生成中等难度到困难难度的样本，我们采用了以下方法：

推理：重写问题，以增强推理的需要，从而有效地回答问题。
增加条件：修改问题以引入条件元素，这增加了问题的复杂性。
多上下文：以需要来自多个相关部分或块的信息来形成答案的方式重新措辞问题。
对话式：部分问题经过演化，可以转化为对话式样本。这些问题模拟了聊天式的问答互动，模仿了聊天式问答流程。

实现Prompt展示

推理

根据提供的上下文将问题重写为多跳推理问题，从而使给定问题复杂化。回答这个问题应该要求读者利用给定上下文中的信息做出多个逻辑联系或推断。改写题目时要遵循的规则:1. 确保改写后的问题可以完全根据上下文提供的信息来回答。2. 不要提出超过15个单词的问题。尽可能使用缩写。3. 确保你的问题清晰明了。4. “基于所提供的上下文”、“根据上下文”等短语不允许出现在问题中。

多上下文

任务是重写并使给定的问题复杂化，使回答问题需要从context1和context2中获得信息。按照下面给出的规则重写问题。1. 改写后的问题不应该很长。尽可能使用缩写。2. 改写后的问题必须是合理的，必须被人类理解和回应。3. 改写后的问题必须完全符合上下文1和上下文2中的信息。4. 阅读并理解上下文中的内容，然后重写问题，这样回答问题时就需要同时了解上下文1和上下文2。5. 像“基于提供的上下文”、“根据上下文?”等不允许出现在问题中。

条件prompt

通过引入条件元素重写提供的问题以增加其复杂性。目标是通过加入影响问题上下文的场景或条件，使问题更加复杂。按照下面给出的规则重写问题。1. 改写后的问题不应超过25个单词。尽可能使用缩写。2. 改写后的问题必须是合理的，必须被人类理解和回应。3. 改写后的问题必须能从目前的信息中完全回答。

对话式

将提供的问题重新格式化为两个单独的问题，就像它是对话的一部分一样。每个问题都应该集中在与原问题相关的一个特定方面或子主题上。按照下面给出的规则重写问题。1. 改写后的问题不应超过25个单词。尽可能使用缩写。2. 改写后的问题必须是合理的，必须被人类理解和回应。3. 改写后的问题必须能从目前的信息中完全回答。4. 像“提供上下文”、“根据上下文?”等不允许出现在问题中。

详细可参考：

https://github.com/explodinggradients/ragas/blob/main/src/ragas/testset/prompts.py

代码实现

from ragas.testset.generator import TestsetGeneratorfrom ragas.testset.evolutions import simple, reasoning, multi_contextfrom langchain_openai import ChatOpenAI, OpenAIEmbeddings
# documents = load your documents
# generator with openai modelsgenerator_llm = ChatOpenAI(model="gpt-3.5-turbo-16k")critic_llm = ChatOpenAI(model="gpt-4")embeddings = OpenAIEmbeddings()
generator = TestsetGenerator.from_langchain(generator_llm,critic_llm,embeddings)
# Change resulting question type distributiondistributions = {simple: 0.5,multi_context: 0.4,reasoning: 0.1}
# use generator.generate_with_llamaindex_docs if you use llama-index as document loadertestset = generator.generate_with_langchain_docs(documents, 10, distributions) testset.to_pandas()

生成的问题分析

自定义数据分布

分析创建的数据集中不同问题类型的频率

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

微软开源的GraphRAG解读

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG搭建中，如何选择最合适的向量索引？

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

热门标签