AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一个全面、先进、公平且模块化的开源RAG框架
发布日期:2024-09-08 14:36:55 浏览次数: 1802 来源:PaperAgent


两个关键问题限制了 RAG 的发展:

  • 新型 RAG 算法之间缺乏全面和公平的比较。

  • 像 LlamaIndex 和 LangChain 这样的开源工具使用了高级抽象,这导致了透明度的缺失,并限制了发新算法和评估指标的能力。

RAGLAB是一个模块化的开源库。RAGLAB 复现了 6 种先进的算法,并为研究 RAG 算法提供了一个全面的生态系统。利用 RAGLAB,对 10 个基准上的 6 种 RAG 算法进行了公平比较。有了 RAGLAB,研究人员可以高效地比较各种算法的性能并开发新算法

不同 RAG 库和框架的比较公平比较指的是在评估过程中对所有基本组件进行对齐,包括随机种子、生成器、检索器和指令。数据收集器指的是能够收集或生成训练和测试数据的能力,无论是通过从现有的原始数据集中抽样,还是通过使用LLM构建标记数据。

RAGLAB提供了一个模块化的架构,允许用户轻松地替换和扩展算法的各个组成部分,包括检索器(retriever)、生成器(generator)和指令(instruction)。

RAGLAB 框架的架构和组件

  • 检索器(Retriever):集成了基于BERT的模型,如Contriever和ColBERT,提供了统一的查询接口和客户端-服务器架构,以及检索缓存机制。

  • 语料库(Corpus):提供预处理的Wikipedia语料库,包括2018年和2023年的版本,以及对应的索引和嵌入。

  • 生成器(Generator):集成了Huggingface Transformers和VLLM,支持量化和低秩适应(LoRA)技术,允许使用大型模型。

  • 指令实验室(Instruction Lab):包含系统指令、任务指令和算法指令,允许用户自定义和组合指令。

  • 训练器(Trainer):集成了Accelerate和DeepSpeed库,支持模型的微调,包括LoRA和量化LoRA技术。

  • 数据集和度量(Dataset and Metric):收集了10个广泛使用的基准数据集,覆盖五种不同的任务类型,并提供了灵活的数据适配机制和多种评估指标

RAGLAB进行了全面的实验,使用不同的基础模型作为生成器,同时保持其他基本组件的一致性,以促进不同高级RAG算法之间的公平比较。
一个使用 RAGLAB 来复现 Self-RAG 算法的脚本

分析了使用不同基础模型的RAG算法(Naive RAG、RRR 、ITER-RETGEN、Self-Ask、Active RAG、Self-RAG在多个基准上的性能,发现Self-RAG算法在使用特定生成器时显著优于其他算法。

不同算法的指令
Naive RAG# read process insruction"### Instruction:\n {task_instrucion} \n## Input:\n\n{query}\n\n Now, based on the following passagesand your knowledge, please answer the question more succinctly and professionally. ### BackgroundKnowledge:\n {passages} \n\n### Response:\n" 
RRR# rewrite process instruction"Provide a better search query for Wikipedia to answer the given question, end the query with '**'. \n\nQuestion: Ezzard Charles was a world champion in which sport? \n\n Query: Ezzard Charleschampion** \n\n Question: What is the correct name of laughing gas? \n\n Query: laughing gasname** \n\n Question: {query} \n\n Query: " # read process insruction"### Instruction:\n {task_instrucion} \n## Input:\n\n{query}\n\n Now, based on the following passagesand your knowledge, please answer the question more succinctly and professionally. ### BackgroundKnowledge:\n {passages} \n\n### Response:\n"
ITER-RETGEN# read process insruction"### Instruction:\n {task_instrucion} \n## Input:\n\n{query}\n\n Now, based on the following passagesand your knowledge, please answer the question more succinctly and professionally. ### BackgroundKnowledge:\n {passages} \n\n### Response:\n"
Self ASK# follow up question instruction"Question: When does monsoon season end in the state the area code 575 is located? Are follow upquestions needed here: Yes. Follow up: Which state is the area code 575 located in? Intermediateanswer: The area code 575 is located in New Mexico. Follow up: When does monsoon season end inNew Mexico? Intermediate answer: Monsoon season in New Mexico typically ends in mid-September. So the final answer is: mid-September. \n{query} Are follow up questions needed here:" # read process insruction"### Instruction:\n {task_instrucion} \n## Input:\n\n{query}\n\n Now, based on the following passagesand your knowledge, please answer the question more succinctly and professionally. ### BackgroundKnowledge:\n {passages} \n\n### Response:\n"
Active RAG# read process insruction"### Instruction:\n {task_instrucion} \n## Input:\n\n{query}\n\n Now, based on the following passagesand your knowledge, please answer the question more succinctly and professionally. ### BackgroundKnowledge:\n {passages} \n\n### Response:\n" 
Self-RAG# read process instruction"### Instruction:\n{task_instruction}\n\n## Input:\n\n{query}\n\n### Response:\n"

RAGLAB 系统用户评估问卷

RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generationhttps://arxiv.org/pdf/2408.11381https://github.com/fate-ubw/RAGLab


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询