微信扫码
与创始人交个朋友
我要投稿
介绍如何利用DSPy实现RAG。
检索增强生成(RAG)是一种先进的方法论,它赋予语言模型(LLMs)访问丰富知识库的能力,能够搜索并筛选出相关信息,进而生成精准而精炼的回答。
RAG技术允许语言模型在没有直接训练数据的情况下,通过上下文学习(ICL)动态地吸收和应用实时知识。
尽管这一技术带来了在构建和优化RAG流程方面的额外挑战,但DSPy提供了一种简洁而高效的解决方案,使得设置RAG提示流程变得流畅且轻松。
下面是DSPy RAG应用序列的展示:
这里使用GPT-3.5(特别是其高性能版本gpt-3.5-turbo)和ColBERTv2检索器。
ColBERTv2检索器部署在一台免费服务器上,它拥有一个基于2017年维基百科摘要的搜索索引,这些摘要涵盖了当年文章的开篇段落。
在DSPy的设置中,语言模型和检索器模型的配置如下所示,展示了如何将其集成并优化以实现最佳性能。
import dspy
turbo = dspy.OpenAI(model='gpt-3.5-turbo')
colbertv2_wiki17_abstracts = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')
dspy.settings.configure(lm=turbo, rm=colbertv2_wiki17_abstracts)
接下来加载测试数据:
from dspy.datasets import HotPotQA
# 加载数据集。
dataset = HotPotQA(train_seed=1, train_size=20, eval_seed=2023, dev_size=50, test_size=0)
# 告诉DSPy '问题' 字段是输入。其他任何字段都是标签和/或元数据。
trainset = [x.with_inputs('question') for x in dataset.train]
devset = [x.with_inputs('question') for x in dataset.dev]
len(trainset), len(devset)
然后创建签名。你可以看到上下文、输入和输出字段是如何定义的。
class GenerateAnswer(dspy.Signature):
"""Answer questions with short factoid answers."""
context = dspy.InputField(desc="may contain relevant facts")
question = dspy.InputField()
answer = dspy.OutputField(desc="often between 1 and 5 words")
RAG流程被设计成DSPy模块,需要用到两种方法:
__init__
方法负责初始化,它声明了所需的子模块:dspy.Retrieve
用于信息检索,dspy.ChainOfThought
则用于按照我们的GenerateAnswer
签名进行思考链的构建。
forward
方法定义了回答问题的具体流程。面对一个问题,该方法首先检索与之相关的前三段文本,然后利用这些文本作为上下文,生成精确的答案。
class RAG(dspy.Module):
def __init__(self, num_passages=3):
super().__init__()
self.retrieve = dspy.Retrieve(k=num_passages)
self.generate_answer = dspy.ChainOfThought(GenerateAnswer)
def forward(self, question):
context = self.retrieve(question).passages
prediction = self.generate_answer(context=context, question=question)
return dspy.Prediction(context=context, answer=prediction.answer)
这里有一个训练数据的例子:
Example({'question': 'At My Window was released by which American singer-songwriter?',
'answer': 'John Townes Van Zandt'})
(input_keys={'question'}),
Example({'question': 'which American actor was Candace Kita guest starred with ',
'answer': 'Bill Murray'})
(input_keys={'question'}),
Example({'question': 'Which of these publications was most recently published, Who Put the Bomp or Self?',
'answer': 'Self'})
(input_keys={'question'}),
接下来,程序将针对一个问题进行运行。
# 你可以向这个简单的RAG程序提出任何问题。
my_question = "What castle did David Gregory inherit?"
# 获取预测。这包含`pred.context`和`pred.answer`。
pred = compiled_rag(my_question)
# 打印上下文和答案。
print(f"Question: {my_question}")
print(f"Predicted Answer: {pred.answer}")
print(f"Retrieved Contexts (truncated): {[c[:200] + '...' for c in pred.context]}")
得到响应:
Question: What castle did David Gregory inherit?
Predicted Answer: Kinnairdy Castle
Retrieved Contexts (truncated): ['David Gregory (physician) | David Gregory (20 December 1625 – 1720) was a Scottish physician and inventor. His surname is sometimes spelt as Gregorie, the original Scottish spelling. He inherited Kinn...', 'Gregory Tarchaneiotes | Gregory Tarchaneiotes (Greek: Γρηγόριος Ταρχανειώτης , Italian: "Gregorio Tracanioto" or "Tracamoto" ) was a "protospatharius" and the long-reigning catepan of Italy from 998 t...', 'David Gregory (mathematician) | David Gregory (originally spelt Gregorie) FRS (? 1659 – 10 October 1708) was a Scottish mathematician and astronomer. He was professor of mathematics at the University ...']
对DSPy实现的初步观察表明:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-23
一文详谈20多种RAG优化方法
2024-12-23
深入RAG工作流:检索生成的最佳实践
2024-12-23
o1 pro “碾压式”洞察:世界顶尖免疫学专家被机器深度分析“惊醒”
2024-12-23
使用 Lang Chain 和 Lang Graph 构建多代理 RAG :分步指南 + Gemma 2
2024-12-23
RAG评估框架:RAG Triad框架及其实战
2024-12-22
2个简单技巧把 RAG 检索准确率从 50% 提高到 95 %
2024-12-22
Browser-Use + LightRAG Agent:可使用 LLM 抓取 99% 的网站
2024-12-22
Dynamic RAG实战:解决知识增强中的动态更新挑战
2024-07-18
2024-05-05
2024-06-20
2024-09-04
2024-05-19
2024-07-09
2024-07-09
2024-07-07
2024-07-07
2024-06-13
2024-12-21
2024-12-14
2024-12-01
2024-11-27
2024-11-25
2024-11-06
2024-11-06
2024-11-05