粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
对业务数据库中的表实现问答。输入是用户的问题，输出是该问题的答案。
这是很典型的Text2SQL的应用场景了，为了实现这一需求，很容想到的是把创建的表和表的描述都放进prompt里，让LLM去根据表的结构生成SQL语句，再利用工具去执行SQL语句，拿到查询结果后，再丢给LLM，让LLM根据给定的内容回答问题。我一开始也是这么想的，但是，当你的业务表非常多的时候，比如有上千个，你应该选择哪个表或者哪些表去给到LLM呢？根据问题去检索可能会用到的表是比较容易想到的一种方式。
于是，我带着我的疑惑，去调研了目前一些比较火的text2sql的框架。惊奇地发现，他们确实也是这样做的。比较典型的就是vanna[1]了
从上图可以看出，Vanna实际上分了三个部分做RAG:
•DDL 语句检索：对建表的语句做语义检索，建表时的表描述和字段注释•文档检索：包括对一些专有名字的解释，以及拼接表的每个字段组成的字符串等一些其他相关文档•Query 与 对应的SQL检索：用户的问题与对应的SQL语句
DDL语句向量化： 对于每一个建表语句，进行embedding，表和字段的描述，对结果的影响非常大，如果只有简单的建表语句，效果如何完全取决于大模型能不能猜对你这个表是干嘛的。
文档向量化： 这里可以将数据库中的所有数据，按一定的规则拼接成自然语言，然后向量化。还可以将一些LLM比较难理解的专有名词的解释向量化，在有相关的Query进来时，专有名词的解释也会被召回，一起放进Prompt中，帮助LLM理解Query
Query与SQL语句向量化: 在Vanna中，这一步的做法是将Query与SQL dumps成一个字符串，一起向量化。
Vanna对比过不同策略加入后对最终效果的影响：
从下表可以看出，仅仅给出表的结构，LLM生成正确的SQL还是比较困难的，但是给了few shot后，效果立马飙升。
可以看到，使用上下文相关的fewshot，效果又提升了一小截。上下文相关的fewshot就是那些检索出来的相关的DDL、文档、以及Query-SQL对。
既然Vanna也是RAG，那么RAG的那些奇技淫巧，便可以在Text2SQL也派上用场了。咱们可以看看Vanna相比那些奇技淫巧少了哪些部分，给它安排上就完事了，核心目标就是为了提升检索相关度。
通过阅读Vanna的源码，发现Vanna只做了粗排，那么咱们就给它安排上重排，这不就好起来了么，简单粗暴。
class MyChromaDB(ChromaDB_VectorStore):def __init__(self, config=None):super().__init__(config)self.rerank_model = CrossEncoder('bge-reranker-large',max_length=512)def get_similar_question_sql(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.sql_collection.query(query_texts=[question],n_results=self.n_results_sql,))if documents != []:scores = self.rerank_model.predict([(question, doc["question"]) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documentsdef get_related_ddl(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.ddl_collection.query(query_texts=[question],n_results=self.n_results_ddl,))if documents != []:scores = self.rerank_model.predict([(question, doc) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documentsdef get_related_documentation(self, question: str, **kwargs) -> list:documents = ChromaDB_VectorStore._extract_documents(self.documentation_collection.query(query_texts=[question],n_results=self.n_results_documentation,))if documents != []:scores = self.rerank_model.predict([(question, doc) for doc in documents])combined = list(zip(documents, scores))sorted_combined = sorted(combined, key=lambda x: x[1], reverse=True)documents = [item[0] for item in sorted_combined]return documents
对了，BCE的模型在Text2SQL场景的效果不咋地，不建议使用。我这里使用的是BGE，有条件的同学甚至可以微调一下。
我这里没有对Query-SQL对中的SQL做检索，主要是考虑到用户的Query与SQL语句的相关性并不大，当然，获取数据这里修改成只计算Query的相关性时，你还需要对Query-SQL的向量化部分进行相应修改，应改成只对Query embedding。
[1] vanna: https://github.com/vanna-ai/vanna
进技术交流群请添加AINLP小助手微信（id: ainlp2)
请备注具体方向+所用到的相关技术点 关于AINLP
AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP小助手微信(id：ainlp2)，备注工作/研究方向+加群目的。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部