我要投稿

一款无缝集成RAG的开源企业级检索器：Denser Retriever

发布日期：2024-05-31 05:20:10 浏览次数： 2068 来源：PaperAgent

检索器是大模型检索增强生成 (RAG) 框架的基石，在为人工智能应用程序提供准确、无缝的体验方面发挥着至关重要的作用。

Denser Retriever将多种搜索技术整合到一个平台中。它利用梯度提升 (xgboost)机器学习技术来结合：

基于关键字的搜索，重点在于精确获取查询中提到的内容。
矢量数据库非常适合查找大量可能相关的答案。
机器学习重新排序器可以对结果进行微调，以确保最相关的答案位于列表顶部。

Denser Retriever的初始版本提供以下功能。

支持关键字搜索、向量搜索、ML模型重排等异构检索器
利用xgboost ML技术有效地组合异构检索器
MTEB检索基准测试的最高准确度

在MTEB数据集上进行的实验表明，通过xgboost模型（表示为 ES+VS+RR_n）结合关键字搜索、向量搜索和重新排序器可以显著改善向量搜索（VS）基线。

演示如何使用Denser检索器为聊天机器人和语义搜索等端到端应用程序提供支持

端到端聊天应用程序

pip install poetrypoetry add git+https://github.com/denser-org/denser-retriever.git#mainpoetry run streamlit run examples/denser_chat.py

一旦启动，将看到一个类似于以下屏幕截图的聊天机器人界面。可以向聊天机器人提出任何问题并获得答复。下面显示了一个示例查询：“what use cases does denser support?”，检索器首先返回屏幕截图底部部分下列出的相关段落Sources。这些段落被输入到 LLM，最终的摘要显示在聊天窗口中。

端到端语义搜索应用程序

poetry run streamlit run examples/denser_search.py

启动后，将看到类似以下截图的搜索界面。可以输入任何查询，以及过滤器来搜索相关结果。下面显示了一个字段为的示例查询。输入“cumings”，检索器返回与指定过滤器值匹配的相关段落。

https://github.com/denser-org/denser-retrieverhttps://retriever.denser.ai/docs

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

打造RAG智能助手：实时数据检索的终极指南！惊呆你的需求，如何一步到位？

2025-02-05

RAG知识库中文档包含表格数据如何处理？

2025-02-05

破解大模型困境：RAG技术如何成为AI的终极武器？

2025-01-24

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

2025-01-24

传统 RAG 和 Agentic RAG有什么不同？

2025-01-20

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

2025-01-18

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

2025-01-18

RAG一周出Demo，半年上不了线，怎么破？

2025-01-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文彻底搞懂大模型 - RAG（检索、增强、生成）

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

RAG框架，都在这了!

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG 高效应用指南：Embedding 模型的选择和微调

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

大家都在问

打造RAG智能助手：实时数据检索的终极指南！惊呆你的需求，如何一步到位？

RAG知识库中文档包含表格数据如何处理？

破解大模型困境：RAG技术如何成为AI的终极武器？

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

传统 RAG 和 Agentic RAG有什么不同？

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

RAG一周出Demo，半年上不了线，怎么破？

热门标签