AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一款无缝集成RAG的开源企业级检索器:Denser Retriever
发布日期:2024-05-31 05:20:10 浏览次数: 1723


检索器是大模型检索增强生成 (RAG) 框架的基石,在为人工智能应用程序提供准确、无缝的体验方面发挥着至关重要的作用。

Denser Retriever将多种搜索技术整合到一个平台中。它利用梯度提升 (xgboost)机器学习技术来结合:

  • 基于关键字的搜索,重点在于精确获取查询中提到的内容。
  • 矢量数据库非常适合查找大量可能相关的答案。
  • 机器学习重新排序器可以对结果进行微调,以确保最相关的答案位于列表顶部。

Denser Retriever的初始版本提供以下功能。
  • 支持关键字搜索、向量搜索、ML模型重排等异构检索器
  • 利用xgboost ML技术有效地组合异构检索器
  • MTEB检索基准测试的最高准确度

在MTEB数据集上进行的实验表明,通过xgboost模型(表示为 ES+VS+RR_n)结合关键字搜索、向量搜索和重新排序器可以显著改善向量搜索(VS)基线

  • 演示如何使用Denser检索器为聊天机器人和语义搜索等端到端应用程序提供支持

端到端聊天应用程序

pip install poetrypoetry add git+https://github.com/denser-org/denser-retriever.git#mainpoetry run streamlit run examples/denser_chat.py

一旦启动,将看到一个类似于以下屏幕截图的聊天机器人界面。可以向聊天机器人提出任何问题并获得答复。下面显示了一个示例查询:“what use cases does denser support?”,检索器首先返回屏幕截图底部部分下列出的相关段落Sources。这些段落被输入到 LLM,最终的摘要显示在聊天窗口中。

端到端语义搜索应用程序

poetry run streamlit run examples/denser_search.py

启动后,将看到类似以下截图的搜索界面。可以输入任何查询,以及过滤器来搜索相关结果。下面显示了一个字段为的示例查询。输入“cumings”,检索器返回与指定过滤器值匹配的相关段落。

https://github.com/denser-org/denser-retrieverhttps://retriever.denser.ai/docs

推荐阅读


欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询