AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Jina又开源:用于Agentic RAG的Jina Reranker v2,支持多语言、函数调用和代码搜索!
发布日期:2024-06-27 03:23:11 浏览次数: 1864


Jina Reranker v2来了!Agentic RAG一流的重新排序器。具有100多种语言的跨语言检索、函数调用、表格与代码搜索和极速响应,已在huggingface开源:
  • 多语言:在100多种语言中提供更相关的搜索结果,性能超过bge-reranker-v2-m3; 
  • Agentic:为Agentic RAG提供最先进的函数调用和文本到SQL重排; 
  • 代码检索:在代码检索任务上表现最佳;
  • 极速:文档吞吐量是bge-reranker-v2-m3的15倍,是jina-reranker-v1-base-en的6倍。

Jina Reranker v2的多语言

用户在Reranker v1上最常请求的功能之一是多语言支持:允许以任何语言检索文档,无论查询的语言是什么。在v2中,将此支持扩展到100多种语言
在MKQA数据集上评估了Reranker v2,该数据集包含来自现实世界知识库的 26种语言的问题和答案。该数据集旨在评估问答系统的跨语言性能。

显示了recall@10分数

Jina Reranker v2结构化数据查询
V2的一个有趣功能是它支持结构化数据。它理解在MySQL或MongoDB等数据库中搜索的意图,并根据自然语言查询对最相关的表进行排名。
一个具有代理性的RAG(Retrieval-Augmented Generation,检索增强生成)使用SQL查询检索数据,并将这些数据作为额外的上下文信息提供给大型语言模型(LLM)

使用NSText2SQL数据集基准测试了查询感知能力。从原始数据集的“指令”列中提取用自然语言编写的指令,以及相应的表格schema。

对比不同重排模型将正确的表格架构与自然语言查询进行排名的的Recall@3分数
Jina Reranker v2函数调用(Function Calling)
使用Jina Reranker v2,还可以对函数进行排名。它了解函数调用的意图,并相应地为函数规范分配相关性分数。
展示如何使用Reranker改进函数调用并最终改善Agent AI用户体验

使用ToolBench基准测试评估了该项能力,该基准测试收集了超过16,000个公共API及其相应的合成生成指令。

与其他重排模型相比的结果(使用recall@3指标)

Jina Reranker v2代码检索
Jina Reranker v2不仅在函数调用和结构化数据查询方面进行了训练,而且与类似大小的竞争模型相比,还提高了代码检索能力。使用CodeSearchNet基准测试评估了其代码检索能力。该基准测试是docstring和自然语言格式的查询组合,以及与查询相关的标记代码段。
与其他重排模型的MRR@10对比结果

在整个RAG流程中,除了Reranker,还涉及Embedding、Indexing等等,PaperAgent团队RAG专栏进行过详细的归纳总结:高级RAG之36技(术),可私信留言试看:RAG专栏

https://huggingface.co/jinaai/jina-reranker-v2-base-multilingualhttps://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search/?nocache=1



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询