AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


产品角度,RAG应用的关键点是什么?
发布日期:2024-04-17 12:23:36 浏览次数: 2113 来源:AI猿智慧


RAG可以说是GenAI的最热门的一个话题,第一个够普惠,没啥硬的门槛,很多有些技术能力的公司都尝试过。第二个,确实容易理解,这种召回+生成的开卷考试模式带来的好处确实很容易达成共识。

网络上聊RAG技术的层出不穷,在我看来,各家总结的RAG实践很多都越来越趋同,chunking方法,retrieval技巧等等,各种优化点和我们实践中总结的方法类似,想要把这块做得好,这是一个大的优化工程。

以上是术的层面,今天我想聊聊的是道的层面。从业务价值的层面,去讨论RAG的优化方向和目标。在做任何技术优化之前,需要首先把这件事说清楚,“你的RAG应用带来了什么价值,如何才能带来更高的业务价值?”。

由于RAG的应用场景很多,能想到的最有名的是微软的NewBing或者Perplexity.ai。这俩其实是很成功的RAG应用了,技术实现和产品效果都不错,但和咱们一般的技术团队所能尝试的RAG应用差别较大, 更加容易尝试,更普遍的场景其实是公司内的智能助手,以这个场景为例,抛砖引玉给出一些思考。

  1. 形成高频统一的流量入口

    Baidu/Google作为搜索引擎,其实很符合这个定义。

  • 使用频率高,使用搜索引擎其实是一种我们每个人的必备操作,几乎每个人每天都会用10+次数,因为这种是最高效的手段。

  • 满足多方面需求,什么问题我们都能去搜一把,无论是求攻略,还是查一个问题。

即使在移动互联网时代,垂直app的内容无法搜到以后,搜索引擎这种相对简单的统一的入口依然具有无法替代业务价值。这种高频统一的入口,天然符合人的特点,过一阵子你就不记得躺在你收藏夹的网页,但永远不会忘记去搜索框搜索。所以RAG要成功,必须在所在的领域成为高频统一的入口。

来到封闭内部场景,我们往往缺乏这种高频统一的入口,达到一定规模后,内部的信息往往也是过载的,甚至个人记录的信息对我们自己也是过载的。一个新员工,大约过了1年后,才能把一些常用的信息/资源获取的方式摸索的七七八八。一个老员工,长期不用的信息,经常也需要询问同事来帮助自己“恢复”记忆。那么有一个万能的入口,能解决你多种的需求,是最好不过的了。所以除了RAG,对接到各个系统的能力也是非常必要的,比如说查下工资,查询年假,预定会议,这些都是非常高频的需求,这些都可以通过大语言模型的Function Calling的能力对接起来。除了我说的这些以外,其实还有非常多公司内独特的一些业务需求,比如查询下公司某些部门的接口人。

  • 提供值得信任的知识

    还是以搜索引擎为例,搜索引擎给我们提供了非常多的信息,但是我们并不能完全的相信它,网页上的很多信息都是过时的,错误的或者是不客观的,发布网页的人并没有义务去保持页面的正确性,很多时候需要我们自己辨别。

    之前的搜索引擎采用了一些手段来改善这些问题,比如通过Page Rank来解决网页的权威性问题,通过点赞/点踩来体现答案的有效性。但并没有完全解决这个问题,无论是Page Rank还是点赞点踩都是强调外部的反馈,内容发布者并不会有任何约束。

    无论是甄别搜索引擎的结果还是LLM的输出,对于用户来说,都是一种沉重的负担。

    RAG提供的是一种带Reference的回答,其Reference是获得用户信任的最主要机制。在内部使用的场景下,Reference的质量如何保证呢,必须要强调对于发布者的约束和要求。依靠内容发布的UGC机制,所有的内容不能以一种中心化的方式进行管理,而是需要由发布者进行负责,内容和人建立关联,点赞点踩所得到的反馈要直接触达到发布者这里,一旦知识内容以一种署名的形式对外发布的时候,发布者必然会尽可能保证知识的准确性和实时性。

    除此以外,自动化的知识质量评估或者检查,也是维护知识质量的必要手段,特别是在知识库构建的冷启动阶段。可以通过一些规则性的手段,比如通过文档的观看数、评论数等统计值进行筛选,也可以结合大语言模型,比如通过Prompt的方式让LLM对整篇文章以WhatHowWhy的形式进行提问,如果出现拒答,那么则认为该篇文档质量不足,可以提示用户优化。

    解决了知识库的质量问题以后,RAG系统的使用体验会有明显的改善,只有当知识质量有所保证后,才能开始真正帮助到用户。在质量不足的时候,其他角度都不是正确的优化方向。

  • 自我进化 - 实现更高的使用效率和更广的使用范围

    能够自我进化的系统一般都会有更好的使用体验和更大的应用价值。过去几年互联网上有一些典型的例子,比如之前推荐系统的兴起和流行,本质上是分发能力的进化,其实就是利用了用户反馈使得内容分发效率不断提高。另外一方面的例子,是社区app,无论是小红书还是B站他们的崛起, 其实是内容的不断进化,圈层扩大,丰富性提高。

    其实RAG也可以从这两个角度来看,从分发上来看,和推荐别无二致。很多人其实都注意到了猜你想问或者是追问推荐这个场景。这个能力不断优化肯定能增强用户的使用体验。这里还可以结合一些前缀索引的技术,实现问题的自动补全,实现更快的知识触达。另外这些方式的比例越高,数据层面也能获得更多的监督信号,促进系统的进化。

    从内容进化方面,社区app更多依靠的是机制,设计给予知识提供者奖励的机制是一种终极解决办法。当然除此以外,通过一些技术手段辅助也是非常有效的,比如通过点赞点踩,不断提示内容的owner进行纠正。比如自动分析出被拒答的高频问题,然后分发给该领域的owner提示他们进行补充,这些都是提高内容质量和完整性的有效手段。随着内容不断丰富,RAG的使用范围也会不断扩大,覆盖更多人群,更多角色。


  • 实现以上三个方面要求以后,RAG的业务价值才有可能得到充分的体现,否则可能会出现使用频率持续走低,变成一个实验性质的内部技术产品。局限在企业内部智能助手这个场景,RAG应用的成功的评判标准,应该是是否转变成为GenAI时代的企业内部提效协作的基础范式,成为一种新的工作方式。

    以上全部是我的胡思乱想和脑爆,仅供参考。



    53AI,企业落地应用大模型首选服务商

    产品:大模型应用平台+智能体定制开发+落地咨询服务

    承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

    联系我们

    售前咨询
    186 6662 7370
    预约演示
    185 8882 0121

    微信扫码

    与创始人交个朋友

    回到顶部

     
    扫码咨询