知识问答助手已经成为企业在探索大模型应用时的首选场景之一，基于大模型的知识问答助手不仅能够自动整合企业内外部的海量信息，构建全面、精准的知识图谱，还能够通过自然语言查询，实现一键触达精准答案。

大模型存在幻觉问题、可解释性差、隐私和安全问题等明显缺点，为了提高知识问答的准确率，一种基于“大模型+RAG（检索增强生成）”架构的方式正在形成。

RAG的本质是在大模型交互之前提前进行搜索，召回正确的上下文给到大模型，决定了大模型生成的天花板。通过RAG的方式扩展大模型，为企业提供了一种将企业私有数据“外挂”给大模型的方式，使企业不需要为了特定任务重新训练整个大模型（微调或从头构建），可大幅提升大模型的生成质量和结果的有用性。

但是，利用RAG方式扩展大模型也存在一些不足，例如：

• RAG受限于上下文窗口，限制了可发送给模型的检索信息量。同时，增强提示的额外检索步骤可能会导致延迟，影响模型反馈的及时性；

• 使用RAG方式需要重新设计技术架构和工作流程，接入新的技术组件如向量数据库、embedding模型等，增加这些技术组件会带来额外的成本；

• 企业需要在访问控制、信息检索、检索输出监控等方面建立防护机制，避免敏感信息泄露问题。

沙丘智库长期跟踪调研大模型技术的发展，旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究中国三峡集团、江西移动、火山引擎、字节跳动、PingCap等企业利用“大模型+RAG”构建知识问答助手的实战经验，旨在为其他企业提供参考。

▎案例1：中国三峡集团水电运维知识问答系统

基于大模型，中国三峡集团构建了水电运维知识问答系统，采用基于大语言模型的微调（SFT）+检索增强RAG（外挂向量数据库）的技术路线，具体实现步骤如下：第一，收集领域知识数据构造知识库；第二，对知识库中的数据进行文本提取和文本拆分，得到文本块；第三，利用嵌入向量表示模型给出文本块嵌入表示，并利用向量数据库进行保存；第四，根据用户输入信息的嵌入表示，通过向量数据库检索得到最相关文本片段，利用提示词模板与用户输入以及历史消息合并输入大语言模型；第五，将大语言模型结果返回用户。

完整内容：中国三峡集团水电运维知识问答系统

▎案例2：江西移动大小模型协同的企业级私域知识检索平台

▎案例3：火山引擎基于大模型的智能问答实践

火山引擎基于RAG技术实现智能问答，RAG通过从外部知识源动态检索信息，并使用检索到的数据作为组织答案的参考，显著提高响应的准确性和相关性，有效解决大模型中存在的幻觉问题。

RAG方案实现的核心在于两点，一是在检索阶段做到比较高的topk召回率，分为两路召回，一路是通过倒排索引检索召回，另一路是通过向量化方式召回，两路召回需要混排；二是支持比较大的context window，并能从较多相关信息中总结出正确答案。

研发基建部门日常需要安排答疑值班，回答用户关于基建相关的咨询，字节跳动将研发答疑场景作为切入点，利用大模型构建答疑机器人，并联动研发领域沉淀多年的知识积累，答疑机器人充分利用RAG和FineTuning两种建设思路的优势。

完整内容：字节跳动答疑机器人场景大模型实践

PingCAP采用RAG的方式训练TiDB Bot，对于大语言模型无法限制输出、OpenAI官方Embedding Model对多语言支持不健全、检索结果不准确的问题，PingCAP采用如下优化方式：

· 对于模型输出结果，PingCAP参考PPLM方法，通过GPT3.5/GPT4等大模型对用户输入进行判别，如果用户输入和TiDB相关则正常回答，如果无关则不回复；

· PingCAP选择自托管Embedding Model，通过GenQ生成chunk-question对，训练的损失函数使用multiple negatives ranking loss，训练后自托管Embedding Model的准确率基本接近于OpenAI的Embedding Model；

· 为了提高检索结果准确率，PingCAP主要通过添加RAG、及时更新向量库等方式解决。

完整内容：PingCAP大语言模型问答助手构建实践