腾讯大语言模型应用场景

1. 核心应用场景

• 内容生成：如文案生成（如广告文案）、评论辅助生成等。

  
  

• 内容理解：如文本审核、诈骗识别等。

  
  

• 智能客服：如知识问答、用户引导等。

  
  

• 开发 Copilot：如代码评审自动化、自动生成测试用例等。

  
  

• 角色扮演：如游戏场景中 NPC 的智能交互。

  
  

2. 大模型应用技术

• 基于基座模型（如大语言模型）进行微调，结合业务专属数据，将特定领域的业务知识固化于模型中。
• 优势：可直接实现针对性的任务回答与处理。

• 结合外部知识库与检索技术，在生成内容时加入检索结果。
• 应用场景：智能客服、文档助手等。
• 优势：提供更高的可解释性，并显著减少幻觉现象（模型生成的虚假内容）。

• 通过调用外部工具，支持模型进行复杂任务的推理、规划和执行。
• 优势：适用于需要多步骤推理和执行的复杂任务场景。

3. 混元一站式大模型应用解决方案

• 模型注册与管理：支持多类型基础模型（如 7B 模型、7B-MoE 模型等）。

  
  

• 数据处理链路打通：覆盖数据抓取、清洗、模型训练、评测、部署与服务等完整流程。

  
  

• 集成 RAG 和 Agent 技术，支持索引与召回能力。
• 用户可通过插件扩展与定义自有功能模块。

• 提供智能问答、角色扮演、自定义编排等解决方案。
• 提供灵活交互界面，支持用户完成复杂业务应用的流程化部署。

RAG 技术原理及优化实践

• 幻觉问题：生成内容不准确或虚假，难以满足高可靠性场景需求。

  
  

• 知识更新滞后：业务知识快速迭代，但模型更新周期较长，无法及时反映最新动态。

  
  

• 可解释性与安全性：大模型的预测过程较为黑箱，难以提供足够的安全保障。

  
  

• 构建高质量的知识库。
• 针对知识库构建召回索引及支持生成增强。

• 用户提出问题后，将其转化为向量，结合知识库中的向量匹配，召回对应文档。
• 基于召回的文档与问题生成准确且上下文相关的回答。

1. RAG技术原理

• RAG 效果取决于全链路每一环节的优化，包括数据准备、索引构建、召回及生成环节。

  
  

• 遵循“Garbage in, garbage out” 原则，只有确保链路每一步的数据和处理结果高质量，最终效果才会满足预期。

  
  

• 知识库通过存储问题与相关文档，实现向量匹配的高效检索。

  
  

• 基础模型以检索的文档为依据生成回答，确保生成结果具有高准确性和可靠性。

  
  

2. RAG 应用关键挑战

• 输入：多种复杂文档格式（PDF、海报、杂志等）。

  
  

• 输出：高质量提取的段落、表格、公式等内容。

  
  

• 支持异构文档的解析。

  
  

• 保证文档结构与语义的准确提取。

  
  

• 固定长度切分：按照字数限制（如 1024 字）进行切分。

  
  

• 中文语义切分：通过模型判断切分点，确保语义连贯。

  
  

• Markdown 标题细分：按 H1、H2、H3 等标题分层切分。

  
  

• 递归文本切分：根据语义和文档层次灵活调整切分方式。

  
  

• 固定切分可能导致语义割裂。

  
  

• 复杂文档需结合多种切分方式，确保内容完整性。

  
  

• DocQAGenerator：直接基于原始文档生成可能的 QA 对

  
  

• AugmentedQuestionGenerator：在用户提供了<Question, Context>对的情况下，基于当前问题和上下文，为上下文生成更多可能的用户问题

  
  

• AtomicUnitsQAGenerator：Atomic Units QA 的方法首先对原始文本进行分块，然后将块分解为原子陈述，再针对这些原子（以块为上下文）生成一组合成问题

• 针对用户知识库数据有限的情况，提出知识库扩展方案：将文档内容切分为 Chunk；提取原子成分并生成对应问题；生成问答对，扩充知识库的覆盖范围。

• 基于 Transformer/BERT 的语义召回。

  
  

• 基于 BM25（优化版 TF-IDF）的关键词召回。

  
  

• 明确角色设定：为模型提供专家或工程师等明确身份背景。

  
  

• 定义清晰的输入输出格式，避免歧义。

  
  

• 提供示例数据（Few-shot），增强模型理解能力。

  
  

• 从业务场景中收集样本数据。

  
  

• 结合监督学习方法进行模型微调，进一步提升生成效果。

  
  

GraphRAG 在角色扮演场景中的应用

1. RAG 局限

• 缺乏全局信息：召回知识片段内容多为局部信息，缺乏全局关联，难以支持复杂知识问答。例如，回答“孙悟空的金箍棒是怎么来的？”时，传统 RAG 可能只提到“孙悟空从东海借金箍棒”，而无法完整呈现其背景故事。

  
  

• 缺乏上下文关联：长文本中包含大量角色和关系，直接输入给模型会受到长度限制，无法生成准确答案。

  
  

• 幻觉问题：传统技术可能生成不真实或虚构的回答，降低用户信任度。

  
  

2. GraphRAG：基于图的检索增强方法

• 知识抽取：从小说或剧本中切分出语义片段，抽取实体、关系和社区信息。
• 图谱构建：将这些内容组织为知识图谱，存储在图数据库中。

• 局部检索（Local      Query）：针对具体实体或关系进行检索，获取细节信息。
• 全局检索（Global      Query）：检索整个图谱的社区结构与总结内容，提取高层次信息。

• 基于检索结果生成回答，提供清晰的溯源和逻辑推理能力。

3. 基于混元LLM构建图检索增强框架

• 语料切分
  对长文本如《西游记》或《长相思》进行内容切片（Chunking），以便模型处理。
• 知识抽取
  使用大模型的 Prompt 对 Chunk 内容进行解析，提取以下信息：
  实体（Entity）：如金箍棒、太上老君、孙悟空等。
  关系（Relation）：如“炼制”“使用”“借用”等。
  社区（Community）：如金箍棒在故事中的完整链条。
• 图谱构建
  将抽取的实体、关系、社区等组织成图谱，存储在图数据库中。
  通过嵌入（Embedding）优化查询效率。

  

• 在线检索与生成
  问题解析
• 用户问题触发 Local 和 Global 两种检索方式。
• Local Query：针对单个实体的细节信息检索。
• Global Query：获取高层次社区总结，描述全局关系。
  内容整合与生成
• 模型结合 Local 和 Global 检索内容，生成准确的回答。
• 在全局检索中，通过 Reduce 机制对 Community Report 进行排序和整合，进一步提升回答连贯性。
  回答特点
• 准确性：基于图谱的推理与生成，更接近真实。
• 透明性：提供回答溯源，减少幻觉现象。

4. 角色扮演场景介绍

• 角色特点还原
  支持长文本内容分析，细化角色背景。
  如通过《长相思》的剧本内容，生成符合角色设定的回答。
• 多角色互动
  准确理解角色间复杂关系，如感情纠葛、合作或冲突等。
• 任务指导
  在游戏中引导玩家完成复杂任务，提供清晰逻辑线索

Agent 技术原理和应用

1. Agent 应用场景

• 目标驱动：首先通过用户的问题引导整个过程，比如用户希望根据天气情况安排一场预算不超过一万元的三天深圳旅游。问题涉及多个因素如日期、天气、预算等，系统需要理解这些信息并进行思考、推断。

  
  

• 外部工具的使用：为了执行任务，模型会调用外部工具，如天气查询、预算计算器、旅游产品查询和购买工具等。这些工具可以帮助系统更好地理解用户需求，并提供更加精准的解决方案。

  
  

• 智能迭代：通过不断的理解和推理，系统会执行相关的操作并通过迭代逐步完成任务，使得过程更加智能，并具备动态规划的能力。

  
  

2. Agent 技术原理

3. Agent 在混元中的实现

• 用户（User）：与系统交互的外部角色。

  
  

• 计划者（Planner）：负责推理任务的角色，首先判断任务是否完整，若信息不全则会反问用户获取补充信息，并通过推理计划下一步操作。

  
  

• 工具（Tool）：用于执行外部任务的工具，如天气查询或产品购买工具。

  
  

  Agent流程

  
  

• 反复推理与执行：任务通过多轮推理和执行外部工具得以推进。例如，任务可能包括天气查询或旅游产品购买，系统会通过外部工具获取结果，并进行进一步推理，最终返回答案给用户。

  
  

• 动态规划：系统会根据执行过程的反馈动态调整计划，逐步优化解决方案。

  
  

4. Agent 应用案例

• 复杂问题处理：相比传统的搜索技术，Agent 技术能处理更为复杂的需求，结合外部数据库查询或 API 调用获取信息。

  
  

• 插件支持：平台支持插件定义，能通过外部工具扩展系统功能，提高任务处理的灵活性和效率。

  
  

5. 总结

• 用户体验提升：过去用户需要适应机器的输入要求，现在系统能够理解自然语言的复杂需求，提供更加直观和舒适的交互方式。

  
  

• 智能化和人格化：随着系统智能化的提高，用户感知到的互动更具人性化，甚至能产生与真人交互的错觉。

  
  

• 知识处理的多模态化：原本结构化的知识转向半结构化、非结构化，甚至是多模态的知识处理，提升了系统的智能程度。

  
  

• 自主决策能力：随着技术的发展，模型将具备更强的决策能力，未来在某些情况下，机器的决策可能优于人类。