我要投稿

AIGC案例-腾讯文档 AI 架构剖析

发布日期：2024-06-12 20:38:27 浏览次数： 1796

一、总体技术架构剖析

腾讯文档（https://docs.qq.com/）AI 大模型助手应用，如下图所示：

腾讯文档的 AI 大模型助手总体架构如下图所示，包括6大模块：AICopilot、AIServer、AIAgent、AIEngine、AIOperation、AIExtension。

AICopilot 模块：提供 AI 侧边栏对话功能，负责意图识别、对话管理、缓存及存档等功能。

AIServer 模块：提供各类别定制化的浮层助手服务。

AIAgent 模块：作为 AI 智能代理，集成并提供各类别的文档处理工具，由上层服务调用识别意图后驱动。AIEngine 模块：作为文档 AI 引擎，统一抽象并封装各项 AI 能力（比如：文生文、文生图、语音转写、语音识别、图像识别、嵌入式 AI 等），实现能力间无感切换。

AIOperation 模块：负责文档 AI 灰度发布策略、隐私保护措施以及运营操作。

AIExtension 模块：扩展 AI 服务，支持AI应用落地所需的支持能力，比如：文本搜索、图片搜索、Python 执行环境等。

二、问答场景技术架构剖析

针对 Word、PPT、Sheet、思维导图、数据收集表及知识库等多种内容形态的问题解答。

AI 大模型应用的核心挑战在于建立基础的问答系统架构。攻克这一难题的关键，在于如何使 AI 大模型精准掌握并理解各类文档的领域知识内容。

两种解决方案：

一种：领域知识通过微调（Fine-tuning）记忆到大模型中。

二种：通过 Prompt 的方式把领域知识即时给到大模型。

问题思考：

用户文档信息本质上是用户个人数据的整合，主要用于个性化服务。
由于用户文档常更新且注重时效性，无法每次变更都重新训练模型。
同时出于隐私保护原则，用户数据不能用于模型训练。因此，针对每位用户单独训练模型的方案并不现实可行。

一般第二种 RAG 方案：

RAG 技术方案工作流程：

第一、文档加载：定义统一的 Document 数据模型，将实现默认典型的数据源加载实现，业务方也可以根据接口自定义实现自身所需文档数据源。

第二、文档分片：大模型上下文大小有一定限制，需要将大量数据进行分割操作。

第三、文档 Embedding：Embedding 过程将对应文本向量化，以提供更好的语义表达。

第四、文档向量存储：使用向量数据库存储文档向量数据。

第五、文档召回：根据用户输入的问题召回和问题最相关的文档信息。

第六、问题解答：根据召回文档资料 + 用户输入问题提供给大模型进行知识问答。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

2024-09-19

Golden-Retriever：提升工业知识库检索准确性

2024-09-18

再见了，LangChain！

2024-09-18

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

2024-09-18

LLM Agent在商业中的应用：探索自主智能的新前沿

2024-09-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

一、总体技术架构剖析

二、问答场景技术架构剖析

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

Golden-Retriever：提升工业知识库检索准确性

再见了，LangChain！

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

LLM Agent在商业中的应用：探索自主智能的新前沿

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

一、总体技术架构剖析

二、问答场景技术架构剖析

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

Golden-Retriever：提升工业知识库检索准确性

再见了，LangChain！

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

LLM Agent在商业中的应用：探索自主智能的新前沿

热门标签

太强了！10大开源大模型！