基于SC-Telco RAG技术的通信标准知识问答

基于SC-Telco RAG技术的通信标准知识问答

SC-Telco RAG技术在传统RAG的基础上，将文档的结构化信息整合到知识召回的检索过程中，并采用两阶段微调技术增强LLM在通信标准领域中准确回答问题的能力。与传统的RAG相比，SC-Telco RAG采用了一种创新的文档结构化处理方法，根据自然段落和文档标题组织文本，从而创建了一个组织性更强的检索系统，保留了文档的结构和上下文信息。在大模型微调过程中，SC-Telco RAG技术包括两阶段微调，第一阶段微调集中于使大模型适应与通信标准知识问答任务相关的详细指令，而第二阶段则将通过RAG检索到的丰富的上下文信息引入提示中，进一步增强大模型的响应能力和准确性。这种两阶段方法不仅维护了提示中提供的上下文的完整性，而且简化了提示工程的设计难度。

经过通信行业开源数据集测试，应用SC-Telco RAG的技术方案对于1000道通信标准知识问答题的应答准确率达到80.75%，较基线模型提升了35.75%，充分验证了这一创新方案的有效性。此外，SC-Telco RAG技术不仅能够解决LLMs在通信标准领域知识问答的具体任务，还展示了其在知识稽核、智能搜索和在线客户服务等场景中应用的潜力。

检索增强生成（RAG）和大模型监督微调（SFT）是将大语言模型（LLMs）应用到行业领域的两个主要技术，在通信标准知识问答这个业务场景下，同样需要应用这两项技术。

将预先训练完毕的大语言模型针对具体下游任务进行微调，已成为大模型进行专项NLP任务处理的标准流程。相较于直接利用预训练LLM进行零样本推理等未经调整的应用方式，通过下游数据集对预训练模型进行微调（SFT）能够显著提升任务执行的效能。

然而，随着模型规模的不断膨胀，在普通消费级硬件上实施全参数微调（full fine-tuning）已成为一项挑战，甚至变得不切实际。此外，为每个下游任务单独存储并部署完整的微调模型也带来了高昂的成本，因为这类微调后的模型与原始预训练模型在大小上并无缩减。

为应对这一挑战，近年来学术界和工业界纷纷探索并提出了多种参数高效迁移学习技术（Parameter-Efficient Fine-Tuning, PEFT）。PEFT技术的核心在于，通过极大减少需要调整的参数数量和计算复杂度，从而在保持甚至提升模型对新任务适应能力的同时，减轻对大模型进行再训练的压力。即便在计算资源受限的环境下，PEFT也能有效利用预训练模型的知识储备，迅速适应新任务，实现高效的迁移学习。

PEFT技术的引入，不仅促进了模型性能的提升，还极大地缩短了训练周期，降低了计算成本，使得更多的研究者能够跨越资源门槛，投身于深度学习研究的广阔天地。具体而言，PEFT技术家族涵盖了LoRA、QLoRA、适配器调整（Adapter Tuning）、前缀调整（Prefix Tuning）、提示调整（Prompt Tuning）、P-Tuning及其升级版P-Tuning v2等多种创新方法，为NLP领域的发展注入了新的活力。

通用大语言模型通过海量数据训练，其神经网络权重中蕴含着广博的常识性知识。然而，当面对非训练数据范畴内的知识请求，比如最新资讯或专业领域的独特见解时，这些LLM的输出可能会陷入事实谬误的境地，业界称之为“模型幻觉”。为应对这一挑战，传统做法倾向于通过微调神经网络模型，使之能够精准对接特定领域的专业信息。尽管这一策略效果显著，但它不仅计算成本高昂，还要求操作者具备深厚的技术功底，因而在面对瞬息万变的信息环境时，显得不够灵活应变。

2020年，Lewis及其团队在知识密集型自然语言处理（NLP）领域开创性地提出了一种更为灵活高效的解决方案——检索增强生成（RAG）。这一创新方法巧妙地将生成模型与检索器模块融为一体，后者能够即时调取外部知识源中的补充信息。尤为重要的是，这些外部信息源易于更新与维护，为模型提供了源源不断的信息，极大地增强了其在处理多样化、时效性强的知识请求时的适应性与准确性。一般的 RAG 工作流程如下：

• 检索(Retrieve)：根据用户请求从外部知识源检索相关上下文。为此，使用嵌入模型将用户查询嵌入到与向量数据库中的附加上下文相同的向量空间中。这允许执行相似性搜索，并返回矢量数据库中最接近的前k个数据对象。

• 增强(Augment)：在向量数据库中查询和检索到的附加上下文被填充到提示模板中，增强提示内容。

• 生成(Generate)：检索增强提示被馈送到 LLM作为提示词，LLM根据提示生成应答。

为了验证SC-Telco RAG技术在通信标准领域的问答能力，我们使用“Specializing Large Language Models for Telecom Networks by ITU AI/ML in 5G Challenge”提供的数据集进行了测试和评估。测试数据集中每一道问题均以JSON格式表示，包含五个不同的字段：问题（Question）、选项（Options）、答案（Answer）、解释（Explanation）和类别（Category）。

实验评估的目的旨在验证SC-Telco RAG架构在结构化RAG和两阶段微调中的性能，为此我们设计了3个实验：结构化文档知识提取技术实验、大模型两阶段微调技术实验和综合实验，并将一些超参数设置为固定值，具体如下：

• 文档切分大小（Chunk Size）：分块大小根据自然段的长度而变化，最大长度为500个字符。对于过长的段落，使用递归方法进行分割。

• 大模型（LLM）：Phi-2 2.7B模型。

• 嵌入模型（Embedding Models）：BGE-M3模型。

• 重排序模型（Rerank Models）：bge-large-en-v1.5模型。

• 索引策略（Indexing Strategy）：FAISS索引。

图4：结构化文档知识提取技术效果测评