微信扫码
与创始人交个朋友
我要投稿
自从2022年底ChatGPT发布以来,AI大模型真正进入快速发展和应用落地的阶段,在各个领域快速催生出大量的应用,总体包括“文生文”、“文生图”、“文生视频”、“文生音频”、“图生图”、“图生视频”等AIGC(Artificial Intelligence Generated Content,内容生成式人工智能)应用方向。另外在一些细分领域,也出现了很多应用大模型能力赋能生产、提质增效的应用。
在档案行业,也有很多先驱在探索大模型的应用方向,并且有一些实际行动,为我们呈现出全新的理念和应用模式。但受限于各种因素的影响,笔者认为大模型在档案收、管、存、用等基础业务层面的应用具有很强的基础设施、业务数据等壁垒,应用效果还有待实践检验。今天,我们来聊聊大模型在档案领域的一个典型应用——档案知识助理。
01
为什么要做档案知识助理
档案知识助理虽然没有很强很深的技术壁垒,但它很可能为我们档案从业者提供一个非常高效、友好的档案知识获取窗口,这是我们所有档案人都需要的,它具有普适性。而且也是我们档案人学习AI、应用AI的一个很好的入门方向,每个人都可以去积极尝试,搭建属于自己的知识助理。
02
为什么要用AI大模型来做档案知识助理
档案知识助理其实就是一个档案知识库,并借助大模型强大的的对话能力、泛化能力、学习能力、理解能力、逻辑推理能力来提供知识服务。
知识库其实并不是一个陌生的概念和产品,早在ANI(Artificial Narrow Intelligence,弱人工智能)早期,就有不少公司具备提供所谓的“智能知识库”产品和服务的能力,例如笔者曾接触过的智能客服行业,大都具备基于ANI的知识库产品。虽然目前我们还未正式进入AGI(Artificial General Intelligence,通用人工智能)时代,但基于大模型的知识库与ANI早期的智能知识库已不可同日而语了。请看下图对比:
通俗来讲,用大模型来实现知识库产品,具有以下优势:
可以直接上传双层pdf或word文档,不需要做复杂的整理;
对用户所提问题的理解能力强,可以实现多轮对话,具备更强的上下文理解能力;
在知识库之外,可以实现联网搜索,拓宽知识覆盖面;
可以将知识问答集成到第三方平台,例如微信群、飞书、钉钉等;
可以实现本地化部署,更加安全;本地部署可以对大模型做预训练和微调,更加灵活。
下面,我们就用两种方式来搭建档案知识助理,并对其进行实际效果测试。第一种是完全本地化的模式,这种模式受限于笔者硬件配置,并未做大模型的预训练和微调,而是直接使用了原生的大模型;另一种方式是使用钉钉的AI助理来搭建,这种模式属于借用第三方平台,不支持本地化部署。
03
搭建本地化档案知识助理
1、系统架构及搭建步骤
注:这个架构不是企业级应用架构,只适用于我们自己尝试,如果要做企业级应用,那数据库就要分布式部署,另外访问量和数据量大的话,也要做集群来提高稳定性,语言模型也需要用参数量更大的。
整个系统完全本地化部署,底层使用ollama来运行大语言模型和向量模型,上层WebUI应用使用FastGPT实现,中间层使用OneAPI来做通信,应用数据和向量化数据分别存储在MongoDB和PgSql中。如需了解具体的部署步骤,可观看以下教程:
部署完成后,FastGPT和OneAPI需要做若干配置,并导入知识库文件,才能初步实现知识问答。
2、本地化大模型的应用效果
完成上述的系统部署和初始化后,我们直接导入了一些国家标准和行业标准文件(必须是双层pdf或者word等可编辑文件,图片和普通pdf不支持)。来看看实际检索效果和原文的对比吧:
随便输入了一个问题,大模型直接给出的答案是不对的,如下图:
但在下方的知识库引用中,大模型成功匹配到了知识库文件中的内容。如下图:
笔者又同样试了其他很多问题(不超出知识库的内容范畴),并且不断调整分段长度和相关度设置,大模型给出的直接回答依然不完美;但毕竟在知识库引用中能精确匹配到答案了,总体感觉还不错。期待后续有条件的朋友能够完成模型的微调,再给大家呈现出更好的结果。
04
使用钉钉AI助理搭建档案知识助理
1、搭建步骤
使用钉钉AI助理搭建,就很简单了,只需要安装一个最新版本的钉钉。这个就不是本地化部署了,借助的是AI助理背后的强大底模(应该是非开源版的通义千问)。看下图,直接按步骤操作即可:
需要注意的是:按照上图步骤创建的助理,是公开的,也就是说发布后所有钉钉用户都能搜索到并使用;如果你点击步骤2后,直接在右侧分栏下方点击“创建AI助理”,那么这个助理就是面向组织内部使用的,组织外的人看不到。这两种方式会影响后面上传知识文件的方式,前者只能本地上传,后者可以选择企业组织搭建的知识库。
另外还需要配置一个简单的Prompt,用来限制大模型的输出范围。请注意:千万不要配置冗余的Prompt,如果你不会写,就空着,或者写一个简单的,劣质的Prompt就像画蛇添足,会极大的干扰大模型的输出。配置完成的助理,如下图所示:
2、用钉钉搭建档案知识助理的应用效果
上效果!我们问一个同样的问题,看看AI助理和本地化大模型熟优熟劣。
答案相当正确,也相当完整。而且给出了知识来源,用户点击知识来源后,可以向AI助理的所有者申请查看、下载的权限。
05
对比总结
第一点
第二点
END
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-07-10
2024-05-15
2024-04-24
2024-06-23
2024-07-10
2024-08-04
2024-09-14
2024-06-19
2024-07-10
2024-06-14