AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


COZE+kimi,小说推文改写工程化,顺便做了一个AI大模型多文档处理测评
发布日期:2024-07-10 07:04:16 浏览次数: 2509 来源:王笑东


我觉得我还蛮幸运的,刚开始写AI相关的几篇文章,阅读量就很高。

其中关于小说推文的文章反而阅读量最低。但却是我最想做好的一个项目。因为其他项目要么就是过于简单(知识库机器人),要么就是落地场景还不成熟(AI玩具),或者是还在等待技术的进步(企业Agent)。都离闭环还有点距离。
小说漫画推文这个项目刚刚好,有点难度,落地场景很成熟了(抖音、视频号到处都是),也没什么技术难点了。
下面图片向左滑动,是我总结的“小说漫画推文”的六个步骤。
今天这篇文章我想借着“小说漫画推文”项目,深挖其中最关键、最难的小说推文改写
其实市面上关于AI改写小说或文章的应用特别多,需求量很大,但是真正能改的好的,真的不多(我自己也跟着测试了很多)
coze工作流很多都是修改文章相关的

网上很多AI写作相关的prompt,光靠prompt不足以真正解决这个问题,因为prompt做得再复杂、再精巧,也是单兵作战,从A→B,是一元思维的,是简单的,缺少策略、缺少纵深的,是写不出来高质量的文本的,改写出来的文章都有一股AI味。
而借助AI Agent,这个问题有很大可能被解决,至少很大可能生成较高质量的文本(还是需要人工进行调整)。因为AI Agent是集团作战,是多元思维的,是复杂的,是工程化的,是立体有战略纵深的。

比如,这个COZE工作流商店里面被复制了5500多个的“【长文本生产】工作流_MENG”,就是工程化解决AI写文章的应用。
本文正式开始,文章分为以下两个章节
一、小说推文改写工作流制作思路
二、为什么AI大模型选kimi
正文开始
一、小说推文改写工作流制作思路
我们刚才用集团军来形容AI Agent,我觉得是比较形象的。AI大模型是参谋部,知识库是后勤部,插件是武器库等等。通过对这些节点的排兵布阵,从而可以打出非常复杂的战术组合,从而实现1+1>2的效果。

现在我们开始梳理思路:

之前我们说过,AI大模型生成文本,本质上是通过预测文本序列中下一个最可能出现的词来做到这一点的

它的这一能力来自于神经网络模型在大量文本数据上的预训练,通过这种训练,神经网络学习到了语言的模式和结构,使得其能够生成连贯的且语义上合理的文本。

神经网络模型由大量的“神经元”组成,这些神经元通过“连接”相互沟通,每个连接都有一个权重,类似于大脑中神经元之间的信号强度。就像人学习一样,神经网络通过训练来学习,训练过程中不断调整神经元之间的连接权重

因此训练中使用的文本,神经网络会尝试生成与这些文本相似的内容这就是AI“学习”的过程。

回到我们的应用场景,如果AI大模型在改写之前,学习了网络小说资深人士的经验、技术,再加上网络小说素材库的加持,它所生成的网路小说文本将更“像”,质量将更

以上就是原理。

下面看一下具体是如何实现的,首先我在网上花几块钱,买了网络小说教程,我先大体上分为了“写作技巧”和“写作素材”这两个分类,但是具体到里面,可以说是无结构、很混乱的。

之前说过,知识库文档的结构化非常关键,否则,后面的搜索质量一定不高,进而影响最终生成文本的质量。

第二章节就是解决这个问题的,所以这里先略过。

工作流思路如下:

1、假设我们将“写作技巧”和“写作素材”都进行了结构化的分类,各分为了10个类别。

那么我们工作流的第一步是,通过prompt,让AI大模型分析小说文本input,并分别在“写作技巧”和“写作素材”10个分类里面,各找出3个分类(即写作技巧找3个,写作素材找3个)提出优化建议。这样第一步,我们就得到了6个优化建议(3个写作技巧方面的和3个写作素材方面的)。

2、在代码节点,将6个优化建议进行拆解并分别赋值为k1、k2、k3(前三个是写作技巧方面的)、k4、k5、k6(后三个是写作素材方面的)。

3、在知识库节点,分为了两个知识库,一个是“网络小说写作技巧”(里面根据分类分为了10个文档),一个是“网络小说写作素材”(里面根据分类分为了10个文档)

将k1、k2、k3分别输入到“网络小说写作技巧”知识库进行查找,然后输出为m1、m2、m3

将k4、k5、k6分别输入到“网络小说写作素材”知识库进行查找,然后输出为m4、m5、m6

4、在接下来的代码节点,将用户输入的文本input,拆分为5个文本,并分别输出为input1、input2、input3、input4、input5

5、5个AI大模型节点根据m1、m2、m3、m4、m5、m6,分别对输入的input1、input2、input3、input4、input5进行改写并输出为text1、text2、text3、text4、text5

6、最后将text1、text2、text3、text4、text5输出,改写完成。

二、为什么AI大模型选kimi

我之前的文章里面,在AI大模型方面基本上选择的都是kimi,其实使用kimi是更早的时候的事。

我的网站https://17ai.site/。里面所有的文章我都是用kimi进行分析总结成文的。

刚开始用的时候感觉好惊艳,无论是文档还是网页,章总结的结构化、完整度、准确度都让我非常满意有兴趣的同学可以去kimi网站体验一下:http://kimi.ai 其中使用到的提示词如下:

# Role: 文章精选撰写助手
## Profile:- Author: 17AI- Version: 2.0- Language: 中文- Description: 为AIGC领域博客栏目提供个性化、深度分析的每周精选文章撰写服务。包括深入解析您提供的文章链接、总结其核心要点,并结合批判性思维与前瞻性视角进行个性化解读。服务支持批量文章链接处理,并能将英文文档自动翻译成中文,输出内容将采用Markdown格式进行排版,以确保文本的美观和一致性。
## Attention:- 重视内容的深度与前沿性。- 保持个性化的解读。- 确保输出格式的一致性和专业性。
## Definition:- 文章精选撰写服务:针对AIGC领域的博客提供的服务,旨在深度分析选定文章的核心内容,以Markdown格式输出包括标题、链接、核心观点及个性化解读的文章摘要。
## Goals:1. 提供深入且具前瞻性的文章核心观点解析。2. 应用批判性思维,精炼文章要点。3. 采用Markdown格式优化文字排版,确保内容美观、一致。4. 实现英文文档的自动中文翻译,扩大内容的接触面。5. 支持批量处理文章链接,提升工作效率。
## Skills:1. 精通AIGC领域的最新进展。2. 强大的分析能力,能快速提取文章的关键点。3. 熟悉Markdown格式,确保输出内容的格式化和可读性。4. 能够自动翻译英文文档,使内容更易于理解。5. 高效管理多个文章链接的处理流程。
## Constrains:1. 精确引用和链接到原文,尊重原创。2. 保证内容的原创性,避免直接复制粘贴。3. 客观中立的内容解读,避免个人偏见。4. 以Markdown格式统一输出,保持专业的文档排版。5. 及时翻译和更新英文文档,保持内容的实时性。
## OutputFormat:- 以Markdown格式输出,包括:- **标题**:用Markdown格式的链接标记呈现 `[文章标题](文章链接)`。- **核心观点**:简要总结文章的主要内容和观点。- **个性化解读**:基于当前AIGC领域趋势的深度分析和个人观点。
## Workflows:1. **文章深度分析与翻译**- 深入阅读并理解每篇文章的核心内容。- 对英文文档自动进行中文翻译,确保内容准确无误。2. **Markdown格式化撰写**- 根据分析结果,使用Markdown格式撰写文章摘要,包括标题、链接、核心观点和个性化解读。- 确保输出的文字排版美观、一致。3. **批量链接处理与内容审核**- 高效处理和分析多个文章链接。- 审核最终输出的内容,确保准确性、原创性和吸引力。
## Initialization:尊敬的客户,您好!作为您的专业文章精选撰写助手,我致力于为您的AIGC博客栏目提供结构化、深度分析且个性化解读的每周文章精选。通过精确的Markdown格式排版和必要的文档翻译,我们将一同探索AIGC领域的最新发展。

后来在使用COZE的过程中,我发现Kimi的确还蛮好用的,在很多细节方面有所体现(我之前的文章里面都有所提及)

回到我们的主题,前面说了,在如何将网络小说写作技巧和写作素材进行结构化整理是非常重要的,但是我手里的相关文档又多又杂,人工分类几乎不可能,这个时候我想到当然可以使用AI大模型啊,我首选是kimi 。

但是我是比较严谨的,那不如就趁着这个机会,我们把国内7大AI大模型做个测评,看看谁能替我高质量的做好这个工作。

这7大AI大模型如下:

kimi:https://kimi.ai/通义千问:https://tongyi.aliyun.com/qianwen/文心一言:https://yiyan.baidu.com/文心大模型4.0 Turbo星火大模型:https://xinghuo.xfyun.cn/desk百川大模型:https://ying.baichuan-ai.com/智谱清言:https://chatglm.cn/GLM-4元宝大模型:https://yuanbao.tencent.com/

测评任务一:给所有AI大模型上传一样的50个网络小说写作技巧相关的文档,然后提出一样的需求。

我想把这些文档作为撰写或改写网络小说的知识库,进行一个分类整理,目标是后期便于AI大模型根据客户的需求准确而有效的搜索到撰写网络小说相关的技巧。分类后,在每一个分类名字后面加上相应文档的名字,好便于我进行分类整理。明白我的需求了吗?明白了就立刻开始。

结果如下


左右滑动查看

测评观点如下:

1、我是准备了50个文档,其中百川大模型(最多上传20个文档)和智谱清言(最多上传10个文档)本来已经失去测评的资格了。我还是分别挑选了20个文档和10个文档发给它们进行了测试。

2、能够正确理解提示词的意思,并正确输出结果的是:kimi、通义、文心、智谱

星火做了分类,但是并没有将我的文档对应上去,而是找了一些其他的书名放上去了。

百川虽然做出了分类,但是文档归类有问题,而且大量的出现了重复文档的现象。

元宝则是没有理解意思,去分析每一个文档的内容去了。

3、从输出质量上来看:

kimi的输出质量最高,它的分类名称本身就比较具体而更具识别性,另外它为每一个分类后面又加了一句总结,这一点很“聪明”。

通义的分类中规中矩,亮点是每一个大分类后面,还跟了小分类,我感觉仅次于kimi

文心的分类也是中规中矩,没什么毛病。

智谱的分类本来也没毛病,但是和前面三个一比较,就弱了,前面三个,一个分类由两个词组成,比如“伏笔与铺垫”,而智谱都是由一个词组成。也可能是文档太少的原因吧。总之是最弱的。

测评任务二:在50个网络小说写作技巧相关的文档中,放入一段关于AI大模型的文本,然后看谁能准确的找出来。

因为后面我们需要更多的借助知识库里面的文档,我们需要知道哪个AI大模型能够在海量的信息里面帮我们准确的找出我们所需要的信息,这一点很关键

基于上一个测评结果,本来应该是kimi、通义、文心,三个大模型来测试的,但是文心大模型4.0 Turbo需要开会员,就算结果好,后面也用不上

所以这个环节的测评就是kimi和通义。我们这个环节可以叫“海底捞针”,我先“海底藏针”。

我把一段关于Transformer的文本放入到了【11、爽点.docx】这个文档内。我们看看这两个AI大模型能否找出来。

我用到的提示词是:

请从这些文档中,找出关于Transformer的描述,并完整输出出来

以下是kimi的表现,很明显,它完美的完成了任务,还对这段文本进行了总结。这的确是kimi的风格。所以友情提示,在不需要自行发挥的地方就别用kimi了。

以下是通义的表现。很明显,它没识别出来,并出现了“幻觉”

第二节总结一下,今天的测评结果,的确kimi表现的更“聪明”。这个小说推文工作流里面的AI大模型就用kimi了。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询