AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


云中江树 | 重塑自然语言编程,Agent 训练的核心探索
发布日期:2024-11-20 18:47:22 浏览次数: 1684 来源:结构词AI


大家好!非常开心今天有机会跟社区的朋友欢聚一堂,讨论提示词话题。

虽然有很多声音讲提示词会消亡,是一个短期的东西。但在我日常工作学习生活以及事业中,我发现它正在持续不断给我创造惊喜。

今年2024年整个AI圈稍稍沉寂一点,也感觉到了这样一个时候,应该给大家分享一下,我们在这段沉寂的时期做了什么事情,有什么样新的发现和探索。

相信前面几位专家,从产业界、学术界,从自己个人探索以及他们团队实践中,应该给大家带来了非常多的收获。对于提示词,做好提示工程,有了比较多的理解。我这里关于专家们讲过的东西不罗嗦了,补全一些嘉宾没有提到的东西。

今天花十几分钟讲一下四方面。

概念就细讲了,主要分享一下我对智能体和Prompt的思考。

提示工程就是设计和优化提示词的技术和方法论。举个例子,对于一个 10岁的孩子,我们怎样让AI给它解释量子力学这样复杂的概念呢?

基础的方式是:“请解释量子力学的概念” ,AI 的解释很晦涩,还带了很多孩子看不懂的数学公式。

优化后的提示词:“请用10岁孩子能理解的方式,用生活中的例子图文并茂的解释量子力学”。

你告诉AI目标受众是 10 岁孩子,给你的方式是怎么样的?图文并茂。对于像Claude 这样的AI 模型甚至能够把相应的图片、示意图都画出来,并且用非常平实的文风告诉你,这个复杂的概念是什么。在日常中,也非常推崇这样的学习方式。

这个发展历程是怎样的呢?早期我们用AI,更多基于模型微调的范式。当我们解决一个领域的特定任务,往往要构建一个特定的数据集,找到相应的预训练模型,用这些数据集对模型参数进行微调。

模型是神经网络的架构,其中有大量模型参数,一般会固定大部分的参数,只对输出层和少量层进行微调。当然训练全部的参数也可以。微调有很多优点,比如相比于预训练的模型带来更多的性能增益,在特定任务的效果表现出色等。但是缺点也非常明显,计算资源需求很大,这是一点比较大的问题。当来到大型语言模型之后,我们需要大量数据、大量的模型、大量的算力,长时间训练更是把微调的范式所需的成本推到了几百万、上千万的量级。

这时候有一个非常好的事情出现,就是提示工程,我们对模型控制的维度增加了一个维度,在模型的参数之外多了对模型输入的调控。我们可以通过调整对模型输入,调整我们给它的提示词,来调整AI模型的行为。提示工程范式的优点很多,比如我们可以快速实现一个小应用的POC,资源消耗非常低、灵活性也很高。当然,也有一些缺点,相比于微调的模型来说,上限可能会低一点点。

回顾整个2023-2024年实践来看,基本上提示工程这条路线,目前来说占据主导。2023年底大家还会非常热衷于微调,可能很多企业或者个人花了很多钱在上面以后,遇到了非常多的问题,最终放弃。

那么提示工程跟AI领域常讲到的非常火那些概念:工作流、RAG、智能体之类是什么关系?

我们可以看到这样一张图,总的来说整个AI应用的构建,相关的技术都可以用这张图说明。

最底层是模型,提供基本AI能力和算力。模型AI能力、算力调用方式是提示工程、提示词,我们把提示词中的某些部分设置为一些变量和参数,就变成提示词模板。这种情况下单次调用,可能会有很多问题没有办法完成更复杂的任务。

于是我们想出了把多次调用,通过流程性方式构建在一起,构建成所谓的提示链,或者叫工作流。这时候往往还是手工设计,基于现有SOP打造。我们希望这个过程更加智能,我们希望大模型能够有一定的自主规划能力,自主可控,自主去运行的能力。

所以,我们如果把规划的事情交给AI来做,那就成了所谓的智能体。在这个过程中,当然也可以赋予它工具,不管是浏览器、文件还是相应API,相当于给大脑装上了四肢,能够有强大的应用能力。

如果我们把这些智能体都放到一起,协作起来,每个智能体负责任务不同,一起解决长链条上面的大的需求,就成了一个多智能体的系统,这个竖井比较顺畅从模型怎么样走到智能体的应用。

你可以看到,中间的过渡层是我们的提示词/提示工程。整个路径,如果我们再从上到下去思考,我们看怎么到提示工程呢?

我们一步一步抛去复杂性,多智能体系统抛去协作机制,会回退成一个单一智能体系统,再简化决策逻辑,有一些完全自主变成受限的,甚至说受限变成人工设定的,那就变成一个任务执行链。再进一步去除去其他附带方面内容,就成了一个模板,可能有一些知识和参数,再除去就回退到一个核心的提示指令上。

对于RAG系统来说也是这样,我们剥离掉复杂性,你会发现所有的大模型应用技术本质上都在做字符文本放大器,本质上都是在构造Prompt,让我们大模型基于更好的输入,引导得到更好的生成文本。

这也是我要做提示工程的原因,因为所有可以被字符化的任务都可以用提示工程来做。

可以被定义为文字接龙的游戏的任务都可以来做。文字不必说了,这是最近提示工程做的提示字制卡。现在大家看到的都是Claude直接通过输出SVG字符,这些字符再由浏览器渲染成得到的卡片,都是使用 Claude 的Artifacts 功能由提示词直接制作。

传统情况下,我们找一个设计师得到这样一个海报,快也要几小时。如果说你自己很擅长跟AI对话,来做这个事情,拿到结果大概只需要花5-20分钟。

同时,我们还可以用大模型来进行各种应用编程,你现在只要会跟它对话,只要描述清楚应用,就可以快速构造一个APP,这也是我们实际在做的。在座朋友可能有人用过我们的口袋AI APP,那就是我跟AI一起协作,花了一天多时间改造出来的APP。此外我们还可以用它来进行图像智能分析,构建网站,构建数据可视化智能体等等。

在这个过程中,我们看到了AI和人的结合,带来了巨大的杠杆和成倍的效率提升。同时,在这个过程中看到了提示工程涉及的方方面面有多复杂,有哪些事情和特性。

所以,我构建了这样一个提示工程全景图。

它涉及到小样本学习、上下文核心要素,基础模型设置。

从技术层面涉及到推理的方法,安全方面涉及到提示词攻击跟防护。

工程方面,又涉及到子任务拆分规划,在Prompt里做还是拆成工作流来做等问题。

构建智能体的时候,智能体之间的任务,工具调用等怎么样通过提示词实现,这些智能体系统之间怎么协作。我们在实际工程实践中,相应的测试又是怎么做的,相应的管理又是怎么做的,后续技术优化的过程中,怎么样去做推理层面的优化,提示的链接等等,涉及方面非常多。越实践,越看到落地的问题,时间有限没有办法讲完全部内容,我挑几个比较重要和大家比较感兴趣的讲一下。

首先是提示词策略在模型层面表现的差异。很多人问我能不能构建一个通用的提示词方法,在所有模型上都是有效的。粉丝朋友问我目前为什么GPT上这么写?Claude上又这么写?

差异是模型层面的差异。因为本质上提示工程怎么做,是由底层模型决定的。由模型的训练数据、模型的架构、模型的参数规模、模型的训练方式,可能还包含了其他各方面因素决定的。什么样的土壤开什么样的花,对于不同的模型也是这样。

对于GPT的方法不多讲,大家非常非常熟悉了。对于Claude,我们感觉相比于GPT来说,更具有创造力,而且代码能力很强,审美水平很高,这张PPT里大家看到的三张卡片就是Claude做的,直接出样式+文字,包括PPT中很多其他的图,都是Claude 做的。

Llama 是开源社区很有影响力的模型,也有自己的提示规则,大家感兴趣可以查看官方的一些资料。

然后提示词自动优化方面的技术,这方面做法也非常多,可以通过模型的方式去做,智能体方式去做。总的来说,整个提示词自动优化系统,都是在放大用户意图、对齐AI理解。用户输入一个意图,你后面做的所有事情无非是准确理解用户用途,把这个用户意图放大、校准,对齐模型性能特性,对齐用户预期,同时在这个过程中建立起数据飞轮,持续收集到相应反馈和数据,持续进行迭代。

还有一个比较火的话题是提示词的攻击和防护,最近一些 ChatGPT 的 DAN 模式非常非常火,还包含了提示词注入,提示的泄漏等,都会带来相应方面的安全问题。相对于这个问题,又有一些防护方面的措施。除了说传统的输入输出的过滤,在提示过程中应该也要做相应的上下文控制,对正向内容的引导,对负向内容的规避。

同时,我们还看到今年多模态提示词持续进步,除了文本性的提示内容输入,现在可以把图像甚至语音视频都放进去,并且能力在持续进步,实用性越来越强。

我们这里看到的金字塔的例子,就是用图片+文字方式得到的结果。我们把原来英文的图片给到多模态的模型,帮我们翻译出相应的中文,并且保留了原来的样式。

另一个方面是怎么写出有人味的文本,这点猫总展开讲的很细了,我们简单提一下。不被平台检测到,不被平台识别、 SEO 限流,不被用户感知。检测方法往往是一些模型的方法,反检测的方法会比较多,包含了一些文本变异、模式打破,人类风格模拟等等,这些方法的具体实施都可以通过提示工程来做。

以上大概我们回顾了一下,提示工程设计相关的一些方面,着重讲了几方面。最后简单讲一下,怎么写好提示词,我的理解。

一个最基本的提示词工程师应该有下面三部分素养,这是最基本的。

首先,你要掌握基本的技巧,为了完善表达,可能要学习一些经典的框架。再进一步如果你想提示词更有逻辑性、更高质量的输出,要掌握相应的方法论和AI相结合。

如果要更进一步,为我们的AI注入灵魂,给提示词注入灵魂,相信刚哥的分享已经让大家很受益了。

我们站在AI的位置向两端看去,看到一端是机器,一端是人。AI 的肉体可能是机器,学习的却是人脑里面的思想和知识。机器相对应的机器语言是编程,人对应的语言是自然语言,AI对应的语言则是提示词。

整个来说,我看到提示词或者AI站在了机器向人这个路线演进中间的某一个点,所以应该怎么去表达、怎么去沟通,可能是这两端之间语言(自然语言、编程语言)一些优劣势的融合。至于说人的行为方面要加多少,机器行为要加多少,看处在这个线上哪个位置。

随着 AI 越来越强大,我认为必然会越来越像人,我们也清晰的看到,现在写好一个提示词或者写出一个令人惊艳的提示词,需要你有文学底蕴,美学意境和相应思想的深度。如果你受过哲学方面的训练,美学方面的训练和艺术方面的训练,能够让你写出一个更有灵魂、更美的提示词。

总的来说,比较重要的就是这几点。其他方面结合前面嘉宾的分享,讲得非常清楚了。

最后分享一下我的愿景,现在是一个非常跌宕起伏的时代,我们希望跟AI时代一起成长,所以我们办了这样一场大会,跟大家一起学习,也是跟大家一起分享。同时,我们希望在自己成长的同时,也能够带着一批人一起成长。

我们当时提出了这样一个愿景,人人都能写出高质量的提示词,也是希望通过过往系统性的一些知识和传播,能够让大家看到AI的魔力,让大家调用AI这个巨大杠杆去发挥相应的力量。

时至今日,我在AI提示词领域大概写了3年多的提示词,我还是认为提示词领域是切入AI最好的点,并且也是最容易花20%的精力能拿到80%结果的点。

在过去我们看到,你可能做了非常非常复杂的RAG,但是还不如把知识全部塞进提示词里面有效。你做了非常非常Agent 方面的调优,还不如直接在提示词里面,把思维链写清楚,效果更好。

走在AI时代的前沿,和时代一起成长,这也是我们今天办这次会的意义。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询