AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


对话智子引擎万玉磊:提示词工程是一把进入AI大门的好钥匙
发布日期:2024-06-03 12:57:13 浏览次数: 1694 来源:wanwan的奇妙笔记



随着人工智能技术的飞速发展,提示词工程作为AI领域的新兴职业,正逐渐走进人们的视野。在这场技术革命中,万玉磊,一位拥有跨学科背景的提示词工程师,以其独特的视角和丰富的实践经验,为我们揭示了这一职业的内涵与挑战。他的故事不仅是个人职业发展的缩影,也是AI时代下,技术与应用不断融合、创新的真实写照。


智子引擎,作为国内多模态大模型研究的先行者,其自研的多模态大模型“元乘象ChatImg”在业界引起了广泛关注。这些成果不仅展示了智子引擎在AI领域的技术实力,也体现了提示词工程师在模型研发和应用落地中的关键作用。万玉磊在智子引擎的经历,正是在这样的背景下,通过他的努力和创新,将提示词工程的理论与实践相结合,推动了AI技术的进步。





在本文中,我们将深入探讨提示词工程的重要性,以及它如何成为连接AI技术与实际应用的桥梁。万玉磊将分享他如何从一个对AI充满好奇的探索者,成长为智子引擎的提示词工程师,以及他对于AI产品经理角色的深刻理解。同时,我们也将一窥Chatimg这一多模态大模型的神秘面纱,以及提示词工程师在提升模型能力中的关键作用。




采访:中国工人杂志记者 马梦婕 



回答:智子引擎提示词工程师 万玉磊 



以下是对话实录,经过了节选整理。







问:为什么会将提示词工程师这一新兴职业作为进入AI领域的首选呢?可以借鉴产品经理的经验吗?





万玉磊:这其实是两个问题,对吧?我想从我是怎么开始接触到提示词工程开始聊起。



简单介绍一下我的背景吧,我的本科是某个理工类的211,硕士念的是某个文科方向的211。过去在滴滴做过司乘体系的运营工作。



可以说我有一丢丢的代码能力,但是做研发很明显是不够专业的。那么我想进入这个行业要怎么办呢?运营的话,其实会比较卷,现在有太多大厂一两年经历、刚被裁员出来的优秀人才了,我是根本竞争不过的。



恰巧我自己是一个非常爱折腾的人,特别爱研究新玩意儿。从22年底ChatGPT3.5出来以后,我就第一时间上手折腾大模型,从那个时候我开始系统接触到使用GPT的技巧————提示词工程。



后来就读了OpenAI的开发文档,学了最早的一套网络上关于Prompt工程的课程————吴恩达提示词教程。加入了一些开源的人工智能社区,慢慢的积攒了许多关提示词工程的知识。加上国内这边一些相关的限制放开,有一些大模型开始通过网信办的备案上线了,许多公司通过初期的摸索,大概知道了这样一个新兴岗位是干什么的,能做什么,开多少薪资合适。市场上有大量该岗位的HC放出来了,于是这个时候,我开始在各大招聘平台投提示词工程师的简历。



这个是我以提示词工程师开始进入ai行业的简单经历。





我们接下来再来谈是否可以借鉴产品经理的话题。



首先我觉得ai时代的产品经理和移动互联网时代的产品经理完全不一样了。



现在ai的产品经理更像是张小龙曾经说过的古典产品经理,而不是大厂里分的很细的那种PM。



那这个ai时代的产品经理到底需要什么样的能力呢?



模型有很多幻觉,幻觉导致了大家还是得做很多验证工作。



这一波产品经理需要往回倒。



产品经理Day one是宝洁定义出来的职位,这个职位需要同时负责品牌、渠道、定价、供应链所有的问题。所以有了一个职位叫产品经理。



但是在过去移动互联网时代的产品经理是高度分工化和职能化的,反而不像最初的产品经理了。



但是今天,AI产品经理的话,可能又得重新回到day1的产品经理去。



他第一需要很懂技术的边界在哪(通过prompt去验证),第二需要对成本有理解(卡很贵,算力很贵推理很贵,想供应链问题),第三还需要很懂市场(从市场角度察觉用户需求,再和研发进行沟通转化成产品)。



所以现在又回来了,重新又回到了宝洁定义的产品经理。



总结一下就是,prompt工程是ai产品经理必不可少的能力之一,通过这种工程手段,你对场景进行了实际验证,才知道大模型能做到什么地步。prompt工程师其实现在就是在做ai产品经理的一部分活,这个也是我未来的职业发展方向吧。



我想这个关于产品经理的历史回顾应该能够解答你的疑惑。





问:智子引擎在2023年最大的成果是推出了首个图文对话大模型Chatimg,你目前主要的工作是提升模型图像识别的能力吗?需要让它进行深度学习吗?





万玉磊:可以这么说。



提示词工程是大模型实际应用里,提升能力的主要手段之一。我的工作就是提升我们模型在现场实际应用的能力。



至于你说的是否需要让它进行深度学习。深度学习这个话题有点大。可以说整个大模型领域的所有训练阶段都是在深度学习,不管是模型预训练还是模型微调。



我这边主要还掌握的一种技术手段就是微调。我们团队主要通过这两种手段提升大模型的能力。



我猜你说的深度学习是指模型预训练,用海量数据进行学习的那个阶段。这个是我们模型部的同学在做的事情。





问:提示词工程师是如何进行日常工作的?和数据标注、基于人类反馈的强化学习有什么异同之处?





万玉磊:哈哈,这个其实主要工作是高度结合你的业务场景的。你首先要知道你解决的是什么问题,知道你的用户需求是什么,你才能去针对性的写prompt。写了以后,我们还需要去大量的验证这个prompt是不是效果最佳?有没有产生模型幻觉?大家都知道大模型现在是个黑箱,我们只能通过不断的应用来逐渐摸索它的能力边界。



数据标注是微调手段的前期准备,你要进行fine—tuning对不对?那你就需要对大量数据进行处理,处理成大模型能够理解的数据。这个过程叫做数据标注。这个工作我们团队本身也是在做的。优质的数据集非常重要。



至于你说的基于人类反馈的强化学习,这个Reinforcement Learning from Human Feedback,简称RLHF,是模型预训练、诞生阶段的事情,是一个和人类语义对齐的工作,你可以先简单理解成让模型讲礼貌,和人类价值观对齐。目前还不在我的工作范畴之内。哈哈,这个你应该采访我们模型部的同学。



我这边比较偏向应用。只是我们会在应用中不断提升我们的模型能力。





问:提示词工程师最早是在国外兴起,就你目前的了解来看,这一职业在国内外存在哪些差异?





万玉磊:这个问题要回答的话,首先我没有过在国外工作的经历,所以一定和你只能是泛泛而谈。



首先要分成to B的还是to C的,产品形态不同,你需要写的提示词也完全不同。



以我们公司举例,我们目前在行业应用里是比较领先的,现在主要精力是放在toB端的,所以我写的提示词需要解决的问题就是一些实际行业中的问题,主要是效率提升,节省人力,更像是通过ai提优。



toC这边我在国内没有看到什么特别好的应用,你说文心一言,现在手机上也有app对不对?可是他们解决了什么用户具体问题没有?好像也没有。



国外的话,有一个叫character AI的网站,这个是2023年ai领域全球流量仅次于chatGPT的超级应用,就是让ai扮演各种角色陪伴用户进行对话。用户可以创建属于自己的角色陪伴自己。我猜测早期他们的提示词工程师,很大一部分就是根据用户的简单输入,在后台进行提示词优化,转化为最适合GPT4的提示词。至于现在肯定是早就智能化了,有那种专门让ai撰写提示词的提示词,GPTs商店上有很多,你可以看看。



所以你说国内外是否存在差异,那我觉得差异太大了,你的模型基座是什么,你的用户场景是什么,决定了你写提示词的方式。



非要说最明显的差异,那就是国外很多ai应用公司底层都是接的GPT4的api,他们的提示词是针对ChatGPT进行提优的。国内有很多模型,比如我们是自研多模态大模型,那么实际应用的提示词,撰写方法也会不完全一样。





问:要做好一名提示词工程师需要学习哪些技能?入行一个多月来你学习了哪些知识?





万玉磊:我觉得首先要理解大模型基础的技术原理吧,了解这个东西是怎来的,基于什么样的数据训练的,他的数据是什么格式的。比如ChatGPT自己内部处理的数据格式就是markdown语法的,那么你写的提示词就也是markdown那种结构化表达,效果就非常显著。这方面最好的教程就是openai官方的开发文档,写的非常清楚,直接去读一遍就好了。



我的话,入行的几个月以来,首先是在原本的提示词领域里,时刻关注ai业界的最新动态,出现了什么新的技术第一时间跟进。至少要知道头部的微软、谷歌他们的动态,国内智谱、百川有什么新的发布。另一方面其实是在学习行业垂直领域的一些知识吧,ai时代越来越需要人成为一个博物学家,需要你有很多跨行业跨领域的知识,这样你能够know why,就知道know how,才能更好的结合业务场景去写提示词。最后其实就是咱们先前说的,本质上还是在做ai产品经理的事情。所以我也在学习产品经理相关的知识,不过产品经理是实践出来的嘛,工具比如Axure这种很,学一学就会用就好了。比较有挑战性的是对用户需求的提炼、对市场的了解,怎么和研发去沟通等等。



Back to the future  我想我现在正在努力成为一个古典产品经理,但它又是全新的ai时代的产品经理。所以我说,back to the future。





问:Chatimg属于基础模型吗?做提示词工程师的话是否还需要学习行业模型?数据是否比较难获得?





万玉磊:我猜你想问的应该是我们公司的模型是不是通用基础大模型。我可以很明确的回答你,是,而且我们是多模态的大模型。2024年人工智能领域的关键词,一定会有多模态。我们差不多就是多模态领域里最好的国产大模型了,而且我们是自研,这点我觉得是非常了不起的。



过去我和我们的CEO高总聊天的时候,最后就谈到,我们公司的愿景、还是要迈向AGI。



我想任何一个做底层大模型的公司,有点伟大理想的,都不会放弃AGI的长远目标的。



至于你说的行业模型,我们会依据不同的行业数据进行训练,算是一个模型能力不断成长的过程吧!未来应该会是通用的。数据确实是一个很关键的问题,优质的行业数据未来是有可能构成护城河的。确实很难获取的,因为数据会很敏感,我们也需要和客户签保密协议,你看我连具体行业信息都不能告诉你对不对?(笑)。





问:提示词工程师这一职位在大模型趋于成熟稳定后是否还会长期存在?你对这一职业是怎么看待的?





万玉磊:你说的趋于成熟,具体是指到什么地步呢?现在我们还处于ai早期发展阶段,现在ai可能一年一个样,有点类似早年pc刚诞生的阶段,未来会变得很快。不过提示词工程还是很重要啊,必须要有人知道know how。未来可能随着大模型能力的提升,我们不需要写那样复杂的结构化提示词了,这个岗位会逐步回归成ai产品经理的一项核心技能。



还有一种成熟,就是AGI到来了。那就不是担心prompt工程师还存不存在的问题了,那个时候,可能连程序员的工作都被彻底取代了,产品经理存不存在都不好说(笑)那一定是一个天翻地覆的变化,我能做的就是做好一切准备,有勇气的人率先拥抱整个世界。



怎么看待的话,我觉得至少是,年轻人当前进入ai行业的一个很好的基础岗位吧,毕竟它很重要、很关键,不管你是做底层大模型,还是做ai应用的公司,你都少不了这个岗位。在这个过程中,你就会逐渐接触到当前的人工智能技术是什么样的,为什么ChatGPT是以对话这种产品形式出现在世界上。



现在年轻人找工作很难,对吧,那不如积极拥抱新变化,来人工智能领域闯一闯吧,提示词工程会是你的一把进入ai大门的好钥匙。








53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询