微信扫码
与创始人交个朋友
我要投稿
陈浩蓝: 我只能就比较熟悉的互联网行业讨论。目前来看,现在的大模型对大部分互联网应用的冲击不大,但是对从业人员的职业规划有一定冲击(笑)。
首先看对现存的互联网应用改变不大。互联网现在最主要的应用是连接,即时通信应用连接人和人;内容平台,连接人和创作者;O2O 平台,连接人和服务。在这些类型的应用里,生成式 AI 扮演的作用是提升连接的效率。比如在社交类 APP 里,已经有一些产品在做社交替身、社交红娘的尝试,降低“ I ”人之间沟通的门槛。在内容平台和 O2O 平台,生成式 AI 的强大语义理解能力,能做更好的内容理解与个性化匹配;
另外基于 AIGC 的内容、广告富媒体素材的生成能力,也使得投放或自然分发的效率更高了。再以 QQ 浏览器举例,这是腾讯开发的工具 APP,提供网页浏览能力,也有对互联网上各种文件 / 文档的打开能力。最近上线了 AI 阅读助手的能力,能对用户授权的文档进行 AI 速读和交互式问答,提升用户获取信息的效率。
在这些场景大模型都提供了更好的体验,但我认为是对既有互联网服务的一个体验优化,对连接效率的提升,但在用户看来,这仍然是他们熟悉的产品。
当然这个界限比较模糊,比如 AI 搜索,同样是生成式搜索,New Bing 大家可能认为是 AI 增强后的搜索引擎;而 Perplexity 就是搜索增强后的问答 AI 应用。
另外也有少量 AI 原生的应用,比如各类沉浸式智能体平台,也开始摸索出了很明确的 PMF,这些倒不能说是冲击,只是出现的全新的服务和机会。对于从业人员来说,相信大家都能感受到,新的产品形态和技术,伴随而来的也有新的职业机会和焦虑感。
陈浩蓝: 是的,和字面意思一样,是希望能响应根据用户的选择,开放式、无结尾地一直延续剧情。当然需要说明的是,这里的响应不是完全由用户控制,而是更希望遵循剧情的创作规律,从而给用户全局更好的剧情体验。比如在剧情中会遵循经典三幕剧的结构,剧情中的人物有 ta 的角色弧光,通过拉扯来给用户提供更好的体验。这就像魂系游戏里,制作团队的目的是让玩家开心,但把玩家”按在地上摩擦“的也是他们。
说到这类需求在游戏中大不大,我觉得需求的分布和产品对需求的满足能力是互为因果的。首先说我的观点是“大”。归纳地看,受限于开放剧情对内容生产的巨大开销,目前还没有真正的开放世界游戏(但是否存在真实的开放世界呢),但像 GTA、荒野大镖客、艾尔登法环这类有限开放世界和具有丰富分支剧情的游戏,表现出了很高的用户吸引力。演绎地看,游戏是人类的乌托邦的话,大家应该都希望它是一个更开放和永续的存在。
有了生成式 AI 之后,除了之前比较有名的斯坦福小镇论文,工业界有不少产品也尝试了开放式剧情,并且尝试加入一些游戏化玩法。比如海外的 Janitor、国内出海的 Crushon、国内我们关注到星野、冒泡鸭也有类似的尝试。我感觉同行们也都在探索。
陈浩蓝: 我简单学习过 LARP 这个工作,这个是 23 年的工作,有很好的想法,这个框架能让 NPC Agent 从开放世界的游戏环境里自动学习到经验,并通过检索的方式迭代提升后续的决策效率。这个很好地模拟了强化学习中 Agent 通过和环境交互,学习更好的策略的方式。后续也有比如 nvidia 的 voyager、或者创业公司深度赋智的 MetaGPT,也用了类似的思路,来通过仅 Agent 的方式迭代策略。
这类解决方案和我们想讨论的问题有两点关键的不同。首先这类工作在游戏角色扮演中,主要处理的问题仍然是让角色如何更好地遵循游戏规则和剧情;这是很有意思的工作,但更进一步的,我们希望讨论的范畴包括开放式剧情的生成,以及在这样的剧情下,如何让玩家和智能体能够在剧情中扮演各自的角色进行体验。
另一点差异是实现方案上,由于单纯 Agent 的框架的关键限制是不对大模型(通常是 GPT)做对齐精调,因此需要有更为精巧复杂的机制,使得信息被提炼成合适形式的字段,并通过 RAG 等手段,保证字段能比合理地拼到 Prompt 里,来模拟模型参数迭代的过程。
但如果使用开源 / 腾讯自研 LLM,这件事可以通过下游精调能更简单地实现。且由于在线上应用场景中,成本和响应时间都是必须要考虑的因素,所以我们也不会使用复杂 Agent 架构里常用到的串行多次推理,会尽可能用少次数的模型推理来拟合想要的效果。
陈浩蓝:Agent 框架的设定,我认为是对物理社会的一个模仿,这样能保证物理世界能够提供足够多的垂类样本,来训练我们各个模块的模型。我们当前的多 Agent 剧情扮演框架,是对现实世界的影视剧的一个模仿,其中包含设定 Agent、编剧 Agent、导演 Agent、旁白 Agent、NPC Agent、动作指导 Agent 和用户助手(类似原神中的派蒙)Agent。
当然,这些 Agent 都是共同调用我们基于混元大模型精调的角色扮演语言模型,我们为每个 Agent 定制了专门的训练任务以增强自研模型对 Agent Prompt 的敏感程度。这个中间有一些调度的机制,比如设定的调度可以跟着剧本粒度走、编剧的调度可以跟着章节剧情粒度、然后导演和 NPC 则需要在用户的交互中频繁被调用。这里没法展开更多细节,让我们把更多交流留在 AIcon 上海站当天。
陈浩蓝: 主要有以下几方面:
a. 生成剧情的精彩程度:根据上文生成一段故事是大模型的天生技能,但是生成一段符合起承转合的特性,又有戏剧性和创意的剧情,难度高;
b. 导演、旁白和 NPC 对剧情的遵守能力;
c. 在多 Agent 场景下,整体耗时的保障;
我们的针对三类问题,都有一些针对性的调研和解决尝试,取得了阶段性的结果。非常期待和大家分享。
陈浩蓝: 至于潜在创新点,我认为是从用户的反馈中自动迭代出整幕剧的更优体验。通过先验的人工评估,我们很好明确哪些体验是差的,比如角色 OOC、剧情平淡、逻辑问题。但什么体验是好的,用户只会给出一些非常隐式的反馈。
对于推荐系统这种搜索空间小的问题,现在基于用户的短期反馈已经能有比较成熟的方案了,当然长期的反馈仍然是难的。
而对于多 Agent 的大语言模型体验,由于觉得和语言的可选空间巨大,如何将用户的后验反馈持续迭代到整幕剧的各个模块,玩一万遍后整个剧组就更加专业,这是一个令人兴奋的事情。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-13
2024-08-21
2024-07-09
2024-08-04
2024-06-13
2024-04-11
2024-07-18
2024-07-01