AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


腾讯专家视角:开放剧情扮演 Agent 的挑战与思考
发布日期:2024-08-07 14:26:17 浏览次数: 1909 来源:InfoQ



开放剧情角色扮演游戏,给用户提供超脱于现实世界的高拟真娱乐体验,已经占据了单机电子游戏中越来越重要的地位。然而该类产品仍然受制于有限的游戏内容的产能与个性化程度。随着大语言模型及多智能体技术的颠覆式创新,为每位用户提供个性化的开放剧情扮演体验具备了可能性。在 8 月 18 日 -19 日的 AICon 上海站上,腾讯 PCG 大模型中台 Agent 技术负责人陈浩蓝将发表《多智能体技术在开放剧情扮演玩法中的探索》精彩演讲。

本文是陈浩蓝的会前采访文章,期待对你有所启发。此外,大会还将涉及更多关于大模型在搜索、广告、推荐领域的探索等热门话题。感兴趣的亲们,不妨点击原文链接,查看大会的详细日程安排,期待与您在 AICon 上海站相遇!
InfoQ:您介绍中提到,您目前负责 QQ 浏览器内多个亿级用户场景的 NLP 技术落地,现在的大模型是不是对于大部分的这些应用的冲击还是挺大的?还是说使用原来的技术方案也可以,但是最终还是要重新做?

陈浩蓝: 我只能就比较熟悉的互联网行业讨论。目前来看,现在的大模型对大部分互联网应用的冲击不大,但是对从业人员的职业规划有一定冲击(笑)。

首先看对现存的互联网应用改变不大。互联网现在最主要的应用是连接,即时通信应用连接人和人;内容平台,连接人和创作者;O2O 平台,连接人和服务。在这些类型的应用里,生成式 AI 扮演的作用是提升连接的效率。比如在社交类 APP 里,已经有一些产品在做社交替身、社交红娘的尝试,降低“ I ”人之间沟通的门槛。在内容平台和 O2O 平台,生成式 AI 的强大语义理解能力,能做更好的内容理解与个性化匹配;

另外基于 AIGC 的内容、广告富媒体素材的生成能力,也使得投放或自然分发的效率更高了。再以 QQ 浏览器举例,这是腾讯开发的工具 APP,提供网页浏览能力,也有对互联网上各种文件 / 文档的打开能力。最近上线了 AI 阅读助手的能力,能对用户授权的文档进行 AI 速读和交互式问答,提升用户获取信息的效率。

在这些场景大模型都提供了更好的体验,但我认为是对既有互联网服务的一个体验优化,对连接效率的提升,但在用户看来,这仍然是他们熟悉的产品。

当然这个界限比较模糊,比如 AI 搜索,同样是生成式搜索,New Bing 大家可能认为是 AI 增强后的搜索引擎;而 Perplexity 就是搜索增强后的问答 AI 应用。

另外也有少量 AI 原生的应用,比如各类沉浸式智能体平台,也开始摸索出了很明确的 PMF,这些倒不能说是冲击,只是出现的全新的服务和机会。对于从业人员来说,相信大家都能感受到,新的产品形态和技术,伴随而来的也有新的职业机会和焦虑感。

InfoQ:开放剧情游戏,从字面上看,可能是大家可以自定义剧情?类似之前有电视剧自己可以定制结尾,这样的需求,在游戏中是否足够大?现在有没有典型的开放剧情的游戏代表呢?

陈浩蓝: 是的,和字面意思一样,是希望能响应根据用户的选择,开放式、无结尾地一直延续剧情。当然需要说明的是,这里的响应不是完全由用户控制,而是更希望遵循剧情的创作规律,从而给用户全局更好的剧情体验。比如在剧情中会遵循经典三幕剧的结构,剧情中的人物有 ta 的角色弧光,通过拉扯来给用户提供更好的体验。这就像魂系游戏里,制作团队的目的是让玩家开心,但把玩家”按在地上摩擦“的也是他们。

说到这类需求在游戏中大不大,我觉得需求的分布和产品对需求的满足能力是互为因果的。首先说我的观点是“大”。归纳地看,受限于开放剧情对内容生产的巨大开销,目前还没有真正的开放世界游戏(但是否存在真实的开放世界呢),但像 GTA、荒野大镖客、艾尔登法环这类有限开放世界和具有丰富分支剧情的游戏,表现出了很高的用户吸引力。演绎地看,游戏是人类的乌托邦的话,大家应该都希望它是一个更开放和永续的存在。

有了生成式 AI 之后,除了之前比较有名的斯坦福小镇论文,工业界有不少产品也尝试了开放式剧情,并且尝试加入一些游戏化玩法。比如海外的 Janitor、国内出海的 Crushon、国内我们关注到星野、冒泡鸭也有类似的尝试。我感觉同行们也都在探索。

InfoQ:现在的技术进展情况如何?有查到 MiAO 公司提出了一种名为 LARP(Language Agent for Role Play)的框架,该框架将开放世界游戏与语言智能体相融合,利用模块化方法进行记忆处理、决策以及从互动中不断学习。当前的技术框架主要包括那几个方面?

陈浩蓝: 我简单学习过 LARP 这个工作,这个是 23 年的工作,有很好的想法,这个框架能让 NPC Agent 从开放世界的游戏环境里自动学习到经验,并通过检索的方式迭代提升后续的决策效率。这个很好地模拟了强化学习中 Agent 通过和环境交互,学习更好的策略的方式。后续也有比如 nvidia 的 voyager、或者创业公司深度赋智的 MetaGPT,也用了类似的思路,来通过仅 Agent 的方式迭代策略。

这类解决方案和我们想讨论的问题有两点关键的不同。首先这类工作在游戏角色扮演中,主要处理的问题仍然是让角色如何更好地遵循游戏规则和剧情;这是很有意思的工作,但更进一步的,我们希望讨论的范畴包括开放式剧情的生成,以及在这样的剧情下,如何让玩家和智能体能够在剧情中扮演各自的角色进行体验。

另一点差异是实现方案上,由于单纯 Agent 的框架的关键限制是不对大模型(通常是 GPT)做对齐精调,因此需要有更为精巧复杂的机制,使得信息被提炼成合适形式的字段,并通过 RAG 等手段,保证字段能比合理地拼到 Prompt 里,来模拟模型参数迭代的过程。

但如果使用开源 / 腾讯自研 LLM,这件事可以通过下游精调能更简单地实现。且由于在线上应用场景中,成本和响应时间都是必须要考虑的因素,所以我们也不会使用复杂 Agent 架构里常用到的串行多次推理,会尽可能用少次数的模型推理来拟合想要的效果。

InfoQ:当前的技术框架在实际落地的时候有哪些难点呢?目前有哪些解决思路?

陈浩蓝:Agent 框架的设定,我认为是对物理社会的一个模仿,这样能保证物理世界能够提供足够多的垂类样本,来训练我们各个模块的模型。我们当前的多 Agent 剧情扮演框架,是对现实世界的影视剧的一个模仿,其中包含设定 Agent、编剧 Agent、导演 Agent、旁白 Agent、NPC Agent、动作指导 Agent 和用户助手(类似原神中的派蒙)Agent。

当然,这些 Agent 都是共同调用我们基于混元大模型精调的角色扮演语言模型,我们为每个 Agent 定制了专门的训练任务以增强自研模型对 Agent Prompt 的敏感程度。这个中间有一些调度的机制,比如设定的调度可以跟着剧本粒度走、编剧的调度可以跟着章节剧情粒度、然后导演和 NPC 则需要在用户的交互中频繁被调用。这里没法展开更多细节,让我们把更多交流留在 AIcon 上海站当天。

InfoQ:当前的技术框架在实际落地的时候有哪些难点呢?目前有哪些解决思路?

陈浩蓝: 主要有以下几方面:

a. 生成剧情的精彩程度:根据上文生成一段故事是大模型的天生技能,但是生成一段符合起承转合的特性,又有戏剧性和创意的剧情,难度高;

b. 导演、旁白和 NPC 对剧情的遵守能力;

c. 在多 Agent 场景下,整体耗时的保障;

我们的针对三类问题,都有一些针对性的调研和解决尝试,取得了阶段性的结果。非常期待和大家分享。

InfoQ:未来发展方向中,大模型智能体在开放剧情扮演玩法中的潜在创新点是什么?

陈浩蓝: 至于潜在创新点,我认为是从用户的反馈中自动迭代出整幕剧的更优体验。通过先验的人工评估,我们很好明确哪些体验是差的,比如角色 OOC、剧情平淡、逻辑问题。但什么体验是好的,用户只会给出一些非常隐式的反馈。

对于推荐系统这种搜索空间小的问题,现在基于用户的短期反馈已经能有比较成熟的方案了,当然长期的反馈仍然是难的。

而对于多 Agent 的大语言模型体验,由于觉得和语言的可选空间巨大,如何将用户的后验反馈持续迭代到整幕剧的各个模块,玩一万遍后整个剧组就更加专业,这是一个令人兴奋的事情。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询