AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


研究报告 | 在生成式AI时代,我们还需要团队吗?
发布日期:2024-06-04 16:27:49 浏览次数: 1639


June 3rd, 2024


在生成式AI时代,

我们还需要团队吗?

Do we still need TEAMS,

in the era of GENERATIVE AI

···


RESEARCH

DESIGN

RESEARCH

FINDINGS

CONCLUSION


自古以来,团队合作一直是人类实现伟大成就的基石。无论是企业项目还是学生作业,团队协作都是解决问题的有效途径。然而,生成式AI的出现是否改变了这一逻辑?AI被认为是提升生产力的利器,它能帮助我们完成任务,激发创新思维。那么,当团队中引入AI后,会发生什么变化?AI能否提升团队的整体绩效?个人在AI的辅助下能否替代团队的工作?还是说,团队本身依然具有不可替代的价值?

为了解答这些问题,我们团队在过去9个月里进行了深入研究,完成了一项实验探索,分析团队与生成式AI协作对任务绩效的影响。这项研究通过两个精心设计的随机控制实验,汇聚了574名参与者的数据,为我们提供了全面而系统的分析。感兴趣的读者可以通过文章结尾的链接下载全文。


Available at SSRN


Li, Ning and Zhou, Huaikang and Mikel-Hong, Kris, Generative AI Enhances Team Performance and Reduces Need for Traditional Teams (May 28, 2024). 

Available at SSRN: 

https://ssrn.com/abstract=4844976 or http://dx.doi.org/10.2139/ssrn.4844976




#01

·· Research Design ··

研究设计

···

我们的研究通过一个预先注册的随机对照实验,考察了生成式AI对团队绩效和流程的影响。参与者被分配到三种不同的团队结构:纯人类团队(Human only team)、单一AI团队(Single AI team)以及每位成员拥有专属AI的多AI团队(Multiple AI team)。实验过程中,各个团队成员需要相互协作,完成两项复杂的专业任务。这种设计使我们能够探讨生成式AI是否能增强团队的任务绩效,以及不同AI结构对团队动态的影响。此次实验共涉及122个团队,包括435名参与者。

此外,为了探讨个体在AI加持下是否能达到与团队相同的绩效,我们设计了第二个研究。在这个研究中,139位参与者与AI合作,完成与团队相同的任务,并使用相同的评分标准进行对比。通过这种设计,我们希望了解个体在AI辅助下的表现是否能够匹敌甚至超越团队的协作成果,以及在何种情况下个体加AI的模式能够有效替代传统的团队模式。

Figure 1 Experimental Design




#02

·· Research Findings ··

研究发现

···



1



1.团队中引入生成式AI表现会更好么?


在AI时代,团队合作与AI的结合能否擦出新的火花?我们的研究给出了肯定的答案:引入生成式AI的团队,其绩效确实有了显著提升。

我们的研究显示,在多个关键维度上,如整体质量、创新性和实用性,使用生成式AI的团队表现优于传统纯人类团队。在实验中,单一AI团队和多AI团队的平均绩效分数分别为5.99和5.97,而纯人类团队则为5.59。这一发现证实了AI在提升团队任务表现方面的潜力。

Figure 2 Performance Distribution for Experiment I


尽管如此,我们也发现AI在团队层面的效用并不如个体层面那么显著。个体与AI合作时,AI对个体绩效差异的解释度高达20%到60%,而在团队层面,这一数字降至大约4%。这表明,在团队环境中,AI的潜力可能受到团队动态和协作模式的限制,未能完全发挥。




2



2.需要在团队中给每个人都配一个AI助手么?


在探索团队与AI合作的奥秘时,一个关键问题浮现:是否需要为团队中的每个人都配备一个AI助手?我们的研究给出了一个有趣的答案:并非如此。

我们的实验数据显示,无论是单AI团队还是多AI团队,它们在整体绩效上并没有显著差异。单AI团队的平均绩效为5.994,多AI团队为5.968,而纯人类团队则为5.591。这表明,简单地增加AI的数量,并不能保证团队绩效的线性提升。

更深入的分析揭示了一个重要现象:多AI团队的绩效波动更大。这意味着,虽然在某些情况下,多个AI助手可能带来更高的绩效,但在其他情况下,它们也可能导致绩效下降。管理多个AI系统的复杂性,可能会增加团队协作的难度,引发成员间的协调问题。

如图所示,多AI团队在任务绩效上的波动性更强,这从它们在最低和最高分之间的广泛分布中可见一斑。这种动态变化表明,多AI团队在任务绩效上的表现更为不稳定。

进一步的分析显示,与团队成员平均地与AI互动相比,当少数成员集中地使用AI助手时,团队的整体成果反而更好。这表明,深度而非广度,可能是AI在团队中发挥作用的关键。

Figure 3 Relative Distribution of Single-AI Team and Multiple-AI Team


从理论上看,给团队配更多的AI助手让团队有了更多的资源和潜力。然而,并非所有团队都能从多AI配置中获得同等的好处。我们的研究揭示了一些特定类型的团队,它们能够更有效地利用多个AI助手,从而提升绩效。

具体来说,团队成员之间的熟悉程度更高、平均智力水平更高以及团队规模更大的团队,能够更有效地利用多个AI助手。这些团队具备更好的协调能力和资源管理能力,能够在复杂的多AI环境中发挥出更高的绩效。例如,团队成员彼此熟悉度高意味着他们在沟通和协作上更具效率,能够更好地整合AI的建议和人类的创造性思维。平均智力水平高的团队则能够更快地理解和应用AI提供的工具和信息,从而提升整体绩效。团队规模较大的团队则拥有更多的资源和更强的分工能力,能够更灵活地分配和利用AI资源。

Figure 4 Heterogeneity effects

(Experiment I, only AI team)




3



3.AI加持下的个体能达到团队的水平么?


传统团队的建立基于利用多样化思维和协作努力,这引发了一个问题:当生成式AI由单个个体使用时,它能否复制甚至增强这些好处。为了深入了解AI在团队协作中的作用,以及探索AI的整合是否可能减少对传统团队的需求,我们接着比较了AI加持的个体和团队的绩效。

我们的研究发现,尽管AI加持的个体表现已经很接近团队表现了,但整体而言,他们的平均表现仍不如传统没有AI的团队和AI加持的团队。主要原因在于个体表现的分布较为极端,一些表现不佳的个体显著拉低了整体平均水平。然而,值得注意的是,已有相当多的个体在AI的帮助下,其绩效与团队相差无几。

Figure 5 Performance Distribution for Experiment Ⅱ


在任务完成时间上,个体与AI配对表现得更为高效,他们比团队花费更少的时间完成任务。这表明,在特定情况下,个体与AI的配合可以实现较高的任务效率。

为了进一步探讨如果个体在任务上花更多时间,是否能够达到团队的水平,我们在回归分析中控制了任务完成时间。结果显示,个体与AI配对在花费与团队相同时间时,其绩效已经达到了传统没有AI团队的水平,但仍然落后于AI加持的团队。这种等价性表明,在特定情境下,传统团队的需求可能减少,因为AI能够提升个体绩效至足以与团队相匹配的水平。

然而,虽然个体在AI的帮助下可以显著提升绩效,但团队协作带来的整体优势仍然无法完全被个体所替代。AI加持的团队依然在综合表现上优于个体与AI配对,强调了团队协作在充分利用AI效能中的重要性。

Figure 6 Team Performance VS Individual-AI Pair Performance (Experiment Ⅱ)




4



4.AI加持下对团队的士气有什么影响?


我们的研究还发现,虽然AI辅助的团队在完成任务的速度上并没有超过纯人类构成团队,但AI的整合显著提升了团队士气。相比于传统的仅由人组成的团队,AI的加入增强了团队成员之间对于信心和满意度的共同感知。这一结果表明,AI的引入不仅仅是提升效率,更重要的是它在提高团队协作质量和成员之间情感联系方面发挥了重要作用。




#03

·· Conclusion ··

研究总结


我们的研究揭示了生成式AI在团队协作中的巨大潜力和复杂性。尽管引入AI能够显著提升团队和个体的绩效,但其效果在团队和个体层面存在显著差异。团队在引入AI后整体绩效有所提升,但这种提升并不如个体与AI配对那么显著。特别是当个体与AI配对在任务上花费与团队相同的时间时,个体的表现已经可以与传统没有AI的团队相媲美,但仍然落后于AI加持的团队。

这表明,尽管AI技术能够显著提升个体的工作效率和绩效,但团队协作的独特优势依然不可忽视。团队中的成员通过相互协作、互相补充,可以在复杂任务中发挥出更强的综合能力。而AI作为辅助工具,可以在个体和团队层面都发挥出巨大的潜力。

未来的工作模式将更多地依赖于人机协作,企业和组织需要注重如何更好地整合AI工具与团队协作,充分发挥AI的优势,同时保留团队合作的核心价值。在这个智能时代,合理利用AI技术,不仅能提升个体和团队的绩效,还能推动创新和效率的全面提升。让我们共同迎接这一挑战与机遇,共同探索人机协作的新未来。



致谢


再次感谢大家的关注和支持。我们要特别感谢所有参与此次实验的参与者和贡献者,正是他们的投入和努力,使得我们能够更深入地理解生成式AI与人类协作之间的复杂关系,从而为探索人机合作的科学基础做出了重要贡献。


论文下载链接:

Arxiv链接: https://arxiv.org/abs/2405.17924

SSRN链接: 

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4844976


-END-




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询