推荐语

哈佛新研究揭示领导力与指挥AI能力的联系，重新定义软技能。

核心内容：
1. 领导力的“功能性骨架”及其在人机协作中的作用
2. 软技能的程序性层面及其在AI测试中的预测价值
3. 情感因素在领导力评估中的局限性与AI的边界

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

领导力越强的人，指挥 AI Agent 的能力也越强？这篇来自哈佛大学肯尼迪学院的研究报告「Measuring Human Leadership Skills with AI Agents」设计了一个用 AI Agent 评估人类领导力的方法，这可能重新定义我们对“软技能”本质的理解。

1. 领导力的“功能性骨架”：

这个发现暗示，至少在目标明确、信息驱动的协作任务中，有效的领导力可能依赖于一个可被清晰定义的“功能性骨架”。这个骨架主要由信息处理、沟通结构化、任务导向和决策逻辑构成。

AI 代理虽然没有情感或真实理解，但它们能对结构化的信息输入和指令做出可预测的、逻辑一致的响应。一个能有效引导 AI（通过清晰提问、整合信息、管理流程）的领导者，实际上是展现了其掌握这种“功能性骨架”的能力。这种能力同样适用于引导人类团队处理相似的结构化任务，因为人类团队也需要清晰的指令、有效的信息汇总和合理的决策过程。

洞察： 这表明，超越魅力或人际关系，领导力的一个关键、可测量的基础在于其组织和处理信息流以达成目标的能力。AI 恰好能有效地模拟和响应这一基础层面。

2. 重新审视“软技能”：

传统上，“软技能”常与同理心、人际交往、情感智能等深度互动相关。然而，这项研究显示，诸如“提问技巧”、“促进对话轮换”、“使用包容性语言等可观察行为，即使在与非人类代理互动时也具有显著的预测价值。

这提示我们，“软技能”可能包含一个重要的“程序性”或“行为模式”层面。这些模式（如何提问、如何组织对话）本身就具有提高协作效率的功能，其效果在某种程度上可以独立于互动对象的内在情感状态或复杂心理。AI 测试成功捕捉并衡量了这些技能的程序性价值。

洞察：“软技能”并非完全是“不可言传”的人类魔法，其核心部分可能包含可学习、可衡量、且在不同互动对象（人或 AI）间具有一定通用性的行为策略。

3. 情感的边界与 AI 的局限：

论文明确指出，情感因素（领导者的积极情绪、对追随者情绪的感知）在 AI测试中的预测力相对较弱。这恰恰是最具洞察力的发现之一，因为它划定了当前 AI 模拟能力的边界。

AI 可以模拟信息处理和沟通结构，但难以复制真实的人类情感互动及其对团队氛围、信任和长期动机的影响。这表明，虽然AI测试在衡量领导力的认知和结构维度上很有效，但它可能低估了情感维度在更复杂、长期或高风险人际互动中的重要性。

洞察：AI 目前能捕捉的是领导力的“冷认知”和“结构化”方面，但“热认知”和“情感联结”方面仍是人类领导力独有的、AI 难以完全替代的领域。

这项研究不仅关乎用 AI 衡量人类，也揭示了有效人机协作的本质。那些擅长构建任务、明确目标、管理信息流的领导者，不仅能更好地领导人类，也能更有效地利用 AI 作为团队成员或工具。

注：配图中任务技能、决策能力和 IQ 靠近对角线且集中在右上角，表示人类领导力和 AI 测试的正相关性高

01

以下为研究论文: 

该论文旨在探讨是否可以使用人工智能（AI）代理（特别是大型语言模型 LLM）来有效衡量人类的领导技能。具体来说，研究人员想知道，一个人在领导AI代理团队解决问题时的表现，是否能预测其在领导人类团队时的实际领导效果。

实验设计：
研究进行了一项大型、预先注册的实验室实验。

参与者：
招募了人类领导者和人类追随者。

核心任务：
使用了一种改良版的“隐藏信息档案”（Hidden Profile）任务。这是一种经典的社会科学范式，用于研究群体决策。在此任务中，信息分散在团队成员中（有些信息只有特定成员知道），团队（尤其是在本研究中由领导者引导）需要通过沟通来汇集所有信息，并综合做出决策。

研究者对传统任务做了修改：

• • 设立明确的领导者角色，负责收集信息并做出最终决策。
• • 引入概率性答案，使任务更复杂和贴近现实，要求领导者以概率形式提交答案（例如，A选项50%，B选项0%，C选项0%，D选项0%，E选项50%）。

两种评估方式：

1. 1. AI领导力测试（AI Leadership Test）：
   人类领导者与3个 AI 代理（使用GPT-4o生成）组成团队，完成6轮隐藏信息档案任务。
2. 2. 人类领导力评估（基准真相，Ground Truth）：
   同一位人类领导者与3个人类追随者组成团队，完成另外6轮结构和难度相当的隐藏信息档案任务。为了评估领导者对人类团队的“因果影响”，研究人员重复且随机地将领导者分配到不同的人类团队中。

顺序平衡：
一半的领导者先进行人类团队评估，再进行AI团队评估；另一半顺序相反，以控制练习效应。

个体能力测量：
在团队任务开始前，对所有领导者进行了一系列个体测试，包括：

• • 硬技能（Hard Skills）：
  流动智力（Fluid IQ，使用CFIT III测试）、任务相关技能（单独完成隐藏信息档案任务的能力）、打字速度。
• • 其他技能：
  情绪感知能力（Emotional Perceptiveness，使用PAGE测试）、经济决策能力（Economic Decision-Making Skill，使用Assignment Game）。

数据分析：

1. 1. 比较领导者在AI测试和人类测试中的表现（团队得分）。
2. 2. 使用多层模型估计领导者对团队绩效的“因果贡献”（leader effects, σα），并控制领导者的硬技能（如任务技能、IQ、打字速度）。
3. 3. 分析哪些个体特征（技能、人口统计学特征）能预测在两种测试中的成功。
4. 4. 计算同一个领导者在两种测试中得分的相关性。
5. 5. 分析领导者的沟通行为（如提问次数、对话轮换次数、使用“我们”等代词、积极情绪表达）与绩效的关系。

02

主要研究发现

领导者效应显著且相似：

领导者的身份对团队绩效有巨大且统计显著的影响，无论是在 AI 团队还是人类团队中。仅领导者的不同就可以解释团队绩效差异的很大一部分（ AI 测试中R²=0.57，人类测试中R²=0.50）。更换一个普通领导者为一个好领导者（高出1个标准差）能显著提高团队绩效（大约0.65个标准差）。即使在控制了领导者的硬技能后，这种“领导力软技能”的效应依然很大（约0.55个标准差），并且在AI测试和人类测试中大小相似。

预测成功的因素一致：

预测在 AI 测试中成功的领导者特征（技能和人口统计学因素）与预测在人类测试中成功的因素高度相似。

• • 强预测因素： 流动智力、情绪感知能力、经济决策能力以及任务相关技能都与两种测试的成功显著相关。
• • 弱/无预测因素： 性别、年龄、种族、教育程度与两种测试中的领导绩效均不相关。
• • 细微差别： 情绪感知能力与人类测试成功的相关性略强于 AI 测试（0.45 vs 0.37），但这种差异不显著，且在控制 IQ 后，情绪感知能力仍然能预测 AI 测试的表现。

个体表现高度相关：

同一个领导者在 AI 领导力测试中的平均得分与其在人类领导力测试中的（经随机分配估计的）因果贡献得分之间存在非常高的相关性（去除测量误差后的相关系数 ρ^=0.81）。即使在控制了硬技能后，衡量领导力软技能的部分，两者之间的相关性仍然很高（ρ^=0.69）。
这表明 AI 测试确实能够捕捉到对人类团队成功至关重要的领导力特定软技能。

成功的行为模式相似：

在 AI 和人类测试中，与成功相关的沟通行为模式非常相似。成功的领导者倾向于：

• • 提出更多问题。
• • 促进更多的对话轮换（conversational turn-taking）。
• • 更多地使用复数代词（如“我们”）。
• • 沟通量（总字数）本身与成功无关。
• • 差异点： 领导者表达的积极情绪（Positive Affect）与人类团队的成功显著相关，但在AI团队中相关性不强。

AI 测试可复现实质性发现：

• • 过度自信（对自己表现的评价高于实际表现）与更愿意担任领导者角色相关，这在AI和人类背景下都成立。
• • 能够更准确地自我评估表现的领导者，对团队的贡献也更大，这在AI和人类测试中都独立观察到。

03

讨论与结论

概念验证：

该研究被视为一个“概念验证”，表明基于 AI 代理的测试可以作为一种实用、基于绩效的领导力衡量方法。

局限性：

• • AI 代理的认知和行为与人类不完全相同（例如，情绪在 AI 测试中作用减弱）。
• • 当前的 AI 代理没有完全模拟人类行为的多样性（如人类追随者可能提供元认知建议）。
• • 需要进行外部效度验证，即检验该测试得分是否能预测现实世界中的领导成功。

潜在贡献与意义：

• • 改进领导者选拔： 提供一种更标准化、可能更公平（较少受人口统计因素偏见影响）的方法来识别高潜力领导者，减少对人才的忽视。
• • 促进领导力培训评估： 提供可扩展的工具来评估领导力培训项目的效果，推动基于绩效的评估。
• • 提高研究效率： 大幅降低了进行领导力和团队合作研究的成本（AI 测试$$114/人）和后勤复杂度（无需协调大量人员同时在线），可能使更多学者能进行此类研究。

总结：

研究表明，基于 AI 的领导力技能测试结果与基于人类团队的“基准真相”测量结果非常接近。两者被相似的技能和沟通策略所预测。这提示 AI 评估可能为衡量日益重要的“软技能”提供一种可扩展、标准化、基于绩效的方法，有助于改进这些关键技能的测量和供给。

总而言之，这篇论文通过严谨的实验设计证明了使用 AI 代理来评估人类领导力技能的可行性和有效性，并指出了其在人才选拔、培训评估和学术研究方面的巨大潜力，同时也承认了现有方法的局限性。