AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大语言模型使能自主边缘智能
发布日期:2024-05-28 06:25:28 浏览次数: 1671



论文分享

 GenAINet通信大模型 


无线网络的演进趋向于连接智能,这一概念设想了在超连接的网络-物理世界中,人类、物体和智能之间无缝互联的情景。边缘人工智能(Edge AI)在网络边缘提供高质量、低延迟和保护隐私的人工智能服务,是实现连接智能的潜在解决方案。结合大语言模型的超强理解能力,来自微软亚洲研究院和香港科技大学的研究团队提出了自主边缘人工智能系统的愿景,该类系统能够利用大型语言模型(LLMs)来自动组织、适应和优化自身以满足用户的各种需求。通过利用GPT在语言理解、规划和代码生成方面的强大能力来协调边缘人工智能模型,以满足用户的个人需求。

Large Language Models Empowered Autonomous Edge AI for Connected Intelligence


Yifei Shen1, Jiawei Shao2, Xinjie Zhang2, Zehong Lin2, Hao Pan1, Dongsheng Li1, Jun Zhang2, Khaled B. Letaief2


1Microsoft Research Asia, Shanghai, China

2Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology, Hong Kong


原文链接

https://ieeexplore.ieee.org/document/10384606

论文版权归属IEEE Communications Magazine期刊及IEEE版权方,本文分享仅用于技术交流,未经许可禁止用于商业用途。

1. 从边缘智能到自主边缘智能

近年来,各种各样有效、安全的边缘智能推理服务正在兴起。例如,联邦学习在不访问边缘设备的原始数据情况下训练全局统计模型,从而为私密且安全的边缘训练铺平了道路。语义通信标志着通信系统设计从数据恢复向任务完成的范式转变,促进了对大数据的通信高效推理。微型机器学习使低成本、低功耗的设备能够执行人工智能模型,从而有助于在物联网设备上部署人工智能模型。有了这些进步,未来无线网络中将部署大量传感器和人工智能模型在边缘服务器上。然而,用户、供应商和开发者面临着以下明显挑战:

1) 用户接口设计:传统上,用户通过应用程序与人工智能模型进行交互,需要用户熟悉每个应用程序的功能。通过采用智能调度器将用户以自然语言发出的请求分配到适当的应用程序,同时考虑用户的偏好和上下文可以显著提升用户体验。

2) 传感器和人工智能模型集成:为了满足用户需求,供应商必须集成来自各种提供商的传感器和人工智能模型,每个模型都具有独特的能力和优势。实现多个传感器和人工智能模型之间的无缝协调通常需要维护人员投入大量精力设计标准化协议。此外,引入新的边缘设备要求维护人员了解设备手册,并将其集成到统一的协议中。

3) 人工智能模型定制:开发者或用户可能需要训练定制的人工智能模型以满足特定需求,这带来了两个主要挑战。首先,需要具有机器学习和应用领域跨学科专业知识的人类专家编写代码。其次,在训练过程中,专家必须优先考虑用户隐私,利用诸如联邦学习之类的技术来确保数据的机密性。

在当前边缘人工智能的愿景中,这些挑战要么未被探索,要么需要人类专家手动解决。然而,在连接智能的领域中,我们预见到一种边缘人工智能系统,它能够自动组织和增强人工智能模型,以满足用户需求,并智能地分配资源以满足网络约束,研究团队将其称为自主边缘人工智能系统,这是通过赋予边缘人工智能系统自组织和自我改进能力来实现的。

自组织能力指的是根据自然语言的用户请求,有效地在边缘服务器上协调现有的传感器和人工智能模型。具体而言,它包括理解自然语言的用户请求,将这些请求分配给一组传感器,在传感器上有效地执行人工智能模型,并整合人工智能模型的结果以完成任务,从而最终解决传感器集成和用户界面设计挑战。现有的边缘人工智能框架主要集中在实现人工智能模型的高效推理上,而其他组件则大部分未被探索。自我改进能力涉及以保护隐私的方式生成代码来微调现有的人工智能模型并训练新模型,从而解决人工智能模型定制的挑战。虽然当前的研究主要集中在实现通信高效和保护隐私的边缘学习算法设计上,但代码实现过程仍然需要人类专家的参与。

自主边缘人工智能揭示了在各种智能应用协作的可能性。如下图所示,在医疗监测中,这样的系统赋予了实时跟踪和分析患者生命体征的能力,准确定位潜在的健康风险,并根据个体需求和条件提出量身定制的预防性措施。在自动驾驶中,它简化了负责感知、决策和控制的人工智能模型的集成,从而确保安全、高效和适应性。在工业物联网中,该系统自主生成代码来修改现有的人工智能模型,并开发新的模型,以满足各种工业环境的独特需求。在智能设备中,该系统提供了基于上下文的建议,自动化以自然语言表达的日常任务,并提升了整体用户体验。

图1. 大模型使能的自主边缘智能愿景

主边缘人工智能系统具有巨大潜力,可以改变各种无线应用。然而,它需要一个强大的控制器来处理用户的各种个人请求,清晰了解每个传感器和人工智能模型的独特特性,以及产生代码的能力。最近,ChatGPT展现出了在数学、编码、医学、法律和心理学等领域处理复杂任务的超强能力,该能力有望在自主边缘人工智能系统中发挥的关键作用。

1)语言理解:GPT最显著的能力之一是其回答涵盖各种主题的开放领域问题的能力。在自主边缘人工智能中,这种能力使得GPT能够理解用户的意图,并通过理解它们的手册来识别边缘人工智能模型的特点。

2)规划能力:GPT可以评估给定情况,确定潜在的子任务,并制定实现期望结果的计划。在自主边缘人工智能中,这种能力帮助GPT规划解决可行的子任务,以满足用户模糊的请求,并将这些子任务分派给边缘人工智能模型。

3)上下文学习:GPT是第一个能够在上下文中提取知识的模型,而无需任何微调。在自主边缘人工智能中,关于设备和边缘人工智能模型的信息可能未包含在GPT的训练数据集中,但可以通过这种方式提供。

4)代码生成:GPT具备强大的理解代码生成能力。在自主边缘人工智能中,可以利用该能力来重现现有的人工智能模型并创建新模型。

总之,基于其语言理解能力,GPT能够理解用户的意图,并利用其规划能力将用户请求分派给边缘人工智能模型。这为在边缘服务器上协调传感器和人工智能模型奠定了基础,展示了自组织能力。此外,GPT生成新人工智能模型的代码的能力为其自我改进能力打下了基础。因此,GPT对于实现自主边缘人工智能具有重要潜力。

2. 云边端协作网络中的自主边缘智能实现

自主边缘智能框架主要包括:

1) 用户意图理解与模型选择:即通过大语言模型将来理解用户意图,将其分解为可解决的任务。这里提供给GPT的上下文需要包括前缀和请求。前缀由供应商提供,包括一组可用的人工智能模型。请求为用户提供的自然语言描述。有了提供的上下文,GPT处理前缀、请求和历史请求,最终选择要执行的一组人工智能模型。以室内无线传感用于医疗监测的演示示例为例。可用的人工智能模型池以以下格式呈现:{人工智能模型名称;相关设备;功能描述}。例如,{心跳模型;扬声器;使用声学信号监测心跳}或{信号到情绪模型;边缘服务器;根据生理信号分类情绪}。GPT可以通过利用其上下文学习能力从这些描述中获取有关系统的信息。假设用户的请求是监测情绪。收到请求后,GPT将其分解为两个子任务:基于网络流量的情绪分类和基于用户生理信号的情绪检测。然后,第一个子任务被分派给WiFi上的流量分析人工智能模型,该模型从网络流量中检测应用程序使用情况,并利用预训练的决策树根据应用程序使用情况对情绪进行分类。第二个子任务被分派给扬声器上的传感器人工智能模型,该模型从声学信号中监测心跳和呼吸,然后应用预训练的随机森林根据这些信号检测情绪。在获得这两个分类预测后,GPT将它们组合以获取最终结果。该过程如下图所示。

图2 自主边缘智能框架

2) 人工智能模型卸载:在选择了人工智能模型之后,下一步是有效地执行它们。传统方法将人工智能模型部署在中央服务器上,通常该服务器具有比终端设备更丰富的能源供应和计算资源。然而,如果网络边缘的无线资源有限或信道质量波动较大,将如此大量的原始数据发送到服务器将导致过多的通信开销。为了实现低延迟推理,研究团队采用移动边缘计算框架,将部分计算工作负载从传感器转移到附近的边缘服务器,实现客户端-边缘共同推理,即将模型分成两部分:一个部署在设备上的轻量级模型,另一个部分通常更大且需要更多计算的部分则部署在边缘服务器上。由设备模型生成的中间特征被发送到边缘服务器进行进一步处理。

3) 任务导向的压缩:为了进一步减少共推理过程中的传输延迟,可以对中间特征应用压缩技术。

3.  仿真结果

表I 不同模型的测试性能表II 各种推理方案的通信成本与性能

研究团队测试了82组用户请求,关于选用模型的性能如表I所示。这里使用GPT-3并逐步增加参数数量。具体而言,GPT-3 350M、GPT-3 6.7B和GPT-3 175B分别代表参数数量为3.5亿、67亿和1750亿的GPT-3。GPT-3 175B IT是GPT-3的一个变体,通过指令微调以与人类思维保持一致。测试过程中并未考虑GPT-4,因为其延迟较高(5秒至20秒)。在选择了特定模型之后,接下来是执行任务。研究团队将提出的客户端-边缘共同推理方案与两个基线方案进行比较:仅边缘推理和仅客户端推理。在仅边缘推理中,专家模型部署在边缘服务器上,并且用户输入数据被传输到边缘服务器进行远程处理。数据在传输之前会经过无损或有损压缩方法。表II展示了各种推理方案的通信成本和性能。可以看到,客户端-边缘共同推理方案在具有无损数据压缩的情况下实现了与仅边缘推理相当的性能,同时显著降低了通信成本。有损压缩也可以降低仅边缘推理方案的通信开销,但会导致性能下降。在仅客户端推理中,专家模型部署在客户端上以在本地执行任务。虽然这种方案避免了高传输延迟,但可能会由于设备上有限的资源而导致计算延迟增加。

图3 不同通信速率下的端到端时延

接下来,研究团队比较了各种推理方案的端到端系统延迟,如上图所示。它显示仅云推理经历了比其他方法更高的延迟。这主要是由于云服务器和客户端之间的距离较长,导致数据传输的往返时间增加。此外,在通信速率较高(通常为300 KB/s至500 KB/s)时,仅边缘推理表现出与仅客户端推理相当甚至更低的延迟。然而,随着速率的降低,仅边缘推理的延迟急剧增加。相比之下,客户端-边缘共推理方案的延迟始终低于仅边缘和仅客户端推理方案。

4. 结论

本文利用大型语言模型探讨了在云-边缘-客户端分层系统中的自主边缘人工智能,仿真实验验证了所提出框架的有效性。未来的进一步研究可以探索以下几个方面:

1)能源效率和隐私:本文的框架优先考虑了延迟,但能源效率和隐私在可持续边缘人工智能中同样重要。为了提高能源效率,可以从能源消耗角度修改框架中的部分设计。在隐私方面,可以整合诸如信息瓶颈和对抗训练等技术,以过滤掉隐私敏感信息。

2)基于GPT的调度算法选择:在无线通信研究中,已经开发了许多基于优化和基于人工智能的调度算法。本文已经证明了GPT可以选择与用户意图一致的人工智能模型。除此之外,GPT同样可以选择资源分配算法,根据环境进行定制,以降低延迟并提高频谱效率。

3)整合其他生成式人工智能模型:本工作集中在边缘人工智能系统中使用了ChatGPT。然而,探索其他生成式人工智能模型也是有前景的。例如,在边缘人工智能协调中,生成式人工智能可以改进任务导向通信中的压缩。此外,生成式人工智能有潜力为联邦学习生成数据集,提供更好的隐私保护。

GenAINet公众号简介

GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立,由GenAINet公众号运营团队负责维护并运行。

GenAINet公众号运营团队:

孙黎,彭程晖 (华为技术有限公司)

杜清河,肖玉权,张朝阳,赫小萱 (西安交通大学)

王锦光,俸萍 (鹏城实验室)

:肖玉权

:张朝阳


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询