我要投稿

让成本更低效果更好的 AI，走入家用电器

发布日期：2024-11-12 16:26:48 浏览次数： 1694 来源：AI Tooling

稀疏权重和交互否定了 GPU 和云计算

GPU 芯片和云计算基础设施对于冰箱和洗衣机等大众市场设备来说成本过高。通过仅将计算资源部署到 AI 推理的必要部分，稀疏 AI 允许产品设计师将自然语音界面等新 AI 功能实际融入其消费者产品中，而无需花费巨资或支付电费。

人工智能 (AI) 正在改变消费产品设计的方方面面。制造商正在探索将 AI 部署到其产品中的新方法，以通过新功能、提高效率和降低运营成本在市场上脱颖而出。然而，AI 的极端处理要求已导致制造商要么使用高成本、支持 AI 的芯片在设备上实现 AI，要么连接到基于云的 AI 基础设施，或者两者兼而有之。

这些方法会产生设计和运营成本，导致 AI 的价格高昂，除了白色家电/家用电器和其他消费电子应用等市场上最高端的产品外，其他所有产品都无法使用 AI。为了让对成本敏感的大众市场能够使用 AI，我们需要降低成本。这就是稀疏 AI 技术可以提供帮助的地方。通过将 AI 推理处理优化高达 100 倍，稀疏 AI 使开发人员能够使用低成本 AI MCU 芯片实现复杂的基于深度学习的 AI 模型，而不会对速度、效率、内存占用或性能产生不利影响。本文将探讨稀疏 AI 以及制造商如何优化 AI 推理以减少基于云的依赖和基础设施，甚至完全在设备上实现强大的基于 AI 的功能。

稀疏 AI

AI 模型可能很复杂，需要大量的处理资源和内存。在高端 AI 系统中，GPU 等专用（且昂贵）处理器在设备上运行 AI 模型推理。或者，许多系统采用基于云的方法，即在设备上收集数据并发送到服务器进行处理。

稀疏 AI 技术优化了 AI 推理和模型，以扩展在设备上运行的可能性，而无需昂贵的芯片或云连接。关键思想是激励神经网络在训练期间最小化其非零成分，然后识别和消除不相关的成分。这样，硬件内存和计算资源只需要分配给算法的剩余非零相关部分。

稀疏权重和激活

稀疏权重：模型由神经元之间的连接阵列组成。连接的强度由其权重决定。权重较小的连接对结果的贡献很小，如果有的话。仅存储和计算重要的权重可使速度、效率和内存占用提高 10 倍（见图 1）。

图 1 稀疏权重优化仅存储和计算重要的权重。

稀疏激活：同样，输出零的神经元对结果没有影响。跳过这些计算可使速度和效率提高 10 倍（见图 2）。

图 2 稀疏激活优化会跳过输出零的神经元。

双稀疏性结合了稀疏权重和稀疏激活，使速度和效率提高 100 倍。因此，稀疏 AI 使制造商能够实现基于深度学习的 AI 模型，其功能/复杂性是以前硬件的 100 倍，而不会对速度、效率、内存占用或性能产生不利影响。这使得能够以低成本的方式在广泛的新应用中实现复杂的 AI 功能（包括语言识别和语音控制）。

说出你的意思

基于 AI 的语言识别实现了所谓的“说出你的意思”用户界面。用户只需说“洗羊毛衫”，而不是转动拨盘、按钮和/或循环浏览多层嵌套命令菜单来将洗衣机调至“羊毛洗涤”模式。基于 AI 的语言处理的一个关键优势是，用户可以使用自然语言和各种格式提出他们想要的内容，就像他们使用大型语言模型但与他们的电器绑定一样。可以支持复杂的命令，例如“使用漂白剂进行热洗，并进行超长旋转循环”，而无需按多个按钮来找到正确的设置菜单。

基于 AI 的语音界面可以降低 UI 的复杂性和成本。所需的机械按钮和拨盘更少，并且基于 AI 的语音控制可以变得直观且在设备间通用。相比之下，每个制造商的控制面板格式都不同，这使得学习使用新设备变得具有挑战性。通过语音控制，用户可以以对他们来说最自然、最直观的方式与设备交互。每台新设备都需要自己的学习曲线的日子已经屈指可数了。

在设备中实现语音控制的挑战在于，基于 AI 的语言识别使用了需要大量处理资源和大量内存占用的大型模型。现在，随着稀疏 AI 的出现，无需昂贵的 GPU 或云资源即可实现基于 AI 的功能。稀疏 AI 能够高效地支持复杂度高达 100 倍的模型，这使制造商能够在家用电器中实现低成本的语音识别。换句话说，具有稀疏 AI 功能的 MCU 级处理器（即 AI MCU）可以提供云级别的性能，而不会影响准确性和响应能力。

降低运营成本

稀疏 AI 还可以显著降低运营费用。对于使用基本命令集的应用程序，基于 AI 的语言处理可以完全在设备上实现，并消除许多（如果不是全部）机械控制。

对于支持复杂句子或参考知识数据库的完整自然语言处理，可能仍需要云处理。例如，可以根据当前可用的食材提供烹饪建议的冰箱将需要云连接才能访问食谱数据库。这种架构需要设备上的互联网连接和支持云基础设施。当用户发出语音命令时，系统会捕获音频文件并将其发送到云进行处理。然后，云将命令返回给设备以执行操作。

理想情况下，语音控制系统支持唤醒功能，系统处于休眠状态，直到发出语音命令。但是，区分语音和周围环境噪音，需要持续处理和功耗来识别实际的语音命令。持续处理音频会给制造商的云基础设施带来巨大负担，尤其是在数百万台部署的设备中。

稀疏 AI 可以通过在设备上执行关键处理来降低云基础设施成本。首先，稀疏 AI 可以区分环境噪声和实际命令。数据不会连续发送到云端，而是仅在用户实际发出命令时才发送。其次，当检测到语音命令时，稀疏 AI 可以预处理命令以减少需要发送到云端的数据量。这两种优化都大大减少了支持大容量应用程序的自然语言处理所需的基础设施。

稀疏 AI 还可以降低设备功耗。考虑一下洗碗机等大部分时间处于非活动状态的设备。仅使用基于云的 AI，设备必须全天监听语音命令。借助稀疏 AI，低功耗 AI MCU（如 Femtosense 和 ABOV Semiconductor 开发的 AI-ADAM100）可以在主控制器和其他系统组件关闭或进入睡眠模式时进行监听。结果为用户节省了大量电量，使设备更具可持续性。

AI-ADAM100 将超低功耗、高性价比的 Cortex-M0+ 微控制器与稀疏处理单元 (SPU) 相结合。多种噪声条件下的语音命令识别性能已得到验证，可满足领先制造商的要求。通过从硅片和模型到应用实现稀疏 AI，AI-ADAM100 是针对语音和音频 AI 应用的最佳优化 AI MCU 解决方案。图 3 展示了一种成本和功耗高效的架构，使制造商能够为各种家电和消费电子产品提供强大的语言功能。

图 3 一种成本和功耗高效的架构，使制造商能够为各种家电和消费电子产品提供强大的语言功能。

稀疏 AI 是 AI 技术的重要发展，解决了将 AI 引入家用电器的挑战。虽然许多边缘应用可以从 AI 中受益，但它们通常缺乏实现 GPU 的价格或功率灵活性、云连接或支持专用硅片解决方案的容量。这限制了网络边缘设备对 AI 的采用。随着 Femtosense 和 ABOV Semiconductors 推出 AI-ADAM100 AI MCU，制造商现在甚至可以为未连接到云的设备在边缘实现语音语言界面。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

【不看后悔】一文梳理端侧模型和小模型

2024-07-07

华为昇腾910B与英伟达B200性能对比

2024-07-23

NVIDIA消费级显卡4060/4090 AI训练能效比较

2024-07-01

对比A100和4090：两者的区别以及适用点

2024-06-24

小爱音箱大变身：接入 ChatGPT 和豆包，轻松打造专属 AI 语音助手！

2024-06-08

将小爱音箱接入 ChatGPT 和豆包，改造成你的专属语音助手

2024-06-05

普通CPU笔记本也能操练大模型！One-api + Dify 本地Docker部署全流程

2024-06-21

AI大模型新型智算中心技术建设白皮书 2024

2024-07-11

大家都在问

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

孙兆治：面向年轻女性的陪伴机器人应该是什么样？

2024-12-15

百亿豪赌混战，谁会赢在“AI手机时代”？

2024-11-12

又一国产AI眼镜即将诞生|巨头不断布局这个赛道想象空间到底有多大？

2024-11-11

AI教学助手的技术解析：如何为教师简化教学流程？

2024-10-29

飞连首发行业大模型IT赋能平台，IT 管理如何助力千行百业提质增效？

2024-10-22

数据集成困难、利用低效：AI 热潮下，存储该怎么跟上？

2024-10-18

什么是新的 Apple Intelligence？

2024-10-16

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯