微信扫码
与创始人交个朋友
我要投稿
人形机器人有望成为通用机器人的终极化身,但要发挥这一潜力,就必须适应各种任务--导航、桌面操作(桌面上进行的精细操作任务)、移动操作--每种任务都需要独特的控制模式。一个控制器能胜任所有任务吗?
刚刚英伟达重磅推出用于人形机器人的多功能全身神经通用控制器AI模型HOVER:在统一的通用策略中支持运动学位置、关节角度和身体基座跟踪。HOVER 优于以往针对特定模式(ExBody、H2O、OmniH2O、HumanPlus)训练的专用策略
我们人类走路、保持平衡、控制手脚,这些看似简单的动作,其实背后有大量的潜意识处理。HOVER 就相当于把这种“潜意识”
捕捉并编码到了一个模型里,它学会了如何协调机器人电机,让机器人像人一样流畅地运动和操作
英伟达用一个只有150万参数的小模型HOVER,就实现了人形机器人的控制,甚至还能模仿人类动作!更让人震惊的是,它模拟一年的训练量,只需50分钟!
HOVER 的核心创新在于:利用全身运动模仿作为各种任务的通用抽象,并提供通用的运动技能,用于学习多种全身控制模式,现有的方法通常针对特定命令空间训练单独的策略,限制了它们在不同模式之间的迁移能力。而 HOVER 提出了一种多模式策略蒸馏框架,将不同的控制模式整合到一个统一的策略中
HOVER 的训练是在英伟达 Isaac 模拟套件中进行的。这套件基于 GPU 加速,比实时物理模拟快 1 万倍!这意味着,机器人可以在虚拟的“道场”里进行长达一年的高强度训练,而实际训练时间只需 50 分钟左右!训练完成后,模型可以直接零样本迁移到现实世界,无需微调!
HOVER 支持多种高级运动指令,称之为“控制模式”。它就像一个万能的转换器,将不同的指令转换成底层电机控制信号。例如:
头和手的姿势: 可以用 Apple Vision Pro 等 XR 设备捕捉
全身姿势: 可以通过动作捕捉或 RGB 摄像头获取
全身关节角度: 可以使用外骨骼获取
根速度命令: 可以使用操纵杆控制
更重要的是,HOVER 的命令空间设计非常巧妙,兼顾了通用性和原子性:
通用性: 涵盖了现有的大部分控制模式,无需为了特定任务而牺牲性能或通用性。
原子性: 命令空间由独立的维度组成,可以任意组合,支持各种模式
统一接口: 无论你手边有什么输入设备,都可以用来控制机器人,非常方便!
简化数据收集: 可以更轻松地收集全身遥操作数据,用于训练机器人
更高级的控制: 可以与视觉-语言-动作模型配合使用,HOVER 将高级指令翻译成机器人能理解的低级电机信号,实现更复杂的控制
多模式无缝切换: HOVER 可以流畅地在不同控制模式之间切换,例如从行走模式切换到操作模式,无需重新训练模型,同时保留每种模式的独特优势,为各种模式的仿人控制提供稳健且可扩展的解决方案。从而提高了未来仿人应用的效率和灵活性
训练框架: HOVER 通过本体感觉和命令屏蔽从 Oracle 策略中提取训练。该模型的任务命令由特定于模式和基于稀疏性的掩码决定,这些掩码独立应用于上半身和下半身运动。这些掩码生成不同的任务命令模式,优化学生的输入。蒸馏采用 DAgger 将学生的动作与预言机的动作对齐,并通过预言机动作的监督学习进行优化
部署框架: HOVER 通过统一的多模式命令空间实现多功能人形机器人控制。多功能多模式命令空间支持运动位置跟踪(蓝色)、局部关节角度跟踪(黄色)和根跟踪(紫色)。高亮显示的框表示正在跟踪的活动命令,而掩码(右侧的虚线框)允许选择性激活不同的命令空间以适应各种任务
这是英伟达 GEAR 实验室和合作伙伴的共同成果,再次证明了小模型的巨大潜力!
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-05-09
2024-07-07
2024-07-01
2024-06-24
2024-06-08
2024-07-23
2024-06-05
2024-06-21
2024-07-11
2024-10-29
2024-10-22
2024-10-18
2024-10-16
2024-10-15
2024-10-10
2024-10-06
2024-10-01