我要投稿

多模态大模型有哪些落地场景？贝壳、海尔等4家头部企业实践

发布日期：2024-10-18 08:02:35 浏览次数： 1712 来源：沙丘社区

大模型正在从单一模态向多模态发展，多模态成为大模型落地发展的必经之路。

一方面多模态数据无处不在且加速增长，未来用于大模型训练的数据中多模态数据占比将越来越大；另一方面，文本大模型只能理解文本意思并进行文本类的表达，但人类并不是从单模态中进行学习的，恰恰相反，我们会同时结合来自不同类型数据的信息来理解这个世界。

越来越多的基础大模型正在遵循人类学习的路径，基于多种模态数据进行训练，这些额外的模态将有助于大模型更好地理解现实世界，并超越目前所能达到的水平。

当前，已有企业将多模态大模型应用于实际的业务场景，沙丘智库通过研究贝壳找房、喜马拉雅、平安、海尔等企业的多模态大模型实践，旨在为其他企业提供参考。

▎案例1：贝壳找房家装领域大模型实践

家装行业存在家装链条长、用户决策周期长、营销效果图成本高的问题。贝壳找房推出DreamHome大模型，通过AIGC技术，结合空间输入、装修需求描述和参考输入，利用文生图模型、空间控制模型和风格控制模型生成灵感图，重构了全链路流程。

基于DreamHome大模型，贝壳打造了面向B/C两端的家装AIGC产品“设牛”，主要功能包括“拍照生图”、“选户型生图”、“风格模板”、“传参考图生图”和“直连设计师”，成功提升了用户在家装过程中的体验。

完整内容：贝壳找房家装领域大模型实践

▎案例2：喜马拉雅音频创作AI Agent实践

传统音频内容创作的周期非常长，用户对有声内容的需求远大于供给。喜马拉雅建设音频大模型，并基于音频大模型打造音频创作AI Agent，可端到端完成音频创作工作，大幅缩短音频内容的创作周期。

完整内容：喜马拉雅音频创作AI Agent实践

▎案例3：平安基于多模态大模型的智能品控实践

面对医疗健康服务中的客户投诉问题，平安利用多模态大模型技术，自动收集多模态数据，通过统一流程和方案实现全方位、全旅程、高时效、准实时的质量品控。具体措施包括自动总结、语音品控、图文品控，以及覆盖事中提醒、事中服务预警和事后品控抽检的方案设计。

完整内容：平安基于多模态大模型的智能品控实践

▎案例4：海尔智家HomeGPT大模型实践

HomeGPT是海尔智家开发的智慧家庭首个垂域模型，拥有文本、图像、音频、视频、代码等多模态生成能力。

目前，HomeGPT已经在海尔的用户端和企业端得到大模型应用。在用户端，实现用户体验提升，例如APP上智慧管家的百问百答；在企业端，实现企业降本增效，例如营销场景的文生文、文生图、视频合成等。

有了大模型后，智慧家庭设备可以不断根据用户的反馈实时进行调整和优化自身的响应模式，使用户和设备之间的互动变得更加自然。例如用户回到家想要洗澡，大模型可以结合用户意图和当前设备信息实现场景规划，自动调整水温、播放背景音乐等，和用户进行更智能的深度交互。

完整内容：海尔智家HomeGPT大模型实践

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

GPT-4 和 GPT-4o的主要区别

2024-09-12

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

企业如何构建大模型营销体系：架构与实战

2024-07-07

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

大家都在问

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

商汤大模型的「5o」交互，普通人如何和 AI 过一天？

2024-07-10

实测：开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？

2024-07-02

AI结合游戏NPC会发生什么？

2024-06-29

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯