微信扫码
与创始人交个朋友
我要投稿
作者|沙丘智库研究团队
来源|沙丘社区(www.shaqiu.cn)
大模型正在从单一模态向多模态发展,多模态成为大模型落地发展的必经之路。
一方面多模态数据无处不在且加速增长,未来用于大模型训练的数据中多模态数据占比将越来越大;另一方面,文本大模型只能理解文本意思并进行文本类的表达,但人类并不是从单模态中进行学习的,恰恰相反,我们会同时结合来自不同类型数据的信息来理解这个世界。
越来越多的基础大模型正在遵循人类学习的路径,基于多种模态数据进行训练,这些额外的模态将有助于大模型更好地理解现实世界,并超越目前所能达到的水平。
当前,已有企业将多模态大模型应用于实际的业务场景,沙丘智库通过研究贝壳找房、喜马拉雅、平安、海尔等企业的多模态大模型实践,旨在为其他企业提供参考。
▎案例1:贝壳找房家装领域大模型实践
家装行业存在家装链条长、用户决策周期长、营销效果图成本高的问题。贝壳找房推出DreamHome大模型,通过AIGC技术,结合空间输入、装修需求描述和参考输入,利用文生图模型、空间控制模型和风格控制模型生成灵感图,重构了全链路流程。
基于DreamHome大模型,贝壳打造了面向B/C两端的家装AIGC产品“设牛”,主要功能包括“拍照生图”、“选户型生图”、“风格模板”、“传参考图生图”和“直连设计师”,成功提升了用户在家装过程中的体验。
完整内容:贝壳找房家装领域大模型实践
▎案例2:喜马拉雅音频创作AI Agent实践
传统音频内容创作的周期非常长,用户对有声内容的需求远大于供给。喜马拉雅建设音频大模型,并基于音频大模型打造音频创作AI Agent,可端到端完成音频创作工作,大幅缩短音频内容的创作周期。
▎案例3:平安基于多模态大模型的智能品控实践
面对医疗健康服务中的客户投诉问题,平安利用多模态大模型技术,自动收集多模态数据,通过统一流程和方案实现全方位、全旅程、高时效、准实时的质量品控。具体措施包括自动总结、语音品控、图文品控,以及覆盖事中提醒、事中服务预警和事后品控抽检的方案设计。
完整内容:海尔智家HomeGPT大模型实践
更多研究:
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信:zimu738
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-17
Agent S通过对话让Agent控制电脑, 该类应用目前成功率还不到30%
2024-10-16
深度解析Swarm Agent :OpenAI 开源的多智能体协作框架
2024-10-16
实时语音交互的游戏队友——网易伏羲 AI Agent 创新应用
2024-10-16
OpenAI Swarm:探索多智能体(Agent)系统的新框架
2024-10-16
NotebookLM爆火背后:AI原生产品的核心洞察与创新
2024-10-16
ElevenLabs打造AI版费尔南多·阿隆索,开启虚拟人互动新纪元
2024-10-15
Agent S-比肩普通人一样的"电脑Agent"如约而来,引领“电脑交互”新纪元。
2024-10-14
可以在浏览器中本地运行Whisper了!
2024-06-17
2024-07-11
2024-06-17
2024-08-06
2024-04-21
2024-08-30
2024-06-26
2024-09-12
2024-07-11
2024-07-15
2024-09-26
2024-09-26
2024-09-01
2024-07-31
2024-07-25
2024-07-19
2024-07-15
2024-07-15