AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


AI落地难?是时候用开源降低AI落地门槛了
发布日期:2024-11-06 07:48:27 浏览次数: 1689 来源:智能进化论


过去三十多年,从Linux到KVM,从OpenStack到Kubernetes,IT领域众多关键技术都来自开源。开源技术不仅大幅降低了IT成本,也降低了企业技术创新的门槛。


那么,在生成式AI时代,开源能够为AI带来什么?


红帽的答案是:开源技术将推动AI更快、更广泛的应用到各行各业中。


自1993年成立至今,红帽一直是坚定的开源技术布道者和构建者。透过不久前的2024红帽论坛,「智能进化论」看到了开源技术与AI碰撞的三大关键词:简单的AI、开源的AI、混合的AI。




01
简单的AI
从一台Laptop开启的
企业AI应用之旅



2024年9月,AI 托管平台 Hugging Face 宣布其收录的 AI 模型数量已突破 100 万个,足以证明生成式AI与大模型的火爆。


但是从通用的基础模型,到解决不同企业实际业务问题之间,仍有不小的距离。算力、人才、模型训练平台和工具、技术经验都是大模型落地过程中的普遍痛点。比如:


“能不能让基础模型使用企业自己的数据,在我选择的环境里做调优,同时只需要花费相对较小的投入?”


“我们想基于基础模型开发适配自身业务的小模型,但是团队没有AI开发经验,没有开发平台,甚至没有足够的GPU算力资源怎么开始?”


正如过去数年间,红帽通过RHEL 和 OpenShift,将Linux 和容器技术加速普及一样,用开源的方式将AI引入企业,也是AI时代红帽的愿景。



为此,红帽推出了一系列AI平台和产品,组成了企业AI应用三步曲:


第一步,借助Podman Desktop和InstructLab,用户可以在最小资源配置下试用开源AI模型和工具,比如在笔记本电脑上用CPU试跑AI模型,而不需要额外的GPU卡。


过去,很多人认为AI模型的训练不可能在一台PC上完成,必须在配备GPU卡的大型数据中心完成。红帽彻底改变了这一现实,同时也让没有IT开发经验的数据科学家和业务人员都可以参与到AI模型训练中。


借助 Podman AI Lab 扩展包,Podman Desktop可以让用户在本地环境中构建、测试和运行基础模型。只需完成几个步骤即可设置试验环境,用来试用不同的基础模型。


InstructLab是一款用于基础模型对齐的开源工具,它可以帮你从开源社区把需要的基础模型下载到本地进行训练,并大幅降低了模型微调的数据准备和技术门槛。


第二步,通过Red Hat Enterprise Linux AI(RHEL AI),在云端服务器上进一步训练模型。


如果第一步测试效果满意,用户就可以在云端服务器上进行生产级的模型训练。


RHEL AI是一个基础模型平台,它使用户能够更加便捷地开发、测试和部署生成式AI模型。


RHEL AI中整合了IBM研究院的开源授权大模型Granite、模型对齐工具InstructLab,以及包括英伟达、英特尔和AMD的GPU加速器。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。


第三步,通过OpenShift AI,在更大规模的分布式集群中进行生产级别的模型训练和部署。


如果在前面两个环节中,模型都收获了满意的效果,就可以通过更大规模的分布式集群投入生产环境。


OpenShift AI是红帽的混合机器学习运营(MLOps)平台,能够在分布式集群环境中大规模运行模型和InstructLab,可以支撑大型团队完成ML Ops的工作流程。而且,OpenShift AI支持跨云混合部署,支持本地数据中心、私有云、公有云、混合云等多种环境。


在三步曲之外,红帽还推出了丰富的AI赋能产品,比如Red Hat Lightspeed通过集成生成式人工智能(GenAI),为初学者和专家提供更顺畅的工作体验。将Red Hat Lightspeed应用于RHEL AI、OpenShift AI,用户可以通过自然语言的方式管理操作系统、容器平台甚至集群。




02
开源的AI
用开源社区推动大模型迭代



“你可以随处选择运行 AI 的位置,而且它将基于开源。”在2024年5月的红帽全球峰会上,红帽CEO Matt Hicks曾这样表示。


可以说,开源开放的理念,贯穿了红帽所有的AI产品与战略。


InstructLab就是一个典型的例子。InstructLab既是模型对齐的工具,也是一个开源社区,开创了一种通过开源社区推动开源模型的持续进步的新模式。


“红帽设计InstructLab有两个主要目的:第一,让客户基于Granite基础模型,使用InstructLab和自身数据训练出符合需求的模型。第二,我们邀请用户更进一步,将知识和技能反馈至上游的开源社区,将其整合到社区版本的Granite模型中。因此,InstructLab是连接社区和客户的桥梁。”红帽大中华区解决方案架构部高级总监王慧慧表示。


同时,在推动AI落地方面,开放共创是红帽坚守的理念。


“在AI应用落地方面,红帽引入了“开放实验室”的概念,与客户的顾问团队合作,针对企业的研发、生产、市场行销和客户支持等环节,一起找出最具效能的应用场景。从一个小应用成功起步,再逐步扩展至更大的场景。”红帽全球副总裁兼大中华区总裁曹衡康表示。


“关于AI最后一公里的落地,红帽今年加速了与本土ISV及方案开发商的合作,以满足不同行业和企业的个性化需求。”红帽大中华区资深市场总监赵文斌表示。


自今年5月发布全栈AI产品以来,红帽AI系列产品在国内市场加速落地。作为红帽AI产品的首批客户之一,国内某保险行业企业在引入红帽的AI产品后,其代码合并和审查的准确率大大提升,显著提升了开发效率与客户满意度。


“去年红帽大中华区业务创下了历史新高,今年也继续以双位数增长。我们的增长来自于越来越多的企业选择开源技术,认识到开源的优势。”曹衡康表示。


红帽全球副总裁兼大中华区总裁 曹衡康



03
混合的AI
企业发展自主AI的必然选择



云计算时代,企业根据不同的业务负载可以灵活选择裸金属、公有云、私有云、混合云、专属云等多种部署方式。


正如云是混合的,AI也是混合的。


随着生成式AI技术的不断成熟,越来越多企业意识到,没有一款基础模型可以做到一家独大。企业根据不同业务选择最适合的模型将成为一种趋势,多个业务场景对应多个模型将成为常态。


从这个层面看,生成式AI时代也是混合AI时代。自2013年发布开放混合云战略以来,这种跨开放混合云的能力正是红帽的优势所在,其也将在AI时代进一步延续。


红帽OpenShift 产品线经理佟一舟介绍了一个金融行业客户的案例。该企业在大模型出现之前就拥有丰富的ML小模型开发实力。然而在构建生成式AI研发、生产、实施平台的时候,该企业果断选择了红帽。


一方面,大模型时代构建AI平台的难度和复杂度与小模型时代不可同日而语。另一方面,在多模型的混合场景下,企业需要找到一个中立的AI平台作为合作伙伴,才能避免被单一厂商绑定的风险。


“很多客户希望AI平台企业能够稳定为他们提供未来10年的服务,而目前很多底层技术都来自开源技术。红帽30年的开源积淀,正是很多客户看中的关键优势。”佟一舟表示。



结语



在生成式AI的时代浪潮中,开源技术正以其独特的魅力和强大的推动力,为AI的广泛应用铺设了一条坚实的道路。


开源与AI的碰撞,不仅降低了AI落地的门槛,更让企业拥有了更多的自主权和选择空间。




文中图片来自摄图网


END


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询