我要投稿

百度智能云千帆大模型平台引领企业创新增长

发布日期：2024-12-02 18:35:15 浏览次数： 1547 来源：百度Geek说

首先，跟大家分享一张图，这个是我们目前大模型应用落地的场景分布。可以看到，大模型广泛渗透到各行各业，场景越来越丰富。

24 年 9 月份，我们发布了百度智能云千帆大模型平台 3.0。包括：模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

在企业大模型落地的过程中，要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径：

模型推理；
模型应用效果优化（包括提示词优化、模型精调、模型能力增强）；
大模型应用开发。

首先，讲模型推理。

在模型选择的过程中，我们发现 3 个趋势：

越来越追求效价比，效果更好兼顾成本更低；
根据不同需求，进行大小模型协同；
多模态模式协同工作；

百度智能云千帆大模型平台提供丰富的模型选择，有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

第二个路径，模型应用效果优化，分为 3 个手段。最常见的就是提示词优化，包含 Prompt 和 Few-shot 两种方式。

举个例子，法律咨询场景，我给大模型一个指令「你是一个律师，请问经济合同纠纷案的解决流程是什么？」。可以看到大模型给出了一个基础的解决流程的答案。

要上生产环境用大模型代替律师工作，最简单就是通过提示词调优。

可以明显看到，右边增加了人设、风格、指令约束。输出结果更像真人律师，这就是提示词优化的作用。

提示词优化看似容易，其实没有那么简单，有很多的原则来适应模型和应用的需求。

为了进一步降低客户使用门槛，我们今天发布 Prompt 模板。用户可以一键复制，只要稍作改写，大模型的输出效果就会更好。

提示词优化有效果天花板。

如果想进一步提升应用场景下模型能力，第二招对模型进行模型训练，也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐，有效提升模型效果。

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链，包含：数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

举个例子，宁波传媒使用千帆 ModelBuilder 模型精调工具，打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

今天，基于我们平台越来越多的场景实践，沉淀了一系列的模型精调样板间，进一步降低模型调优门槛。

企业只需要跟随样板间的步骤，一步一步设置模型训练的参数，就可以训练出符合企业需求的场景化模型。

我们在千帆 ModelBuilder 工具链不断迭代的过程中，又给大家提供了一个新的方法——模型蒸馏。

通过调用旗舰大模型产生的问答对，经过筛选得到有效的训练数据。在降低数据标注成本的同时，通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。

举个例子，百度电商数字人直播，通过模型蒸馏后，相比旗舰级模型效果能达到 90%，同时达到旗舰级 6 倍的速度，10% 的成本；更好的适应我们场景应用在效果、性能和成本之间的平衡。

客户在使用面临一个问题：模型刚上线符合预期，过了一段时间模型应用效果下降。

为什么下降？——用户请求 query 结构会发生改变。

怎么办？——持续调优。通过千帆 ModelBuilder 提供的工具链，帮企业建立自己的数据飞轮，根据用户反馈，持续迭代模型，让模型越用越聪明。

大模型应用效果优化第三招：模型能力增强。即给模型增加外部能力，比如检索增强能力和工具能力。

这个例子，是北京大学通过千帆 AppBuilder 的企业级 RAG 能力，打造了一个智能 AI 校园助手「小北学长」。

可以看到，这个校园助手的创建，就是外挂了北京大学独有的 30 万+ 知识文件，满足校园内特定场景的知识问答，回答准确率高达 95% 以上。

今天，千帆 AppBuilder 除了提供企业级 RAG 能力，还有企业级 Agent、企业级部署、企业级集成，共 4 大企业级能力。

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力，能够自主的做任务规划，一定程度上为企业降本增效。

但也有一些场景，需要严格按照企业的 SOP，也就是设定好的工作流来进行任务执行，就是我们今天全新发布的工作流 Agent 能力。

下面我们来看个例子：通过工作流 Agent，模拟航空公司客服人员，做机票退改签。

通过工作流 Agent，可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。

构建智能体应用，逐渐变成一个统一范式。

为了进一步降低应用开发门槛，我将带来今天的第三个发布：大模型应用样板间。

这些应用样板间，覆盖高达 100 多个场景。通过模板，一键复制到自己的工作台，稍作改写，就可以落地成企业自己的应用。

除了智能体作为应用载体之外，还有非常多的企业级传统应用，过去是通过写代码的方式开发，今天我们通过大模型也实现了零代码分钟级开发，它就是 AI 速搭平台。

继 9 月份云智大会发布之后，今天又有了全面的能力升级，实现了移动端的适配。

这个示例，是通过 AI 速搭一句话生成图书管理系统。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

“大数据+”医疗

2024-04-11

Claude中国官网正式上线！1:1还原官网，非套壳，国内直连

2024-07-18

50+个AI大模型在不同领域的应用案例

2024-08-04

哈工大“风筝”航天知识大模型开放测试

2024-10-25

一文读懂大模型推理必备技术：KV Cache

2024-07-01

大家都在问

为什么 AI 需要一次 Web 2.0 式的革命？

2024-12-03

为什么说大模型无法取代AI Agent ？

2024-12-01

新AI时代，卷王周鸿祎发布纳米搜索：AI搜索，一切皆可视频，克隆数字人，整合豆包等16款大模型优势，要做AI工具届瑞士军刀？

2024-11-29

大语言模型代理能否模拟人类的信任行为？

2024-11-26

AI Agent将给软件工程带来哪些新机遇与挑战？

2024-11-25

为什么大模型连"Strawberry"的"r"都数不对？

2024-11-21

数据库 + 大模型，DBA初级变高级？

2024-11-18

工业大模型落地加速，哪些场景将率先获益？

2024-11-14

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯