我要投稿

基于大模型的交互式编程：提升飞桨开发者编程效率

发布日期：2024-09-09 22:17:48 浏览次数： 1575

随着大模型能力的不断增强，产学研各界越来越多的开发者开始使用大模型来辅助编程以提升开发效率。对于使用常见编程语言（如：Python、C++、Java 等）的开发者们，基于大模型的交互式编程能力已逐步释放出更多的增益，深受开发者欢迎。

当前已经有相当数量的开发者在使用飞桨接口进行深度学习领域的编程，以完成训练和部署大模型等开发工作。如果飞桨的开发者们也可以使用大模型辅助编程，既能提升大家的开发效率，也能在使用过程中加速大模型的开发迭代，形成正反馈。知识增强大模型——文心大模型的持续快速进化，得益于百度在芯片、框架、模型和应用上的布局，尤其是飞桨深度学习平台和文心的联合优化，包括训练吞吐、分布式扩展、多模型结构混合并行和硬件通信层的联合优化。我们的前几场分享已经介绍过这个过程。

使用大模型提升飞桨编程效率，形成正反馈

与此同时，随着大模型能力不断增强，业界也涌现出了一些使用大模型加速编程的系统或工具帮助开发者。因此，飞桨也希望我们的开发者们能用上大模型来提升使用飞桨框架进行开发的效率，并加速大模型的开发迭代，即上图中顺时针这条线，本文我将主要展开分享这个部分。

使用飞桨框架编程的常用场景

在介绍大模型加速飞桨编程具体的技术和实现之前，在此简要说明使用飞桨框架进行编程的常用场景，以帮助大家直观理解可以使用大模型去解决哪些编程问题，以及解决后可以产生的效果。这里列出了目前需求较大的 5 类场景及这些场景中的典型问题：

常用场景

使用大模型加速飞桨编程的原理和技术架构

虽然使用飞桨编程的具体场景很多，但我们希望尽量用一套系统来解决各个场景的问题，下图展示了系统的主要部分。

用户(开发者)使用的流程为绿色线，飞桨知识集增强用户的提示词，增强后的提示词能够让大模型返回较好的效果；系统优化为橙色线，根据用户反馈不断增强大模型的能力。

系统设计中考虑了 2 个关键点：

1. 在用户和大模型间建立了飞桨知识集。这样可以保证效果和时效性，不依赖于大模型的更新周期。

2. 系统后台定期将飞桨知识集中的高质量数据通过 SFT 的方式更新到大模型中，可以不断增强大模型的能力。

整体流程和架构

动手实践

安装文心快码及加载飞桨编程插件

首先需要安装文心快码及加载飞桨编程插件，安装方法如下，也可参考视频演示：（推荐在 VS code 中进行安装和使用，VS code 需要 1.69 及以上版本）

1. 安装文心快码：点击插件 tab，搜索Baidu comate，点击 install 进行安装，安装并登录后可以直接使用文心快码进行通用编程加速，如 C++、Java 等。

2. 加载飞桨编程插件。如果要使用飞桨接口编程，我们推荐加载飞桨编程插件，飞桨编程插件进行了针对性的优化，比直接使用 Comate 效果更好。写下 import paddle 等关键字，界面左下角将会自动推荐加载飞桨编程插件，点击蓝色字的示例提问，或在输入框里按下 Tab 键，即可加载飞桨编程插件。显示飞桨图标，则表示加载成功，之后就可以使用飞桨编程插件生成、补全和转换飞桨代码。

使用飞桨编程插件进行代码生成

在安装完文心快码及加载飞桨编程插件后，就可以在输入框中描述想要的代码功能，以生成对应的飞桨代码。

例如输入 prompt“实现 1 个 coo 矩阵和普通矩阵的矩阵乘”，几秒后可以得到飞桨编程插件自动输出的代码，如果觉得不错，点击“采纳”按钮就可以一键插入到当前编辑的文件中。

输入的 prompt 可以支持很长的描述，越详细则生成的代码更能符合需求，加快编程效率。

使用飞桨编程插件进行代码补全

如果编辑的文件中有 import paddle 或 form paddle import 等字样，飞桨编程插件就会自动使用飞桨代码补全功能，该功能能够补全飞桨 API 的拼写、参数、默认值等，可以节省查询文档的时间。

当你只记得 randn 接口可以生成数据，但是不太记得 API 具体的路径、参数等，可以在打开的文件中输入 randn，飞桨编程插件就会自动推荐此API的用法。

如果还想要设置randn中的更多参数，如指定结果的数据类型等，可以将光标调整到代码的合适位置，飞桨编程插件将自动推荐可以设置的其它参数。

同样，可以使用此数据进行后续的数学计算，如只大概记得接口名称，如 abs、fft、matmul 等，飞桨编程插件会推荐相关API的用法，而不需要去查询飞桨API的拼写、参数、默认值等。

使用飞桨编程插件进行代码转换

飞桨编程插件可以将 pytorch、tensorflow 等深度学习框架代码转换代码为飞桨代码，其中对于pytorch支持会更多，且有转换统计功能。

转换 pytorch 代码：

编辑的文件中如果有 import torch 或 form torch import 等字样就会提示可以进行自动代码转换，点击“代码转换”后，会在左边栏中显示转换后的代码，不会修改当前文件中的代码。
左边栏会在转换出来的代码后面显示“转换统计”，显示有多少行 pytorch 的代码需要转换，以及转换成功多少。
如果想要采纳转换后的飞桨代码，可以点击“新建文件”，这样转换后的代码就自动放入这个文件中，然后可以指定目录和文件名以保存转换的飞桨代码文件。
可以选择转换前后的文件，使用文件比较的功能查看diff，也更好能看出转换的效果，以及 pytorch 和飞桨接口的差异。

转换其它深度学习框架（如 tensorflow 等）的代码：

先将飞桨编程插件设置为代码转换模式，即在左下的输入框中输入 /，然后选择“代码转换”。
打开要转换的代码文件，点击左下输入框下面的蓝色箭头，即可开始转换。
转换后的代码采纳及转换前后的文件比较同转换 pytorch 代码第3/4点一致。

在星河社区中使用

在星河社区中使用文心快码和飞桨编程插件

在 Jupyter 模式下：

a. 使用回车键，可触发文心快码根据注释生成代码，使用 tab 键采纳代码。

b. 在编码过程中，使用回车键触发文心快码自动推荐后续代码，使用 tab 键采纳代码。

在 VS Code 开发环境下（AIStudio 右上角蓝色浮窗，可一键切换 Jupyter、VS Code 开发环境）：

a. 点击“代码解释”可一键生成函数注释。

b. 通过@调用更多官方插件，通过智能问答解决开发问题。

也可在星河社区学习文心快码的使用：

https://aistudio.baidu.com/practical/introduce/549084312059973

总结

通过本文介绍的基于大模型辅助编程的方法，可以高效地生成代码、补全代码和转换用其它深度学习框架编写的代码，直观提升广大飞桨用户的编程效率。后续我们将着重优化飞桨代码转换、模型注释与文档生成、以及飞桨代码改写等关键场景的效果，帮助开发者进一步提升效率。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

3K star！为RAG而生的数据清洗神器

2024-07-09

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

AI Agent + 电商：应用与探索

2024-07-11

企业如何构建大模型营销体系：架构与实战

2024-07-07

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

o1新模型数据乐观，现实却打脸？

2024-09-16

GPT从BERT借鉴了哪些方法和技术？

2024-09-13

GPT4+prompt ≈ GPT o1 ? 都2024了, 还在微调、自训练模型?

2024-09-13

9 款 GPU 横评，哪些适合大模型训练，哪些适合推理任务？

2024-09-13

微调框架Llama-factory和Unsloth：应该选择哪个？

2024-09-12

大模型如何影响开发框架选型？

2024-09-11

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

使用飞桨编程插件进行代码生成

使用飞桨编程插件进行代码补全

在星河社区中使用

在 Jupyter 模式下：

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

FP8 低精度训练：Transformer Engine 简析

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

万字综述 10+ 种 LLM 投机采样推理加速方案

通义千问超越GPT4了？

Qwen2大模型微调入门实战-命名实体识别（NER）任务

3K star！为RAG而生的数据清洗神器

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

DifySandbox 的构建背景和实现机制

AI Agent + 电商：应用与探索

企业如何构建大模型营销体系：架构与实战

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

如何微调（Fine-tuning）大语言模型？

o1新模型数据乐观，现实却打脸？

GPT从BERT借鉴了哪些方法和技术？

GPT4+prompt ≈ GPT o1 ? 都2024了, 还在微调、自训练模型?

9 款 GPU 横评，哪些适合大模型训练，哪些适合推理任务？

微调框架Llama-factory和Unsloth：应该选择哪个？

大模型如何影响开发框架选型？

热门标签