总结！AI Agent开发的常见方法

实际上用AI打造程序员并不是那么新鲜的事情，其实从去年开始就有很多这方面的有趣的尝试，比如ChatDev项目，在github上已经斩获2万颗星，也是在AI程序员的打造上大胆的一项尝试。 

在一个软件项目当中，我们可以定义CEO、CTO、开发工程师、测试人员、产品经理等各类的角色，让这些角色根据用户提供的需求自行完成一个软件开发项目。这些角色之前可以对话、可以开会、讨论问题并达成结论。源码地址：https://github.com/OpenBMB/ChatDev

在ChatDev之前，还有一个项目特别火，而且ChatDev也是借鉴了这个项目，叫作斯坦福小镇，用AI技术构造很多角色，让这些角色在虚拟世界里生活，它们之间可以无缝交流，组织活动、一起解决问题。源码地址：https://github.com/joonspk-research/generative_agents

这些项目归根揭底来自Agent技术，在Agent框架下大模型可以起到控制流程的作用，它可以带领每个领域的专家协作完成一个任务。用Agent开发AI程序员仅仅是Agent领域的一个应用场景，你也可以基于Agent来写一个完整的小说、生成完整的课程、组织一场社群活动等，这里有太多的想象空间。 

我们一直认为2024年是Agent领域爆发的一年，很多公司也会开始下场做Agent的开发项目，那作为开发工程师或者算法工程师，在24年从事一项Agent项目必定是职业生涯最好的选择，能够踏上这一班车意味着比别人领先一大步。 

• 为什么要学习大模型开发？

  
  

• 对学员期望与课程目标

  
  

• 课程安排概览

  
  

• 学习评估

  
  

• 需要准备的工具和环境

  
  

• 大模型发展史

  
  

• 从大模型预训练、微调到应用

  
  

• GPT结构剖析

  
  

• 大模型家族、类别、应用场景

  
  

• RAG，Agent与小模型

  
  

• 通过API调用大模型

  
  

• 单论对话与多轮对话调用

  
  

• 开源模型与闭源模型调用

  
  

• ChatGLM，Baichuan，Yi-34B调用

  
  

• GPT，LLaMA模型调用

  
  

• 模型的部署、容器化

  
  

• 提示词的常见结构

  
  

• 提示词的模版化

  
  

• Zero-shot与Few-shot

  
  

• In-context learning

  
  

• Chain of thought prompting

  
  

• Tree of thought prompting

  
  

• Graph of thought promting

  
  

• Self-consistency

  
  

• Active-prompt

  
  

• Prompt chaining

  
  

• 为什么需要RAG？

  
  

• RAG的经典应用场景

  
  

• RAG的经典结构与模块

  
  

• 向量数据库

  
  

• 检索与生成

  
  

• 产品介绍与核心功能

  
  

• 技术方案与架构设计

  
  

• 文档读取和解析

  
  

• 文档的切分和文档向量化

  
  

• query搜索与文档排序

  
  

• 提示模版与大模型API接入

  
  

• 模型部署与Web应用

  
  

• 根据每个Sentence切分

  
  

• 根据固定字符数切分

  
  

• 根据固定sentence数切分

  
  

• 根据递归字符来切分

  
  

• 根据语义相似度来切分

  
  

• 常用向量数据库以及类别

  
  

• 向量数据库与索引算法

  
  

• 到排表与搜索优化

  
  

• KNN与近似KNN

  
  

• Product Quantization

  
  

• HSNW算法在索引中的重要性

  
  

• NSW算法解读

  
  

• NSW图中的搜索问题

  
  

• Skip List讲解

  
  

• 具有层次结构的NSW

  
  

• 推荐系统原理、应用场景以及架构剖析

  
  

• 传统推荐算法与基于LLM推荐算法

  
  

• 新闻数据的准备与整理

  
  

• 推荐中的召回与精排

  
  

• 精排与Prompt构建

  
  

• 模型部署与测试

  
  

• 为什么需要LangChain?

  
  

• 通过一个小项目快速理解各个模块

  
  

• LangChain调用模型

  
  

• PromptTemplate的应用

  
  

• 输出格式设定

  
  

• Pydantic Object设计

  
  

• 什么是 Function Calling

  
  

• 自定义输出结构

  
  

• 基于OpenAI调用Function Calling

  
  

• Function Calling的稳定性

  
  

• LangChain与Function Calling

  
  

• Document Loaders

  
  

• Text Splitters

  
  

• Text Embedding模型

  
  

• 常用的向量数据库调用

  
  

• 常用的Retriever

  
  

• 为什么需要Chain？

  
  

• LLMChain, Sequential Chain

  
  

• Transform Chain

  
  

• Router Chain

  
  

• 自定义Chain

  
  

• 经典RAG的几个问题

  
  

• Self-querying retrieval

  
  

• MultiQuery retriever

  
  

• Step-back prompting

  
  

• 基于历史对话重新生成Query

  
  

• 其他Query优化相关策略

  
  

• Sentence window retrieval

  
  

• Parent-child chunks retrieval

  
  

• Fusion Retrieval

  
  

• Ensemble Retrieval

  
  

• RPF算法

  
  

• 为什么需要评估RAG

  
  

• RAG中的评估思路

  
  

• 评估指标设计

  
  

• 套用在项目中进行评估

  
  

• RAGAS评估框架的缺点

  
  

• 需求理解和系统设计

  
  

• 经典RAG架构下的问题

  
  

• 检索器优化

  
  

• 生成器优化

  
  

• 系统部署与测试

  
  

• 模型私有化部署的必要性

  
  

• 中英开源模型概览与分类

  
  

• ChatGLM, Baichuan，Yi等中文开源模型

  
  

• LLaMA，Mistral系列英文开源模型

  
  

• 微调所需要的工具和算力

  
  

• 判断是否需要模型微调

  
  

• 模型微调对模型的影响和价值

  
  

• 选择合适的基座模型

  
  

• 数据集的准备

  
  

• 微调训练框架的选择

  
  

• GPU与CPU

  
  

• GPU的计算特性

  
  

• 微调所需要的算力计算公式

  
  

• 常见GPU卡介绍与比较

  
  

• 搭建GPU算力环境

  
  

• 全量微调与少量参数微调

  
  

• 理解LoRA训练以及参数

  
  

• PEFT库的使用

  
  

• LoRA训练硬件资源评估

  
  

• 认识QLoRA训练

  
  

• 理解ChatGLM模型家族以及特性

  
  

• 导入模型以及tokenizer

  
  

• 设计模型参数以及LoRA参数

  
  

• 训练以及部署微调模型

  
  

• 测试微调模型

• 什么是Agent

  
  

• 什么是Plan, Action, Tools

  
  

• 经典的Agent开源项目介绍

  
  

• 编写简单的Agent程序

  
  

• Agent目前面临的挑战与机遇

  
  

• LangChain所支持的Agent

  
  

• 什么需要自定义Agent

  
  

• @tool decorator的使用

  
  

• 编写自定义Agent工具

  
  

• 编写完整的Agent小项目

  
  

• 回顾什么是CoT

  
  

• CoT和Action的结合

  
  

• 剖析ReAct框架的Prompt结构

  
  

• 从零实现ReAct（from Scratch)

  
  

• ReAct框架的优缺点分析

  
  

• 开源Agent项目以及分类

  
  

• AutoGPT项目讲解

  
  

• MetaGPT项目讲解

  
  

• 其他开源项目

  
  

• Agent技术目前存在的问题

  
  

• Agent的planning

  
  

• Agent的reasoning

  
  

• Agent的knowledge

  
  

• Agent的memory

  
  

• Agent的泛化能力

  
  

• 需求设计和系统设计

  
  

• 工具的设计

  
  

• AI面试中的深度询问方案设计

  
  

• 提示工程设计

  
  

• Memory的设计

  
  

• 智能体开发与部署

  
  

• AI旅游规划师

  
  

• AI产品销售

  
  

• AI房租推荐

  
  

• AI图像处理

  
  

• AI网站开发

  
  

• 多个Agent的协同

  
  

• Agent的group行为

  
  

• Agent Society

  
  

• Agent的Personality

  
  

• 斯坦福小镇案例

  
  

• 智能设备特性以及资源限制

  
  

• 模型优化的必要性

  
  

• 常见的模型压缩技术

  
  

• 轻量级模型架构介绍

  
  

• 开源小模型

  
  

• 多大的模型适合

  
  

• 部署流程概述

  
  

• 模型转换工具

  
  

• 模型部署实战

  
  

• 性能测试与优化

  
  

• 边缘计算的概念和重要性

  
  

• 模型所要满足的要求与性能上的平衡

  
  

• 模型在边缘设备上的应用案例

  
  

• 未来“小”模型发展趋势

  
  

• 24年“小”模型机会

  
  

• 什么是多模态模型

  
  

• 多模态的应用场景

  
  

• DALLE-3与Midjourney

  
  

• Stable Diffusion与ControlNet

  
  

• 语音合成技术概述

  
  

• 主流TTS技术剖析

  
  

• 多模态大模型最新进展

  
  

• Sora对多模态大模型会产生什么影响

  
  

• 案例：MiniGPT-4与多模态问答

  
  

• 案例：BLIP与文本描述生成

  
  

• 案例：Video-LLaVA与多模态图像视频识别

  
  

• 大模型技术局限性
• 大模型的隐私性和准确性
• 大模型和AGI未来

  
  

• GPT商城的机会

  
  

• 多模态的机会

  
  

• 对于开发工程师未来的启示

• 课程介绍与目标

  
  

• 学习安排与课程结构

  
  

• 学员参与要求

  
  

• 课程项目与技术概览

  
  

• 推荐工具和开源资源

  
  

• 大模型的概念与历史发展

  
  

• 关键技术和算法基础

  
  

• 数据准备与预处理

  
  

• 预训练、指令微调、对齐

  
  

• 模型评估以及能力分析

  
  

• 微调与全量训练的区别

  
  

• 微调在不同领域的应用案例

  
  

• 选择微调任务和数据

  
  

• 微调的效果评估方法

  
  

• 微调项目的规划与管理

  
  

• Transformer模型的基础架构

  
  

• Self-Attention机制的工作原理

  
  

• Transformer在NLP任务中的应用

  
  

• Transformer模型的变种与发展

  
  

• 使用Transformer模型的实用技巧

  
  

• Encoder和Decoder介绍

  
  

• 常见的中英开源大模型介绍

  
  

• 模型选择标准与评估

  
  

• 开源模型的获取与使用

  
  

• 社区支持与资源分享

  
  

• 开源大模型发展方向

  
  

• Huggingface介绍

  
  

• 本地下载开源模型

  
  

• 理解HF相应的库以及导入大模型

  
  

• 模型封装以及部署

  
  

• 性能优化与成本控制

  
  

• 指令微调的概念与应用价值

  
  

• 指令集设计与实现

  
  

• 微调流程与实践技巧

  
  

• 性能评估与优化策略

  
  

• 指令微调的挑战与解决方案

  
  

• LoRA微调的方法

  
  

• 实施LoRA微调的步骤

  
  

• LoRA微调在实际项目中的应用

  
  

• 性能评估与调优技巧

  
  

• LoRA微调的局限与未来展望

  
  

• Alpaca项目介绍

  
  

• 指令数据的理解

  
  

• LoRA微调的实施与调优

  
  

• 项目评估与效果分析

  
  

• 经验总结与案例分享

  
  

• 为什么需要大模型压缩

  
  

• 模型压缩的方法与技术

  
  

• 压缩对模型性能的影响

  
  

• 压缩模型的常见方法

  
  

• 模型服务化的最佳实践

  
  

• QLoRA微调技术介绍

  
  

• 微调策略与实施过程

  
  

• 应用QLoRA的案例

  
  

• QLoRA微调的性能调优

  
  

• 面临的问题与解决方法

  
  

• 设计QLoRA微调方案

  
  

• 准备数据与环境配置

  
  

• 开源模型选择

  
  

• 执行微调与性能监控

  
  

• 项目经验分享与讨论

  
  

• DeepSpeed框架概述

  
  

• 配置与环境搭建

  
  

• 在大模型训练中使用DeepSpeed

  
  

• 分布式训练介绍

  
  

• 框架背后技术实现

  
  

• DeepSpeed参数理解

  
  

• 实战案例与经验分享

  
  

• Megatron-LM框架介绍

  
  

• 框架安装与配置指南

  
  

• 应用Megatron-LM进行模型训练

  
  

• 框架背后技术实现

  
  

• Megatron-LM参数理解

  
  

• 实战案例与经验分享

  
  

• 为什么需要Flash Attention

  
  

• GPU计算背景知识

  
  

• Flash Attention技术背后

  
  

• 在大模型中应用Flash Attention

  
  

• 实际部署与应用案例

  
  

• 微调模型性能测试的重要性

  
  

• Benchmark工具与方法介绍

  
  

• 执行Benchmark的步骤与技巧

  
  

• 结果分析与解读

  
  

• Benchmark设计与业务场景

  
  

• 结合QLoRA和Flash Attention的策略

  
  

• 微调与部署的一体化流程

  
  

• 项目实施的关键步骤

  
  

• 成果评估与性能优化

  
  

• 经验分享与问题解决

• 开源模型的概述

  
  

• 常见的开源模型分类

  
  

• 选择开源模型的考量因素

  
  

• 开源模型的获取和使用指南

  
  

• 维护和贡献开源模型的最佳实践

  
  

• ChatGLM模型家族介绍

  
  

• ChatGLM1到ChatGLM3迭代

  
  

• ChatGLM的私有化部署

  
  

• ChatGLM的特色

  
  

• 微调ChatGLM模型的步骤和技巧

  
  

• 微调案例分享

  
  

• 理解需求以及技术方案设计

  
  

• 医疗指令数据的搜集

  
  

• 医疗Benchmark的获取和整理

  
  

• 微调ChatGLM+LoRA模型

  
  

• 微调案例分享

  
  

• Qwen和YI模型家族概述

  
  

• 两个模型家族的迭代

  
  

• Qwen和YI大模型的私有化部署

  
  

• 两个大模型家族的特色

  
  

• 微调Qwen和YI模型的实践指南

  
  

• 微调案例分享

  
  

• LLaMA模型家族特点

  
  

• LLaMA大模型的迭代和架构变化

  
  

• LLaMA大模型的私有化部署

  
  

• 微调LLaMA模型的方法和建议

  
  

• LLaMA模型微调的案例分析

  
  

• 微调案例分享

  
  

• Mistral和Phi模型家族简介

  
  

• Mistral和Phi在多语言中的应用

  
  

• 两大模型家族的特色

  
  

• 量大模型家族的私有化部署

  
  

• 微调Mistral和Phi模型的流程

  
  

• 微调案例分享

  
  

• MoE（Mixture of Experts）模型概念

  
  

• MoE模型在大规模数据处理中的优势

  
  

• 微调MoE模型的关键点

  
  

• MoE模型的应用案例

  
  

• MoE模型的扩展性和可维护性问题

  
  

• Mistral 8x7b

  
  

• 微调案例分享

  
  

• 理解需求以及技术方案设计

  
  

• 智能客服指令数据收集

  
  

• Benchmark的获取和整理

  
  

• 微调Mistra 8x7b+QLoRA模型

  
  

• 模型评估以及验收报告制作

  
  

• Baichuan中文大模型

  
  

• Falcon模型家族

  
  

• Bloom模型介绍

  
  

• 不同领域开源模型的应用实例

  
  

• 微调这些开源模型的技术指导

  
  

• 评估开源模型的关键标准

  
  

• 匹配项目需求和模型特性

  
  

• 实践中选择开源模型的经验分享

  
  

• 开源模型使用中的常见陷阱

  
  

• 社区和资源的重要性

  
  

• 大模型对齐的重要性和应用场景

  
  

• 基本对齐技术和方法概述

  
  

• 对齐过程中的数据处理和预处理

  
  

• 模型对齐的评估指标

  
  

• 大模型对齐的挑战和策略

  
  

• 开源数据集的重要性和来源

  
  

• 选择和处理对齐用的开源数据

  
  

• 开源数据在模型对齐中的应用

  
  

• 数据隐私和伦理考量

  
  

• 维护和更新开源数据集

  
  

• RLHF（强化学习从人类反馈）技术介绍

  
  

• RLHF在模型对齐中的应用案例

  
  

• 实施RLHF技术的步骤

  
  

• RLHF技术的效果评估

  
  

• 解决RLHF应用中的问题

  
  

• RLHF实战案例分析

  
  

• DPO（Direct Preference Optimization）概念

  
  

• DPO在优化模型对齐中的作用

  
  

• 实现DPO的关键技术点

  
  

• DPO应用的案例和效果分析

  
  

• DPO技术的挑战和前景

  
  

• DPO实战案例分享

  
  

• 需求分析以及技术方案设计

  
  

• 数据收集和预处理

  
  

• 训练Reward Model

  
  

• 训练RLHF完整微调

  
  

• 项目的评估和优化

  
  

• 需求分析以及技术方案设计

  
  

• 对齐数据的准备和处理

  
  

• 执行DPO模型对齐流程

  
  

• 对齐效果的评估和调整

  
  

• 项目中遇到的挑战

  
  

• 当前大模型对齐技术的发展趋势

  
  

• 模型对齐在大模型中的真正价值

  
  

• 对齐在工程上挑战

  
  

• 模型对齐技术的伦理和社会影响

  
  

• 资源推荐和学习路径

  
  

• 垂直领域的研发符合中国现状

  
  

• 垂直领域大模型研发pipeline

  
  

• 微调大模型的基本方法和流程

  
  

• 选择合适的微调策略

  
  

• 微调中的性能优化技巧

  
  

• 微调项目的评估和调整

  
  

• 智能问诊领域的应用场景和需求

  
  

• 大模型能力维度设计

  
  

• 领域内benchmark设计

  
  

• 快速测试开源模型能力并选择合适的模型

  
  

• 微调模型以适应医疗数据

  
  

• 模型部署以及RAG设计

  
  

• 金融领域通用大模型需求分析

  
  

• 金融领域大模型benchmark

  
  

• XuanYuan开源项目剖析

  
  

• 金融领域大模型案例解读

  
  

• 微调模型在金融Benchmark上的评估

  
  

• 金融领域中的未来潜在落地场景

  
  

• 教育领域的大模型应用场景和需求

  
  

• 微调大模型进行个性化学习支持

  
  

• EduChat开源项目剖析

  
  

• 指令数据和对齐数据的整理

  
  

• Benchmark以及大模型评估

  
  

• 教育领域中的未来潜在落地场景

  
  

• 课程学习要点回顾

  
  

• 项目成果分享和评估

  
  

• 学习心得和经验交流

  
  

• 未来发展趋势和学习路径