我要投稿

四月及五一假期LLM+KG+RAG产研总结：开源的继续奔放与RAG等的转向

发布日期：2024-05-10 21:12:16 浏览次数： 1865 来源：老刘说NLP

今天是20224年5月10日，星期五，北京，天气雨，雨过后的晚霞很漂亮。

今天我们来回顾4月份大模型进展，昨日，老刘说NLP社区顺利完成第十八讲《老刘说NLP2024年4月份及五一LLM+KG+RAG产研总结:有趣的开源项目、技术观点及产品进展》，从大模型关联总结【开源、产品流量变化等】，RAG、KG、RAG以及文档图表理解、Agent几个方面进行了回顾。

本文择报告中的部分内容，供大家一起参考，如果每月形式的技术汇报感兴趣，欢迎加入社区，一起看看，共享每日早报、社区交流及每月线上分享等活动。

一、四月份大模型关键进展

4月份在开源侧，其实出现了多个关键事件，尤其是llama3的开源，后续延生出来的数十个llama3中文微调模型。

此外，在音乐生成方面，4月份也有一些动作，也出来了一些很有影响力的整理工作，此外，也有lecun一直以来对当前自回归模型的不同看法。

当然，在综述总结侧，四月份也涌现出了一些可以学习的综述性论文、开放课程等，涉及大模型自身理论与实践，多模态prompt等，这块有一些指引，

二、四月份RAG、Agent、KG等的一些有趣的话题

当前，RAG已经进入稳态，RAG与知识图谱相关的进展并不是很多，大多的工作还是集中在评估、方案集成的思想上，随着RAG的不断发展，对文档进行预处理的工作，也逐步受到关注，例如文档的版式分析、阅读顺序等。

当然，目前也延伸出来很多有趣的话题，比如RAG的长文本压缩、大模型到底理不理解图表，RAG中如何引入时间相关性、Agent的实现范式及角色定位、RAG中的文档处理具象化理解、RAG文档处理中的语义分割问题，RAG后续的演化方向、一些值得参加和关注的RAG竞赛等，可以有十多个有趣话题。

而特别的，对于Agent的进展，我们认为，其实际上是一种工程上的花活。

关于这块，早上看到一个很有意思的总结工作，来自https://mp.weixin.qq.com/s/kCXZN7Wli-RCvZXRb6mF7g，其对Agent的一些总结很到位，感兴趣的可以点击原文查看，会更有收获，图片及部分摘录如下：

1、Agent 的规划能力依赖于prompt 工程能力，它比想象中更重要、执行起来也更琐碎。

2、目前 LLM 的数学、逻辑推理能力在 COT 的基础上也仅能勉强达到及格水平，所以不要让Agent一次性做复杂的推理性规划工作，而是把复杂任务人工拆解后再教给Agent。

3、Agent 的 Action 能力强烈依赖于基座模型的 function calling 能力。在规划 Agent 之前，对模型的 function calling 能力要充分调研。

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

对于想加入更优质的知识图谱、事件图谱、大模型AIGC实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

更改ollama模型存储路径

2024-04-25

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

太强了！10大开源大模型！

2024-05-06

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

一、四月份大模型关键进展

二、四月份RAG、Agent、KG等的一些有趣的话题

关于我们

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

一、四月份大模型关键进展

二、四月份RAG、Agent、KG等的一些有趣的话题

关于我们

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10​大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！