本报告汇总整理了 2024 年 5 月 20 日至 2024 年 10 月 7日期间，AI 大模型领域最新的模型、项目研究以及重要文章，并对关键内容进行了提炼和分析。

一、 重点概览

1. 开源模型井喷，"小而美" 成为新趋势

这段时间，开源社区持续活跃，涌现出众多高质量的开源模型，涵盖了语言模型、多模态模型、代码模型等多个方向。其中，“小而美” 的轻量级模型，例如 MiniCPM、Mistral、Gemma 等，凭借其低成本、易部署等优势，逐渐成为新的发展趋势，挑战着传统大模型的市场地位。

• 微软开源多模态模型： Florence-2 视觉模型、Kosmos-2.5 文字识别模型。

• 谷歌开源轻量级模型： Gemma 系列模型，主打高效、易部署。

• 阿里开源多模态模型： Qwen2-VL 视频理解模型，支持超长视频理解。

• Meta 开源 Llama3 系列模型: 不断迭代升级，参数规模持续扩大。

• Mistral 主攻轻量级模型： Mistral-Large-Instruct-2407、Pixtral 12B 等，性能优异，备受关注。

  ‍
  

2. RAG 及 Agent 技术持续发展，应用落地加速

RAG（Retrieval Augmented Generation）和 AI Agent 作为大模型应用的热门方向，持续受到学术界和工业界的关注。这段时间，GraphRAG 成为新的研究热点，相关论文和开源项目不断涌现。AI Agent 方面，出现了更多侧重于实际应用的案例和框架，例如腾讯的 Chat BI 平台 SuperSonic、微软的 Windows Agent Arena 等。

• GraphRAG 成为 RAG 研究新方向： GraphRAG 将图数据与 RAG 技术结合，提升大模型处理复杂数据的能力，相关研究成果和开源框架不断涌现，例如微软的 GraphRAG、阿里巴巴的 Vector | Graph 等。

• AI Agent 应用落地加速： 开发者积极探索 AI Agent 的应用场景，例如腾讯文档 AI 助手、开源 Text-to-SQL 引擎 WrenAI 等，展现出巨大的应用潜力。

• AI Agent 框架不断完善： 出现了更多功能完善的 AI Agent 框架，例如 Meta 的 Llama-Agentic-System、微软的 Windows Agent Arena 等，为开发者提供更便捷的开发工具。

  ‍

3. 大模型推理优化成为关注焦点

随着大模型参数规模的不断扩大，推理成本和延迟问题日益突出。这段时间，学术界和工业界都在积极探索大模型推理优化的新技术和方案，例如模型量化、模型压缩、分布式推理等。同时，也涌现出一些专注于大模型推理服务的平台和工具，例如英伟达的 NIM 推理微服务、BentoML 团队的 llm-bench 等。

• 模型量化和压缩技术发展迅速： 加州大学伯克利分校推出的 KVQuant 量化技术，能够将 LLM 内存占用大幅降低，为大模型在资源受限设备上的部署提供了新的可能性。

• 分布式推理成为重要趋势： 分布式推理技术可以将大模型的推理任务分解到多个计算单元上并行执行，从而提高推理速度。相关技术和框架不断涌现，例如微软的 Deepspeed、英伟达的 Megatron 等。

• 大模型推理服务平台兴起： 专业的推理服务平台可以帮助开发者更便捷地部署和管理大模型，例如英伟达的 NIM 推理微服务、阿里云的 PAI-EAS 等。

  ‍

4. AI 芯片领域竞争激烈，国产芯片厂商崭露头角

大模型的训练和推理需要强大的算力支撑，这也推动了 AI 芯片领域的快速发展。英伟达凭借其 GPU 产品在市场上占据主导地位，但其他厂商也在积极追赶，例如 AMD、谷歌、Meta 等。国内 AI 芯片厂商也取得了一定的进展，例如华为昇腾、寒武纪等，在部分领域展现出一定的竞争力。

• 英伟达持续领先： 英伟达发布的新一代 H200 GPU 性能强劲，并推出了 NIM 推理微服务等软件平台，进一步巩固其市场地位。

• 竞争对手积极追赶： AMD、谷歌、Meta 等公司都在积极研发 AI 芯片，并推出了相应的软件生态系统，试图挑战英伟达的市场地位。

• 国产芯片厂商崭露头角： 华为昇腾、寒武纪等国产 AI 芯片厂商，在性能和生态建设方面取得了一定的进展，部分产品已开始在一些领域得到应用。

  ‍

二、 主要观点

• 大模型技术仍处于快速发展阶段，开源生态日益繁荣。

• RAG 和 AI Agent 是大模型应用的热门方向，未来将涌现出更多创新应用。

• 大模型推理优化是当前面临的主要挑战之一，相关技术和方案仍需不断探索。

• AI 芯片市场竞争激烈，国产芯片厂商需不断提升产品性能和生态建设能力。

  ‍

三、 未来展望

• 多模态大模型将成为未来的发展趋势，并推动 AI 应用场景的进一步扩展。

• AI Agent 技术将更加成熟，并催生出更多颠覆性的应用场景。

• 大模型推理成本将进一步降低，推理速度将进一步提升，从而推动大模型在更多场景的落地应用。

• AI 芯片领域将涌现出更多新的技术和产品，国产 AI 芯片厂商将迎来更大的发展机遇。

‍

说明：作者使用了Google notebooklm对收集的数据进行总结提炼。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍