论文题目：Large Language Models: A Survey论文链接：https://arxiv.org/pdf/2402.06196.pdf

这篇综述由Word2Vec的作者Tomas Mikolov等大佬出品，对大语言模型（LLMs）进行一个全面的概述、回顾与分析（每一个模块都很干货，其中第四部分对如何构建一个LLM做了全景图概述，独一份），以下是论文的主要内容概要：

1、介绍了语言建模的历史背景，从统计语言模型到神经网络模型，再到预训练语言模型和LLMs的发展。

流行语言模型类型：Encoder-Only、Decoder-only、Encoder-Decoder 、GPT Family、LLaMA Family 、PaLM Family、Other Popular LLMs

一些流行语言模型的高级概述

2、LLMs的兴起：讨论了通过在大规模文本数据上训练数十亿参数的LLMs，展现出强大的语言理解和生成能力。

大模型的强大能力矩阵

• 基础能力：编码（Coding）、理解（Comprehension）、世界知识（World knowledge）、多语言（Multilingual）。
• 进阶能力：指令遵循（Instruction following）、上下文学习（In-context learning）、推理（Reasoning）。
• 聚合能力：与用户进行交互（Interacting with users）、工具利用（Tool utilization）、自我改进（Self-improvement）。

3、LLMs家族：详细回顾了三个主要的LLMs家族：GPT、LLaMA和PaLM，以及它们的模型特性、贡献和局限性。

三个主要的LLM家族

4、构建LLMs：探讨了构建LLMs的关键技术，包括数据准备、模型架构、预训练、微调和指令调优。

一些最具代表性的大型语言模型（LLM）框架的时间线

LLMs全景图、训练和运行过程：

1. LLM架构（LLM Architectures）：这部分展示了LLMs的三种主要架构类型：

• 编码器-仅（Encoder-Only）：这类模型专注于理解输入文本的上下文，适用于文本分类、命名实体识别等任务。

• 解码器-仅（Decoder-Only）：这些模型专注于文本生成任务，如文本续写或翻译。

• 编码器-解码器（Encoder-Decoder）：这类模型结合了编码器和解码器，适用于需要理解输入并生成输出的任务，如摘要、翻译或问答。

如何构建LLMs全景图

5、LLMs的应用：描述了如何使用和增强LLMs，包括LLM局限性、Prompt工程、RAG、工具利用和LLM智能体。

LLMs如何使用和增强

6、数据集和基准：回顾了用于LLMs训练、微调和评估的流行数据集，广泛使用的评估指标，以及大语言模型（LLMs）分类方式。

用于评估和训练大型语言模型（LLMs）的各种数据集及其应用：基本任务数据集、新兴能力数据集、增强能力数据集

LLMs评常见分类方式：参数规模（小型、中型、大型、超大型）、类型（基础、指令、聊天模型）、起源（原始、微调）、可用性（开/闭源）

7、提供了LLMs开发和部署的开源工具和资源列表：

A. LLM训练/推理框架（LLM Training/Inference Frameworks）：

• DeepSpeed：一个优化库，简化了分布式训练和推理，支持大规模语言模型。

• Transformers：由HuggingFace提供的库，包含数千个预训练模型，适用于文本、视觉和音频任务。

• Megatron-LM：NVIDIA开发的高效、模型并行的Transformer模型。

• BMTrain：一个高效的大型模型训练工具包，支持分布式训练。

• GPT-NeoX：基于Megatron-DeepSpeed库，提供更高的可用性和优化。

• LoRA：支持大型语言模型的低秩适应，减少可训练参数数量。

• ColossalAI：提供分布式深度学习模型的并行组件。

B. 部署工具（Deployment Tools）：

• FastChat：一个开放平台，用于训练、服务和评估基于LLM的聊天机器人。

• Skypilot：一个框架，用于在任何云上运行LLMs、AI和批处理作业。

• vLLM：一个快速且易于使用的LLM推理和服务库。

• text-generation-inference：一个部署和服务于LLMs的套件。

• LangChain：一个框架，用于开发由语言模型驱动的应用程序。

• OpenLLM：一个开源平台，用于在现实世界应用中部署和操作LLMs。

• Embedchain：一个开源RAG框架，简化了AI应用的创建和部署。

• Autogen：一个框架，允许使用多个代理来解决任务。

• BabyAGI：一个自主AI代理，基于给定目标生成和执行任务。

C. 提示库（Prompting Libraries）：

• Guidance：一种编程范式，提供优于传统提示和链接的控制和效率。

• PromptTools：一套开源工具，用于实验、测试和评估LLMs、向量数据库和提示。

• PromptBench：一个基于PyTorch的Python包，用于评估LLMs。

• Promptfoo：一个测试和评估LLM输出质量的工具。

D. 向量数据库（VectorDB）：

• Faiss：由Facebook AI Research开发的库，用于高效相似性搜索和聚类。

• Milvus：一个开源向量数据库，用于支持嵌入相似性搜索和AI应用。

• Qdrant：一个向量相似性搜索引擎和向量数据库。

• Weaviate：一个基于GraphQL的向量搜索引擎，支持高维数据的相似性搜索。

整体而言，这篇论文为读者提供了一个关于LLMs的深入视角，包括它们的技术细节、应用案例、性能评估以及未来的研究方向。