Datasets for Large Language Models: A Comprehensive Surveyhttps://arxiv.org/pdf/2402.18041.pdf

论文探索了大型语言模型（LLM）数据集，它们在LLM的显著进步中扮演着至关重要的角色。数据集作为基础架构，类似于根系，支撑并培育LLM的发展。因此，对这些数据集的审查成为研究中的关键话题。为了解决目前缺乏对LLM数据集全面概述和深入分析的问题，并洞察它们的现状和未来趋势，从五个角度整合和分类了LLM数据集的基本方面：

（1）预训练语料库；

（2）指令微调数据集；

（3）偏好数据集；

（4）评估数据集；

（5）特定任务：传统的自然语言处理（NLP）数据集。

本篇综述的整体架构

论文还提供了现有可用数据集资源的全面回顾，包括来自444个数据集的统计数据，涵盖8种语言类别，跨越32个领域。从20个维度的信息被纳入数据集统计。调查的总数据量超过774.5 TB的预训练语料库和7亿实例的其他数据集。旨在呈现LLM文本数据集的整体景观，为该领域的研究人员提供全面的参考，并为未来的研究做出贡献。

一、预训练语料库

通用预训练语料库分类：网页、语言文本、书籍、学术材料、代码、平行语料库、社交媒体和百科全书。

特定领域预训练语料库分类：金融、医疗、法律、交通、数学。

论文还对14个代表性LLM的预训练语料库数据类型分布进行了统计分析。数据类型被归类为网页、对话数据、书籍与新闻、科学数据和代码等。

14个LLM使用的预训练语料库中数据类型的分布。每个饼图顶部显示LLM的名称，不同的颜色代表各种数据类型。

二、指令微调数据集

15个细分指令类别的总结：推理、数学、头脑风暴、封闭问答、开放问答、编码、提取、生成、重写、摘要、分类、翻译、角色扮演、社交规范以及其他。

三、偏好数据集

不同的偏好评估方法的原理示意

偏好数据集主要用于大型模型的对齐阶段，旨在帮助使模型的输出更紧密地与人类偏好和期望对齐。与人类偏好的对齐体现在三个方面：实用性，即遵循指令的能力；诚实性，避免编造；安全性，避免生成非法或有害信息。RLHF和RLAIF（从AI反馈中学习的强化学习）都采用强化学习方法，使用反馈信号来优化模型。除了使用指令数据集进行微调外，还可以使用偏好数据集训练奖励模型。随后，可以根据奖励模型的反馈应用近端策略优化（PPO）算法进行进一步微调。

偏好数据集信息的总结。公开与否：“All”表示完全开源；“Partial”表示部分开源。“许可证”表示该数据集遵循某种协议。如果该数据集是基于其他数据集构建的，那么源数据集的许可证也必须遵守。

四、评估数据集

评估数据集信息的总结。公开与否：“All”表示完全开源；“Partial”表示部分开源；“Not”表示不开源。“许可证”表示该数据集遵循某种协议。如果该数据集是基于其他数据集构建的，那么源数据集的许可证也必须遵守。

五、特定任务：传统的自然语言处理（NLP）数据集