粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
亮点：
4.7T tokens 的中文+英文清洗后语料
扫描PDF 转 Markdown 的工作流，可以识别图片、表格和公式！！！
中英文的预训练数据处理 Pipeline，拿来即用～
最终的 7B 预训练模型以及预训练阶段、Decay阶段、scalinglaw测试中全部的 ckpt 方便进行研究。
开源链接：
模型地址：https://huggingface.co/collections/m-a-p/neo-models-66395a5c9662bb58d5d70f04
Github：https://github.com/multimodal-art-projection/MAP-NEO
数据集：https://huggingface.co/datasets/m-a-p/Matrix
Neo 是第一个完全透明的双语大型语言模型，具有完全开源的预训练语料库、数据处理管道、由 Megatron-LM 修改的训练框架、中间 ckpt 和用于研究缩放规律的相对较小的 ckpt。Matrix 是一个 4.7 万亿个 token 的直接可采用预训练语料库，它经过了严格的启发式规则过滤和重复数据删除。
Neo 在推理、数学、代码和中文指标上的表现明显更好，如下所示：
三、数据处理pipeline
1.英文过滤管道
2. 中文过滤管道
3. 文档转换管道
4. 复现 deepseek-math 管道
受到从 DeepSeekMath 收集数学数据的过程的启发，我们设计了一个迭代管道，使用 Common Crawl 从特定领域获取大规模、高质量的数据。这些字段包括 math、K12 和 wiki。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-04-12
2024-05-28
2024-05-14
2024-04-25
2024-07-18
2024-04-26
2024-08-13
2024-12-22
2024-12-21
2024-12-21
2024-12-21
2024-12-21
2024-12-20
2024-12-20
2024-12-19
回到顶部