微信扫码
与创始人交个朋友
我要投稿
1. **模型简介**:
- Index-1.9B系列是轻量级的语言模型。
- 包含`Index-1.9B base`、`Index-1.9B pure`、`Index-1.9B chat`和`Index-1.9B character`等模型。
- 模型已在HuggingFace和ModelScope上开源。
2. **预训练**:
- 模型在2.8T的数据上训练,涵盖中英文等多种语言。
- 数据经过清洗,包括避免偏置和去重。
- 使用SentencePiece训练BPE Tokenizer,特别针对中文进行了优化。
3. **模型架构**:
- 与主流的Decoder-Only Transformer模型一致,进行了一些调整,如更深的模型层数(36层)和Norm-Head机制。
4. **训练过程**:
- 使用AdamW优化器,两阶段训练策略(Stable和Decay阶段)。
- 训练基建使用了自研训练框架和华为昇腾910B卡。
5. **评测**:
- 使用OpenCompass框架进行评测,包括综合性选择题、理解和推理、数学和代码评测。
6. **讨论和实验**:
- 探讨了模型结构、学习率、预训练中是否加入指令等因素对模型性能的影响。
- 进行了消融实验,分析了不同组件对模型性能的贡献。
7. **对齐**:
- 通过SFT(Supervised Fine-Tuning)和DPO(Direct Preference Optimization)进一步优化模型,以符合人类偏好。
8. **角色扮演**:
- 利用RAG(Retrieval-Augmented Generation)技术,实现few-shot角色扮演定制。
9. **局限性**:
- 尽管采取了合规性检测,但模型可能存在未预料到的问题,使用时需注意潜在风险。
以上由Kimi总结,0 shot。原文档字有点小,凑合看吧。在公众号后台回复“B站”获取原文档。
//
END.
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-20
基于大模型的自适应故障场景监控探索
2024-09-20
OpenAI携手T-Mobile,AI客户体验新时代到来了
2024-09-20
37手游在 AI 智能分析的探索
2024-09-20
用 Cursor AI 30分钟内打造汉字临摹模板生成器
2024-09-20
一文带您解锁鸿翼OpenContent 智能文档云V8的六大AI应用场景
2024-09-20
智能对决:提示词攻防中的AI安全博弈
2024-09-20
斯坦福重磅,突破小规模语料瓶颈,EntiGraph合成数据增强算法让LLM更聪明
2024-09-20
HippoRAG:模拟大脑记忆思索机制的 RAG
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2023-07-01
2024-07-25
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-20