粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
Apollo是一个轻量级多语言医疗大型语言模型（LLM），旨在将医疗人工智能（AI）的进步扩展到全球61亿人口。Apollo项目包括创建多语言医疗数据集ApolloCorpora和基准测试XMedBench。
Apollo概述
Apollo模型在多语言医疗基准测试中表现出色，尤其是在相对较小的模型规模（0.5B、1.8B、2B、6B和7B）中，实现了与同等规模模型相比的最佳性能。特别是Apollo-7B，是70B的最先进的多语言医疗LLM。
Apollo训练细节：
训练小型模型的初衷（Training the Small Model）：
Apollo项目旨在训练小型模型，以便在医疗设备上进行离线推理，提高医疗人员的工作效率。
小型模型对于计算资源有限的研究人员来说非常友好，有助于推动该领域的探索和新问题的提出。
训练方法（Training Method）：
Apollo项目采用了一种新的方法，将预训练语料库重写为问答对（QA pairs），以减轻继续预训练可能对模型问答能力造成的损害。
项目还采用了优先采样（priority sampling）方法，以实现继续预训练和指令调优（Instruction Tuning）之间的平滑过渡。
训练设置（Training Settings）：
预训练语料库的数据项优先级设置为16，指令调优阶段的数据项优先级设置为2。
模型训练的批量大小（Batch size）设置为256，学习率（learning rate）设置为1e-4，余弦调度器（Cosine scheduler）的预热率（warm up rate）设置为0.03。
Apollo模型在大型模型中的应用
通过代理调优（Proxy Tuning）来提升大型模型的多语言医疗能力。
Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B Peoplehttps://arxiv.org/pdf/2403.03640.pdfhttps://github.com/FreedomIntelligence/Apollohttps://apollo.llmzoo.com/#/
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-02-23
Tokens是啥？为啥大模型按Tokens收费？和API调用、订阅收费区别？
2025-02-23
Multi-Agent如何设计
2025-02-23
大语言模型（LLM）正在重构数字时代的底层逻辑
2025-02-23
一键部署DeepSeek-R1等1700+顶级AI大模型，这个神器太强了！
2025-02-23
我本运维，却用Cursor为公司开发了两套系统
2025-02-23
DeepSeek背后的技术基石：MoE、数据并行与模型并行全解析
2025-02-23
DeepSeek 背后的数学：GRPO
2025-02-23
一个 DeepSeek 倒了，千千万万个 DeepSeek 又站起来了？！
2024-08-13
2024-06-13
2024-09-23
2024-08-21
2024-05-28
2024-08-04
2024-04-26
2024-07-31
2024-07-09
2024-09-17
2025-02-23
2025-02-22
2025-02-22
2025-02-22
2025-02-22
2025-02-21
2025-02-20
2025-02-19
回到顶部