微信扫码
添加专属顾问
我要投稿
Apollo是一个轻量级多语言医疗大型语言模型(LLM),旨在将医疗人工智能(AI)的进步扩展到全球61亿人口。Apollo项目包括创建多语言医疗数据集ApolloCorpora和基准测试XMedBench。
Apollo概述
Apollo模型在多语言医疗基准测试中表现出色,尤其是在相对较小的模型规模(0.5B、1.8B、2B、6B和7B)中,实现了与同等规模模型相比的最佳性能。特别是Apollo-7B,是70B的最先进的多语言医疗LLM。
Apollo训练细节:
训练小型模型的初衷(Training the Small Model):
Apollo项目旨在训练小型模型,以便在医疗设备上进行离线推理,提高医疗人员的工作效率。
小型模型对于计算资源有限的研究人员来说非常友好,有助于推动该领域的探索和新问题的提出。
训练方法(Training Method):
Apollo项目采用了一种新的方法,将预训练语料库重写为问答对(QA pairs),以减轻继续预训练可能对模型问答能力造成的损害。
项目还采用了优先采样(priority sampling)方法,以实现继续预训练和指令调优(Instruction Tuning)之间的平滑过渡。
训练设置(Training Settings):
预训练语料库的数据项优先级设置为16,指令调优阶段的数据项优先级设置为2。
模型训练的批量大小(Batch size)设置为256,学习率(learning rate)设置为1e-4,余弦调度器(Cosine scheduler)的预热率(warm up rate)设置为0.03。
Apollo模型在大型模型中的应用
通过代理调优(Proxy Tuning)来提升大型模型的多语言医疗能力。
Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B Peoplehttps://arxiv.org/pdf/2403.03640.pdfhttps://github.com/FreedomIntelligence/Apollohttps://apollo.llmzoo.com/#/
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-27
一文了解Text Embedding模型:从text2vec、openai-text embedding到m3e、bge(上)
2025-04-27
RollingAI创始人刘开出席2025年中国绿公司年会,解读AI商业化落地新思维
2025-04-27
一文讲透 MCP 与 Function calling,你想看的都在这里
2025-04-27
混合专家 (MoE) 架构:现代大模型的“秘密武器”
2025-04-27
一文了解:大模型 Agent 开发框架有哪些?它们的区别是什么?
2025-04-27
大模型应用系列:两万字解读MCP
2025-04-27
一篇文章说清楚什么是生成式AI、决策式AI、判别式AI
2025-04-27
字节Trae 大更新,5分钟看懂AI生成的“神秘代码块”
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17