微信扫码
添加专属顾问
我要投稿
蚂蚁集团开源Ling-Coder-Lite,AI代码大模型新突破。 核心内容: 1. 代码大模型在编程效率和可能性的重定义 2. MoE架构提升代码大模型性能与效率 3. Ling-Coder-Lite开源,支持多语言和多任务场景
随着人工智能技术的飞速发展,代码大语言模型(Code LLM)正在成为开发者工具链中的重要组成部分。从代码补全到错误修复,从多语言支持到复杂任务的自动化处理,代码大模型正在重新定义编程的效率和可能性。
本次发布关键总结如下:
模型和数据集开源:2 个轻量级代码大模型 Ling-Coder-Lite 和 Ling-Coder-Lite-Base 已在 Hugging Face 与 ModelScope 开源 。同时,蚂蚁集团开源用于退火训练的 SyntheticQA、用于后训练 SFT(Supervised Fine-tuning)和 DPO(Direct Preference Optimization)共计约 3000 万条数据(图 1(a)),支持社区进一步研究和开发。
技术细节公开:本次开源同步发布技术报告,公开更多关于高质量训练代码数据集构建方法,以及训练中数据分阶段混合配比策略的细节,助力行业共同推进代码大模型研究。
效率与效果平衡升级:基于 Ling-MoE 架构,Ling-Coder-Lite 总参数量为 16.8B,推理时激活参数仅为 2.75B ,同时兼顾了更高效率和更好效果。
多语言和多任务支持:Ling-Coder-Lite 支持 Python、Java、C++、JavaScript 等数十种常用编程语言,在 MultiPL-E 和 MBXP 等多语言基准测试中表现优秀;除简单的和多语言的代码生成之外,还支持竞赛类和应用类高级代码生成、代码理解和输入输出推理、数据科学和 SQL 类数据分析、代码修复等多个任务场景。
模型效果
在 12 个代码基准测试中,Ling-Coder 的表现和类似尺寸最佳模型(Qwen2.5-Coder-7B)不相上下(12 个中 7 个胜出),领先于 OpenCoder-8B 和 DeepSeek-Coder-V2-lite,具体参见图 1(b); 推理效率比 Qwen2.5-Coder-7B 快 1.5X~2X(图 1(c)),特别适合需要低延迟响应的场景,如 AI-IDE 中的代码补全。实际内部使用中,Ling-Coder-Lite 在相同延迟设定下,比此前基于 dense 架构的类似尺寸模型节省一半部署资源。
探索 Markdown 的奇妙世界
图 1: Ling-Coder-Lite 开源数据、模型代码能力及理论推理效率
未来,我们计划在多个维度上继续优化 Ling-Coder-Lite,包括:
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-28
Spring-ai-Alibaba整合QwQ_32b
2025-04-28
程序员狂喜!DevDocs:开源AI文档神器,自动抓取+整理+喂给AI (MCP加持)
2025-04-28
DeepWiki深度探索:驾驭代码复杂性的AI百科全书
2025-04-28
Agent S2:像人一样操作 GUI,开源 AI 智能体新突破
2025-04-28
杨植麟再掀 AI 风暴!Kimi-Audio 如何让机器听懂人类 “弦外之音”?
2025-04-27
一文了解Text Embedding模型:从text2vec、openai-text embedding到m3e、bge(下)
2025-04-27
精选MCP服务器列表
2025-04-27
Google ADK框架:打造多智能体系统的开源利器
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-28
2025-04-21
2025-04-19
2025-04-17
2025-04-15
2025-04-13
2025-04-10
2025-04-07