AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


谁才是真正懂大模型的背后?开源 > 闭源?
发布日期:2024-05-01 06:15:12 浏览次数: 1802


前言


李彦宏:差距在缩小,但可能永远追不上。


在科技的江湖中,每一次技术的革新都可能掀起一场武林大会。今年4月16号,百度CEO李彦宏在AI开发者大会上提出“开源模型会越来越落后”。这番言论,无疑在AI界引起了一场不小的风波。李彦宏的信心来自于百度的文心4.0模型,他声称这款模型在效果、响应速度和推理成本等方面,都比开源模型更胜一筹。但开源社区的大佬们,猎豹移动董事长兼CEO、猎户星空董事长傅盛等AI从业者似乎并不买账,他们认为开源的力量集百家之长,“开源模型终将超越闭源模型”。


所以,开源模型到底能否超越闭源模型?让我们从以下5个方面来聊聊。


01 创新速度,开源 > 闭源


开源模型,凭借其开放的特点,构建了一个广泛的协作网络。这种开放性不仅促进了知识的共享,还加速了技术的迭代。社区成员,包括研究者、开发者和爱好者等等,都能够参与到模型的改进中,提出新的点子,实现快速的创新循环。这种集体智慧的汇聚,使得开源模型能够迅速适应新的挑战和需求,不断进化以满足多样化的应用场景。而且,从长期来看,闭源模型的创新速度会受到限制,因为它们的发展依赖于单一实体的研发能力和资源分配,而这些资源可能是有限的。所以,开源模型由于其开放性,在迭代和创新方面强于闭源模型。



02 技术发展,开源 < 闭源 


闭源模型则代表了一种更为集中的创新模式。它们通常由单一的公司或团队控制,这使得它们能够集中资源和专业知识,在特定领域实现技术突破。闭源模型的这种集中化特点,使得它们在短期内能够快速推进技术发展,尤其在那些需要大量资金和资源投入的前沿领域。所以,闭源模型能在短期内集中资源实现快速的技术突破,在技术突破方面强于开源模型。


03 数据的多维度,开源 < 闭源



数据获取:


闭源模型通常由商业公司开发,这些公司可能拥有大量的用户数据和专有数据集,这为训练强大的模型提供了原材料。闭源模型的数据往往更集中,易于管理和控制。而开源模型则依赖于公共数据集或社区贡献的数据。虽然开源社区可以汇集广泛的数据资源,但数据的多样性和质量可能参差不齐。


数据规模:


闭源模型背后的公司有能力收集和处理大规模数据集,这有助于训练出泛化能力更强的模型。而开源模型虽然也能通过社区贡献积累大量数据,但数据的规模可能受限于社区的活跃度和参与度,且海量的数据处理能力较弱。


数据预处理和清洗:


闭源模型的团队有专门的数据科学家和工程师负责数据的预处理和清洗,以确保数据的质量和模型的训练效果。开源模型的数据处理可能更加依赖于自动化工具和社区成员的自愿贡献,这可能导致数据处理的标准化程度较低。


数据多样性:


开源模型可以从全球范围内的社区成员那里获得多样化的数据,这有助于提高模型的泛化能力和适应性。闭源模型的数据可能局限于特定地区或特定类型的用户,这可能影响模型在其他场景下的适用性。


数据隐私和合规性:


闭源模型在处理数据时可能更加注重隐私保护和合规性,因为它们受到公司政策和法律法规的约束。开源模型在数据隐私和合规性方面可能面临更多挑战。


综上,在数据驱动的AI领域,闭源模型得益于商业公司的数据资源,能够集中管理大量、高质量的数据,且在数据预处理和清洗上更为专业和标准化,有助于训练出泛化能力强的模型,然而,闭源模型则在数据多样性上不占据优势。但是,从数据的多维度分析,闭源模型总体上还是强于开源模型。


04 通用性即泛化能力,开源 < 闭源


就通用性而言,闭源模型背后通常都是大公司,这些公司能够集中大量资源进行研发,从而在模型的泛化能力上取得优势。闭源模型也经过精心设计,能够在多种不同的任务和场景中表现出较好的性能,类似于一个“全能战士”。


05 专业性即创新能力,开源 > 闭源


当我们聚焦于特定专业领域时,开源模型展现出了其独特开放性,特别是在那些快速发展且需要快速迭代的领域,如自然语言处理、计算机视觉等,开源模型能够迅速吸收和整合最新的研究成果,推动技术的快速发展。


此外,开源模型在专业领域的另一个优势是其高度的可定制性。用户可以根据自己的具体需求对模型进行调整和优化,使其更贴合特定应用场景的需求。这种灵活性是闭源模型难以比拟的。值得注意的是,一些代表开源的初创公司在特定领域展现出了极高的创新能力。这些公司通常由领域内的专家领导,他们凭借对特定技术的深刻理解和敏锐的市场洞察,能够快速响应市场变化,推出创新的解决方案。这种创新能力在某些情况下甚至超过了资源更为丰富的闭源模型。


最后,评估模型性能的权威平台是“大模型竞技场”(LLM Arena),该平台借鉴了国际象棋界广泛使用的ELO评分系统。其评分机制基于一个简单而直观的原则:用户向参与评分的匿名模型(如ChatGPT、Claude、Llama等)提出问题,随后根据回答质量进行投票,选择他们认为更佳的答案。依据用户投票的结果,表现更优的模型将获得相应的积分。模型的最终排名取决于它们累积积分的多少。LLM Arena通过这种方法,汇集了50万用户的投票反馈,为大模型的性能提供了一个客观、民主的评估。从绝对排名上看,闭源模型仍然遥遥领先开源模型。


大模型排行榜 图源:LLM Arena


在以上5个方面的比较中,开源模型和闭源模型各有所长,主要取决于我们的应用场景。如果非要做一个选择的话,我认为闭源模型更加牛,因为大模型的能力非常取决于高质量的数据,而高质量的数据确实闭源派背后的大公司所拥有的。



未来已来,将至已至!


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询