微信扫码
与创始人交个朋友
我要投稿
Meta于7月23日发布Meta Llama 3.1 405B,并认为这是世界上最大、功能最强大的开源基础模型。顶级开源模型Llama 3.1 405B的上下文长度扩展到了 128K、支持八种语言,在常识、可操纵性、数学、工具使用和多语言翻译等方面可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。
针对公众关注的Llama 3.1 405B的中文性能问题,作为专业第三方测评机构SuperCLUE选取了中文推理相关的核心任务进行了深入测评。具体来说,我们采用了中文数学多步推理测评基准(SuperCLUE-Math6,含2024题)和中文等级化代码单元测试基准(SuperCLUE-Code3,包含1560个测试用例),对Llama 3.1 405B在数学和编程方面的能力进行了全面评估。
先说结论
结论1:在完成SuperCLUE推理任务时,Llama 3.1 405B的整体得分为88.44,超过GPT-4 Turbo,仅次于GPT-4o,暂据排行榜第二。
结论2:Llama 3.1 405B在SC-Math6数学基准上得分91.19分,判定为推理等级5,与GPT-4o相比仅有0.58分的差距,领先其他模型。
结论3:Llama 3.1 405B在SC-Code3代码基准上得分69.68分,接近70分,较GPT-4 Turbo略高(0.11分),与GPT-4o有一定差距(2分)。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
突发!GPT-4o 级语音 Moshi 开源!
2024-09-19
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
2024-09-19
通义千问Qwen2.5开源,媲美Llama3.1-405B
2024-09-19
Qwen 2.5 开源,API 打一折
2024-09-18
OpenAI o1的开源平替版self-replay RL来了!
2024-09-18
Y Combinator 投资的开源 Cursor 替代品来了!
2024-09-18
OpenAI o1式思维链,开源模型也可以有,成功案例来了
2024-09-17
国外Agent产品如何?全面比较AutoGPT与AI Agent
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-08
2024-07-25
2024-07-11
2024-07-25
2024-07-18
2024-06-16