AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


360智脑开源7B大模型,支持360k(50万字)长文本输入
发布日期:2024-06-02 12:45:00 浏览次数: 1765


前言

360公司正式开源了自研的7B参数大模型"360智脑"系列,包括基础模型和支持4K、32K、360K三种不同长度上下文的聊天模型。其中,最长可支持360K(约50万字)的长文本输入,这在开源大模型中极为罕见。

360智脑7B系列模型不仅开源了模型权重,连同微调训练代码、推理部署代码等工具链一并开放给开发者使用,真正做到了"开箱即用"。

  • Huggingface模型下载:https://huggingface.co/qihoo360

  • AI快站模型免费加速下载:https://aifasthub.com/models/qihoo360

强大的性能表现

根据OpenCompass的综合评测,360智脑7B大模型在同等参数的模型中位居前三,在C-Eval、MMLU、HellaSwag、LAMBADA等多个单项能力测试中更是拔得头筹,展现出了卓越的中英文知识和推理理解能力。

即便面对"弱智吧"等恶意测试,360智脑7B大模型也能清晰、从容地应对,充分彰显了其强大的语言理解实力。

领先的长文本处理能力

在长文本处理能力方面,360智脑7B大模型在LongBench评测中取得了同等参数模型中的最高分。不仅如此,在中英文360K长文本理解测试中,其准确率也均超过了98%。

这得益于360团队在模型设计上的创新。他们摒弃了传统的滑动窗口attention、跳跃attention等有损压缩方法,转而采用了全新的超长文本无损压缩技术。这确保了模型在处理长文本时能最大限度地保留原始信息,从而实现高效的长文本理解。

这项突破性技术的应用,使得360智脑7B大模型成为目前开源领域中支持最长文本输入的模型,最长可达360K(约50万字),相当于可以在3秒内阅读完《三体》全书。

结论

总的来说,360公司开源360智脑7B大模型,不仅彰显了其技术实力,更代表了一种积极开放的姿态。这不仅促进了AI领域的技术进步,也为各行业带来了新的可能性,值得期待。

模型下载

HuggingFace

https://huggingface.co/qihoo360

AI快站模型免费加速下载

https://aifasthub.com/models/qihoo360



往期好文推荐


  1. Hugging Face模型下载:国内如何高效应对?

  2. 腾讯开源首个中文原生文生图模型Hunyuan-DiT,15亿参数、中英双语支持,消费级单卡可推理

  3. 英伟达发布 VILA 视觉语言模型,实现多图像推理、增强型上下文学习,性能超越 LLaVA-1.5

  4. Gemma-2B-10M:32GB显存运行20亿参数模型,高效处理千万级上下文长度,Transformer长文本处理新突破

  5. 英伟达发布AM-RADIO高效视觉基础模型,推理速度提升6倍,性能超CLIP、DINOv2、SAM


???关注微信公众号,获取最新大模型资讯!


?欢迎加我微信,加入技术交流群
同步获取高达4M/s的模型加速下载通道!


你的点赞,是我持续更新的动力。      



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询