微信扫码
与创始人交个朋友
我要投稿
阿联酋-阿布扎比技术创新研究所(TII)在官网宣布,开源全新大模型Falcon 2。
Falcon 2有110亿参数共有两个版本,一个是高效、易于部署的基础模型,使用了5.5万亿tokens数据进行预训练,可以生成文本、代码、总结内容等。
另外一个是带有视觉转换功能的VLM模型,可以将图片的信息转换成文本数据,也是极少数支持视觉转换的开源大模型。
开源地址:https://huggingface.co/tiiuae/falcon-11B
TII表示,在多个维权测试排行榜中显示,Falcon 2 11B的性能超越了Meta新推出的Llama 3 8B,并与Google的Gemma 7B并列第一(Falcon 2 11B:64.28 对比 Gemma 7B:64.29)。
多语言能力方面,Falcon 2 11B能轻松处理英语、法语、西班牙语、德语、葡萄牙语等多种语言的任务,增强了其多样性和跨场景的有效性。
而Falcon 2 11B VLM作为视觉大模型,能够识别和解读环境中的图像和视觉内容,在医疗保健、金融、电商、教育和法律等行业有广泛的应用潜力,包括文档管理、数字存档、情境索引以及支持视障人士等。
训练数据方面,Falcon 2 11B在其构建的开源数据集RefinedWeb,使用了超过5.5万亿的Tokens数据进行了预训练。
RefinedWeb是一个高质量、经过过滤和去重的网络数据集,TII通过精选语料对其进行了增强,并使用了四阶段的训练策略。
前三个阶段专注于增加上下文长度,从2048个tokens增加到4096个,最后增加到8192个tokens。最后一个阶段的目标是仅使用高质量数据进一步提高性能。
Falcon 2在 1024个A100 40GB GPU上训练了大约2个月的时间。
值得一提的是Falcon 2是一款性能强,消耗低的大模型仅需一个GPU即可高效运行,使其高度可扩展,易于部署并集成到笔记本电脑等轻量级设备中。非常适用于中小企业和个人开发者,并且允许进行商业化使用。
TII人工智能跨中心部门执行主任及代理首席研究员Dr. Hakim Hacid表示,随着生成式AI的技术演进,开发者认识到小型带来的诸多优势。
除了减少计算资源需求并满足可持续性标准外,这些模型还提供了增强的灵活性,能无缝融入边缘AI基础设施这一新兴大趋势中。我们开源的Falcon 2便是一款消耗低且性能强的模型,并且融合了领先的视觉解读能力。
早在2023年5月25日,TII首次开源了Falcon-40B大模型,曾在huggingface的开源大语言模型排行榜中位列第一名,击败了LLaMa 65b、GPT4-X-Alpasta-30b、StableLM、RedPajama、LLaMa 30b等一系列著名开源模型成为一匹黑马。
Falcon-40B在1万亿tokens数据集上进行训练,可用于文本问答、总结摘要、自动生成代码、语言翻译等,支持特定业务场景微调。在斯坦福大学的HELM LLM基准测试中,Falcon-40B比GPT-3、 Chinchilla AI、PaLM-62B等知名大语言模型的算力消耗低更低,性能却更出色。
关于TII
TII 成立于2020年,是阿布扎比高等教育和科技部 (ADEK) 旗下的研究机构。TII 的目标是推动科学研究、开发前沿技术并将其商业化,以促进阿布扎比和阿联酋的经济发展。
TII 目前拥有来自 74个国家的800多名研究专家,发表了 700 多篇论文和 25 多项专利,是世界领先的科学研究机构之一。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-22
花60元,DIY了一个AI机器人,能聊天,会认人……
2024-12-21
基于AI智能助理的软件开源组件安全检查
2024-12-21
Llama2024年度要点总结
2024-12-21
重磅! Github Copilot 免费了
2024-12-20
万字长文帮你搞定AI Agent选型
2024-12-20
微软开源的 Markitdown 可将任意文件转换为 Markdown 格式,PDF 解析咋样?
2024-12-20
Claude的MCP(模型上下文协议)简介
2024-12-20
历时2年,华人团队力作,震撼开源生成式物理引擎Genesis,可模拟世界万物
2024-05-06
2024-07-25
2024-08-13
2024-06-12
2024-07-11
2024-06-16
2024-07-20
2024-09-20
2024-06-15
2024-07-25
2024-12-20
2024-12-19
2024-11-22
2024-11-19
2024-11-13
2024-11-13
2024-10-07
2024-09-22