AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


下载使用教程
发布日期:2024-04-27 19:14:13 浏览次数: 1966 来源:学术Fun


MobiLlama:手机上运行的大语言模型整合包,会骂人!

在大型语言模型(LLMs)的发展中,"越大越好"一直是主导趋势。然而,LLMs并不适合需要在设备上处理、能源高效、内存占用小和响应效率高的场景。这些要求对于隐私、安全和可持续部署至关重要。我们的主要贡献是推出了一个精确且完全透明的开源0.5亿(0.5B)参数SLM,名为MobiLlama,专门满足资源受限计算的特定需求,并强调在减少资源需求的同时提升性能。

手机运行使用如下,能读懂中文,还会骂人,别看他小,还挺凶。

在手机上运行速度也很快,基本上有7 token/s,能够实时进行交流,基准测试结果如下。

学术Fun将APK文件和模型制作成整合包,方便大家安装使用,下载地址:https://xueshu.fun/3928/,在此页面右侧区域点击下载!

注意配置如下

  • 安卓系统

下载使用教程

  • 下载压缩包 下载地址:https://xueshu.fun/3928/,在此页面右侧区域点击下载!

  • 解压,最好不要有中文路径,解压后,如下图所示,apk为安装文件,gguf为模型文件

  • 把上面两个文件导入手机后,安装apk文件成功后,界面如下
  • 选择Model,点击Load GGUF从手机上选择上面的模型文件,加载后即可进行对话



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询