AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


手机直接运行Llama 3,安卓苹果都可以用!
发布日期:2024-10-10 21:30:18 浏览次数: 1617 来源:陶人超有料


Meta在上周(9月26日)正式推出了 Llama 3.2 AI 模型,扎克伯格直接将其称为最强的端对端模型,正式开启了边缘人工智能和视觉革命的浪潮。

Llama 3.2 提供了多模态视觉和轻量级模型,代表了 Meta 在大型语言模型(LLMs)方面的最新进展,其中包括适合边缘和移动设备的中小型视觉 LLMs (11B 和 90B),以及轻量级纯文本模型(1B 和 3B),此外提供预训练和指令微调(instruction-tuned)版本。

Llama 3.2 模型总览

模型特性适用场景
Llama 3.2 90B Vision(文本 + 图像输入)擅长常识、长文本生成、多语言翻译、编码、数学和高级推理适合以下用例:图像标题、图像文本检索、视觉基础、视觉问题解答和视觉推理,以及文档视觉问题解答。
Llama 3.2 11B Vision(文本 + 图像输入)该模型在文本摘要、情感分析、代码生成和执行指令方面表现出色,并增加了图像推理能力。适合内容创建、对话式人工智能、语言理解和需要视觉推理的企业应用。
Llama 3.2 3B(文本输入)擅长文本摘要、分类和语言翻译任务适合以下用例:移动人工智能写作助手和客户服务应用。
Llama 3.2 1B(文本输入)最轻量级的模型适合边缘设备和移动应用程序的检索和摘要。该模型非常适合以下用例:个人信息管理和多语言知识检索。

将模型装进手机

想要在手机上体验上最新的模型能力,直接使用手机自身的算力,而不是单纯依靠远程AI数据接口调用,也已经有越来越多的解决方案出现,各种适配手机硬件条件的模型推理框架和应用也逐渐变得成熟!

在此之前,有推荐过一个部署H2O模型的手机APP,但是它只支持苹果端,而且模型数量也过于单一,没有办法体验到最新的Llama3.2.

那么这一次,为了解决上面遗留的问题,横空出世一款神级APP:PocketPal(下载地址在文末)

这是一款号称可以解锁AI力量的神器:使用Private AI Chat,无需互联网连接,直接在您的设备上与先进的AI模型互动、支持苹果和安卓、支持多个模型、满足用户与LLMs进行安全和私密的对话需求的终极应用。

1、模型下载

  • 如何使用:

(1)下载与安装:首先将APP下载到手机中,苹果支持直接从App Store下载应用并安装到您的设备上。

(2)下载模型权重:点开安装的APP可以看到一列可供下载的模型,请选择你想使用的模型,并且保持手机连接到互联网,从而下载所需的模型权重(GGUF格式,例如从Huggingface下载)。


2、模型参数配置

在下载好模型之后,如果没有特殊的要求,就可以直接开启跟模型的聊天了。

如果你想修改一下模型的推理参数,如推理的随机性、Token数据大小等,APP也是同样支持配置的。


3、开启聊天


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询