微信扫码
与创始人交个朋友
我要投稿
优点: 可以在手机上安装 Termux,然后通过该工具安装 Linux 系统,并下载和运行大模型(如 Ollama、Llama 3和Phi-3等)。
缺点: 安装过程复杂,涉及大量命令行操作,需要在终端中进行设置和使用,使用体验差,适合技术专家或开发者。
具体安装过程参考: https://www.53ai.com/news/qianyanjishu/1795.html
总结: 比较适合有一定技术背景的用户,体验不如其他方法友好。
优点: 支持 GPU 调用,可能提升计算速度,较为推荐的方案。
AppStore可下载,安卓上使用方法参考:在手机上运行大模型(使用MLC-LLM) · Valdanitooooo/knowledge-hub · Discussion #66 · GitHub[1] ,文档地址:Introduction to MLC LLM — mlc-llm 0.1.0 documentation[2]
缺点: 使用旧手机时,容易出现黑屏等问题,可能是由于占用过多 GPU 资源。新手机可能会有所改善。
总结: 适合较新型号的手机,老旧设备可能体验较差。
优点: 通过安装 Maid APP,可以直接使用大模型,安装较为简便。
缺点: 需要科学上网,运行速度非常慢,使用体验差,不推荐使用。
总结: 虽然安装简便,但性能和速度的限制使得这不是一个理想选择。
优点: 国外的一个应用,运行方便,速度较快,适合大多数用户使用。开源,这是重点!!!
缺点: 安装包只能在谷歌商店下载,需要特殊网络才能使用,且国内用户访问速度慢
总结: 瑕不掩瑜,PocketPal AI是一款比较好的选择。
接下来,我们将重点就PocketPal AI进行更为详细的介绍。
PocketPal AI 是一款袖珍型的 AI 助手,基于小型语言模型(SLMs)运行,直接在您的手机上运行。它支持 iOS 和 Android,允许您在无需互联网连接的情况下与各种 SLMs 进行互动。
•离线 AI 助手:直接在设备上运行语言模型,无需互联网连接。•模型灵活性:下载并切换多个 SLMs,包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。• 自动卸载/加载:当应用在后台时,自动管理内存,通过卸载模型来节省空间。 •推理设置:自定义模型参数,如系统提示、温度、BOS 标记和聊天模板。 • 实时性能指标:查看每秒生成的令牌数量和每个令牌的毫秒数。
从 App Store 下载 PocketPal AI: 在 App Store 下载[3]
通过 Google Play 获取 PocketPal AI: 在 Google Play 获取[4]
PocketPal AI 预配置了一些流行的 SLMs(小型语言模型):
•Danube 2 和 3•Phi•Gemma 2•Qwen
在使用之前,模型需要先下载。您可以直接从应用程序中下载并使用这些模型,还可以加载任何其他您喜欢的 GGUF 模型!
有关如何使用 PocketPal AI 的详细指南,请查看 入门指南[5]。
•点击汉堡菜单•进入“模型”页面•选择您需要的模型并点击下载
下载后,点击 加载 按钮将模型加载到内存中。现在,您可以开始与模型对话!
在 iOS 设备上,默认启用了 Apple 的 GPU API(Metal)。如果您遇到性能问题,可以尝试禁用它。
为了保持设备运行顺畅,PocketPal AI 可以自动管理内存使用:
•在模型页面启用“自动卸载/加载”(默认启用)•当应用程序在后台时,它会卸载模型•当您返回时,模型会重新加载(对于较大的模型,可能需要等待几秒钟)
点击箭头图标访问高级 LLM 设置,例如:
•温度•BOS 标记•聊天模板选项•等等
一旦模型加载完成,进入“聊天”页面并开始与加载的模型对话!
生成性能指标也会显示。如果感兴趣,可以通过观察聊天气泡查看实时性能指标:每秒令牌数和每个令牌的毫秒数。
重要提示:目前,我还没有找到一种简单的方法,可以在保留文本格式的同时,从生成的响应中选择并复制文本,尤其是 Markdown 格式的支持。
在此期间,以下是复制文本的当前选项:
•段落级复制:长按特定段落以复制其内容。•全部响应复制:点击文本气泡底部的复制图标以复制整个 AI 生成的响应。
我知道这些选项可能不太理想,这也是我在使用其他应用时遇到的困扰。复制文本部分内容的困难,曾是类似 ChatGPT 等聊天应用中的一个特别令人烦恼的问题。
开发者们:PocketPal AI 是使用 React Native 构建的。找到一个平衡文本选择与保留格式(特别是 Markdown 支持)的方法对我来说一直很困难。如果您有相关经验,我非常愿意听听您的意见!
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-13
DataOps for LLM 的数据工程技术架构实践
2024-11-13
LLM性能优化中的一些概念扫盲
2024-11-13
蚂蚁集团 | 提出多任务大模型微调方法:CoBa,LLM最高性能提升13%!
2024-11-12
Scaling Law提出者Ilya发声:大模型预训练效果趋于平缓,扩展正确的东西变得更重要
2024-11-08
Ollama 更新!手把手教你用Ollama轻松搭建Llama 3.2 Vision + 视觉RAG系统(本地安装)
2024-11-08
全参微调与LoRA的区别,及7种LoRA变种方法解析
2024-11-08
开发一款大模型需要经过哪些步骤?开发一款大模型的完整流程
2024-11-08
推算LLM训练的GPU内存需求
2024-07-11
2024-07-11
2024-07-09
2024-09-18
2024-06-11
2024-07-23
2024-07-20
2024-07-12
2024-07-26
2024-07-23