粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
。V2.5的时候折腾过，没成功，V2.6出来后又勾起来我的好奇心，今天终于走通了个大概吧？？特此记录，端侧设备：小米10-pro。
① 首先依旧是下载模型到本地-电脑，各位可以从mdoelscope(需要注册)和HF下载(HF需要翻墙)，不过也可以使用HF的镜像网站：https://hf-mirror.com/，具体下载命令如下：
pip install -U huggingface_hubLinux: export HF_ENDPOINT=https://hf-mirror.comWindows: $env:HF_ENDPOINT = "https://hf-mirror.com"# huggingface中的模型较多，可以按需下载，但是mmproj-model-f16.gguf必须下载huggingface-cli download --local-dir-use-symlinks False --resume-download OpenBMB/MiniCPM-V-2_6-gguf --local-dir OpenBMB/MiniCPM-V-2_6-gguf# 也可以使用modelscope下载git lfs installgit clone https://www.modelscope.cn/OpenBMB/MiniCPM-V-2_6-gguf.git
下载完成应该是下面的列表：
② 此时需要在手机上安装Termux（可以在手机上运行命令行，linux指令），我下载的是对勾这个版本：
https://github.com/termux/termux-app/releases
git clone git@github.com:OpenBMB/llama.cpp.gitcd llama.cppgit checkout minicpmv-main
④ 接下来打开手机上的Termux软件，在命令行执行下面的命令（默认的路径就是手机上的home路径）：
apt update && apt upgrade -yapt install git make cmakeapt install ffmpegapt install pkg-config# 这个命令可能需要执行两次，可以将手机存储路径打开权限# 执行后会多出一个storage目录termux-setup-storage
cd storage/downloads/llama.cppmake -j 4make llama-minicpmv-cli
./llama-minicpmv-cli -m ../MiniCPM-V-2_6-gguf/ggml-model-Q4_K_M.gguf --mmproj ../MiniCPM-V-2_6-gguf/mmproj-model-f16.gguf -c 4096 --temp 0.7 --top-p 0.8 --top-k 100 --repeat-penalty 1.05 --image xx.jpg -p "What is in the image?"
参考：
1. https://github.com/OpenBMB/llama.cpp/blob/minicpmv-main/examples/llava/README-minicpmv2.6.md
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-30
2024-09-12
2024-06-17
2024-08-06
2024-08-30
2024-04-21
2024-06-26
2024-07-07
2024-06-14
2024-07-21
2024-09-26
2024-09-26
2024-09-01
2024-07-15
2024-07-14
2024-07-10
2024-07-02
2024-06-29
回到顶部