我要投稿

硬核升级！在Ollama中使用Llama3.2视觉模型

发布日期：2024-11-10 21:30:11 浏览次数： 1593 来源：AI未来智能宇宙

“ 2024年11月6日，Ollama发布了0.4版本，新增支持在本地加载和运行Llama3.2视觉模型，包括11B和90B两个大小的版本。”

—

快速入门

1. 下载安装Ollama 0.4版本

下载地址： https://ollama.com

2. 运行Llama3.2视觉模型：

ollama run llama3.2-vision

3. 如果你的电脑配置足够强大，通过以下命令运行90B模型：

ollama run llama3.2-vision:90b

4. 要将一张图片添加到提示词中，可以拖动并释放它到终端中（Windows），或在Linux上将图片的路径添加到提示词中。

注意：Llama3.2视觉模型11B需要至少8GB的VRAM，而90B模型则需要至少64GB的VRAM。

‍

—

使用示例

1. 手写识别

2. 光学字符识别（OCR）

3. 图表和表格

4. 图片问答

03‍

—

使用方法

1. 首先拉取模型：

ollama pull llama3.2-vision

2. 调用Python库

可以通过Ollama Python库在代码中调用Llama3.2视觉模型

import ollama
response = ollama.chat(model='llama3.2-vision',messages=[{'role': 'user','content': 'What is in this image?','images': ['image.jpg']}])
print(response)

3. 调用JavaScript库

也可通过Ollama JavaScript库在代码中调用Llama3.2视觉模型

import ollama from 'ollama'
const response = await ollama.chat({model: 'llama3.2-vision',messages: [{role: 'user',content: 'What is in this image?',images: ['image.jpg']}]})
console.log(response)

4. 通过cURL调用

还可以通过cURL命令在命令行中调用

curl http://localhost:11434/api/chat -d '{"model": "llama3.2-vision","messages": [{"role": "user","content": "what is in this image?","images": ["<base64-encoded image data>"]}]}'

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

GPT-4 和 GPT-4o的主要区别

2024-09-12

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

企业如何构建大模型营销体系：架构与实战

2024-07-07

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

大家都在问

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

商汤大模型的「5o」交互，普通人如何和 AI 过一天？

2024-07-10

实测：开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？

2024-07-02

AI结合游戏NPC会发生什么？

2024-06-29

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯