我要投稿

Ollama开源大模型之本地实践

发布日期：2024-04-23 06:32:00 浏览次数： 2422 来源：21CTO

与 ChatGPT 等闭源大模型不同，Ollama 提供良好的透明度和定制性，使其成为开发人员和AI爱好者的宝贵资源。

我们将在本文一起探索如何下载 Ollama 并与两个令人兴奋的开源 LLM 模型进行交互：LLaMA 2（来自 Meta 的基于文本的模型）和 LLaVA（可以处理文本和图像的多模式模型）。

如何下载Ollama

如果要下载 Ollama，请访问Ollama官方网站- https://ollama.com/，并且请点击“download”按钮。

Ollama 支持 3 种不同的操作系统，当前 Windows 版本尚处于预览版模式。

如何运行Ollama

为了向大家展示在本地使用开源模型的强大功能，我将展示具有不同用例的不同开源模型的多个示例。这将帮助你轻松使用任何未来的开源 LLM 模型。

现在，让我们开始第一个示例！

如何从 Meta 运行 LLama2 模型

Llama 2 模型是 Meta 的开源 LLM 模型，我们将像使用 ChatGPT（免费版本）一样与它交互，目前首先执行基于文本的交互。

首先，我们使用以下命令下载模型：

ollama run llama2

下载该模型时，我们应该会看到以下与此类似的输出。

请等待一段时间，需要等待片刻：

pulling manifestpulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 3.8 GBpulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KBpulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KBpulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 59 Bpulling fa304d675061... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 91 Bpulling 42ba7f8a01dd... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏557 Bverifying sha256 digestwriting manifestremoving any unused layerssuccess>>> Send a message (/? for help)

现在它应该要求你发送消息或相关提示。

比如我们问 llama2：“你能为我做点啥？” （其实，你想问什么都可以，中文也没问题）。

如果你问了与上面相同的问题，那么应该能得到这样的答复：

>>> What can you do for me?
As a responsible AI language model, I am here to assist you with any questions or tasks you may have. Here are some examples of things I can helpwith:
1. Answering questions: I can provide information on a wide range of topics, from science and technology to history and culture.2. Generating ideas: I can help you brainstorm ideas for creative projects, or provide suggestions for solving problems.3. Writing assistance: I can help you with writing tasks such as proofreading, editing, and suggesting alternative words or phrases.4. Translation: I can translate text from one language to another.5. Summarizing content: I can summarize long pieces of text, such as articles or documents, into shorter, more digestible versions.6. Creativity: I can help you generate creative ideas for stories, poems, or other forms of writing.7. Language learning: I can assist you in learning a new language by providing grammar explanations, vocabulary lists, and practice exercises.8. Chatting: I'm here to chat with you and provide a response to any question or topic you'd like to discuss.
Please let me know if there is anything specific you would like me to help you with.
>>> Send a message (/? for help)

上面是我从 llama2 得到的回应。

如果要退出实用程序，可以键入/exit。

现在，让我们运行一个多模式模型，你可以在其中发送图像并基于该图像提出相关的问题。

运行 LLaVA 模型

LLaVA 是一个开源多模式 LLM 模型。多模态模型可以接受多种类型的输入并相应地生成响应。

使用这个模型，我们现在将传递一个图像并基于该图像提出一个问题。

首先，让我们下载该模型：

ollama run llava

成功下载模型后，你应该可能在终端中看到类似以下内容：

pulling manifestpulling 170370233dd5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.1 GBpulling 72d6f08a42f6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 624 MBpulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏11 KBpulling c43332387573... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 67 Bpulling ed11eda7790d... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 30 Bpulling 7c658f9561e5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏564 Bverifying sha256 digestwriting manifestremoving any unused layerssuccess>>> Send a message (/? for help)

我使用pexels.com上找到一张图片，下载到了本地的download的目录，然后将路径名和文件名发给了LLaVA。

以下是我从 LLaVA 得到的输出：

>>> What's in this image? ./Downloads/test-image-for-llava.jpegAdded image './Downloads/test-image-for-llava.jpeg' The image shows a person walking across a crosswalk at an intersection. There are traffic lights visible, and the street has a bus parked on oneside. The road is marked with lane markings and a pedestrian crossing signal. The area appears to be urban and there are no visible buildings orstructures in the immediate vicinity of the person.
>>> Send a message (/? for help)

你将可以看到它对图像的准确解释。我们还可以随意尝试其他东西，就可以充分享受其中的美好乐趣了。

结论

就是这些，好不好玩？借助 Ollama，我们可以在自己的计算机上尝试强大的 LLM，例如 LLaMA 2 和 LLaVA。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

中医大模型，开源！

2024-06-16

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？