我要投稿

使用Ollama本地离线运行大模型

发布日期：2024-08-20 05:30:09 浏览次数： 1977 来源：mingupup的学习记录

Ollama介绍

用于启动并运行大型语言模型。

GitHub地址：https://github.com/ollama/ollama

官方网站：https://ollama.com/

实践

根据README的指引，安装对应系统的Ollama。

由于我的电脑比较旧了，配置如下：

所以就选择一个参数小一点的大模型，我选择的是phi3 3.8b的版本。

在控制台输入：

ollama run phi3:latest

即可。

没下载这个模型会自动下载，下载好了就可以开始对话。

对于开发者而言，还可以通过Ollama提供的接口来接入自己的应用：

3.8b参数的大模型在我这台电脑上就已经跑的很慢了，尝鲜是可以的，真要使用如果没有离线的需求并且没有显卡还是使用云平台比较好，现在也有很多免费的模型使用了，而且收费的话个人使用也花不了多少钱。如果有显卡资源并且有离线使用的需求，可以考虑使用Ollama本地离线运行大模型。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

Claude中国官网正式上线！1:1还原官网，非套壳，国内直连

2024-07-18

哈工大“风筝”航天知识大模型开放测试

2024-10-25

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

Prompt提示词如何写才能发挥大语言模型LLM的最大潜力

2024-06-17

一文读懂大模型推理必备技术：KV Cache

2024-07-01

大家都在问

AI 2.0时代，谁是未来的“掘金者”和“卖铲人”？

2024-11-08

如何泛化AI的深度推理能力？

2024-11-07

为了在AI时代做好“个人助理”，vivo做了哪些努力？

2024-11-05

什么是AI“世界模型”？为何如此重要？

2024-11-04

黑掉大模型？恶意 Prompt 攻击成无解之谜？

2024-11-01

AIGC：从‘金鱼记忆‘到‘过目不忘‘，实例解密大模型是如何记住对话的上下文的？

2024-10-31

AI时代，哪种人更被需要？

2024-10-30

Single-Agent 大翻身：Multi-Agent 可以退下了？

2024-10-29

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制