AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


DeepSeek本地平替方案:Ollama隐藏技巧大公开

发布日期:2025-02-15 21:23:18 浏览次数: 2016 来源:想去海边的半岛铁盒
推荐语

掌握Ollama,让你的AI模型运行更高效!
核心内容:
1. Ollama开源项目介绍及其优势
2. Ollama支持的LLMs和使用场景
3. 实用指南:自定义Ollama安装路径步骤详解

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家


   当DeepSeek引爆本地AI热潮,你的Ollama还在用默认设置?
最近国产AI大模型DeepSeek强势出圈,越来越多人开始尝试本地部署大型语言模型(LLM),既保护隐私又节省成本。但许多新手在用Ollama时,常被默认安装路径占满C盘、不会加载本地模型等问题劝退。本文手把手教你如何自定义安装路径秒切本地模型文件,让AI真正成为你的私人算力助手!

什么是 Ollama?

    Ollama 是一个开源项目,专注于帮助用户在本地运行大型语言模型。它简化了 LLM的部署和使用,使用户能够在自己的设备上运行这些模型,而无需依赖云服务或高性能服务器。

主要特点:

  • 本地运行:支持在个人电脑或服务器上运行 LLMs,确保数据隐私和安全。

  • 模型支持:兼容多种开源 LLMs,如 LLaMA、GPT-J 等。

  • 易用性:提供简单接口,方便用户快速部署和使用模型。

  • 跨平台:支持 macOS、Linux 和 Windows 等操作系统。

  • 资源优化:通过量化等技术,优化模型在本地设备上的性能。

使用场景:

  • 隐私保护:处理敏感数据时,本地运行避免数据外泄。

  • 离线使用:在没有网络连接的环境中运行模型。

  • 定制开发:开发者可基于 Ollama 构建定制化应用。

  • 学习研究:学生和研究人员可用它进行实验和项目开发。

如何自定义Ollama安装路径?

Ollama 的默认安装路径在C盘,而且exe安装时不能选择安装路径。接下来3步搞定Ollama自定义安装:C盘告急者的救命指南。

1️⃣ 第一步:打开安装包所在的文件夹,输入cmd进入命令行

    输入cmd后按下回车进入终端

2️⃣ 第二步:创建安装路径文件夹Ollama

例如创建文件夹在 H:\Ollama

3️⃣ 第三步:输入安装命令完成安装

OllamaSetup.exe /DIR=H:\Ollama

自定义大语言模型安装路径

创建系统环境变量 OLLAMA_MODELS,变量值设置成模型存放位置 eg. H:\Ollama\models

重新启动Ollama即可完成重置。

怎么迁移先前下载的模型?

模型默认存放路径在用户主目录下的.ollama文件夹,例如我的存放在C:\Users\TAOjay\.ollama\models文件夹。将该文件夹下的内容复制到OLLAMA_MODELS 置的文件夹内即可。

运行命令检查是否迁移成功:

> ollama list# 输出NAME                ID              SIZE      MODIFIEDdeepseek-r1:7b      0a8c26691023    4.7 GB    13 hours agodeepseek-r1:1.5b    a42b25d8c10a    1.1 GB    38 hours ago

加载本地下载好的GGUF模型

比如下载DeepSeek-模型文件 DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf:

在该路径下创建名为Modelfile的文件,文件内容为:

FROM DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
ollama 通过模型文件创建大模型,命令格式为 ollama create choose-a-model-name -f <location of the Modelfile>
ollama create deepSeek-r1:7b -f H:/LLM_MODELS/Modelfile
开始使用模型
ollama run deepSeek-r1:7b

要查看给定模型的Modelfile,使用ollama show --modelfile命令。



53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

和创始人交个朋友

回到顶部

 

加载中...

扫码咨询