想要在本地运行大型语言模型吗？

Ollama框架提供了这样的机会。

这个框架是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程。

安装Ollama后，你只需执行一条命令，即可在本地运行开源大型语言模型。

它将模型权重、配置和数据整合成一个Modelfile，同时优化了设置和配置，包括GPU的使用。

Google和DeepMind团队开发的Gemma模型，现已与Ollama兼容。

Google重磅开源！Gemma 2B/7B小模型登场，6万亿Tokens喂饱，聊天编程两不误，LLaMA也黯然失色？

Gemma有两种参数大小：2b和7b。

那么如何本地安装Ollama？

如何用Ollama安装Gemma ？

我们一起看下具体方法。

安装Ollama

支持macOS、Windows 、Linux、Docker安装方式。

都是特别简单，直接下载安装。

Windows环境安装https://ollama.com/download/OllamaSetup.exe

Mac环境安装https://ollama.com/download/Ollama-darwin.zip

Linux环境安装

curl -fsSL https://ollama.com/install.sh | sh

Ollama API为本地AI服务提供了便捷途径。

无需复杂设置，它自动在后台运行，并通过http://localhost:11434为工具和应用程序提供服务。支持模型库。

注意：应该至少有8GB的可用内存来运行7B模型，16GB来运行13B模型，以及32GB来运行33B模型。

安装Gemma

ollama 支持Gemma 2b和7b。

ollama run gemma:2b
ollama run gemma:7b (default)

启动gemma 7b模型，输入提示词使用。

提示：I want to learn writing. Please develop a 30-day learning plan to help beginners like me learn and improve this skill.

还可以测试Http API 。

(Invoke-WebRequest -method POST -Body '{"model":"gemma:7b", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json 

结语

无论你是研究人员、开发者还是技术爱好者，现在都可以使用Ollama框架，在本地轻松运行大型语言模型。

Gemma模型，无论参数大小，都能在你的设备上顺畅运行。