AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一款神奇的本地快速部署开源大模型的工具——ollama
发布日期:2024-04-15 21:00:38 浏览次数: 2481 来源:飞桨PPDB


第一次使用ollama我就被惊艳到了,惊掉了我的下巴。

开源大模型越来越多,大有百家争鸣之势。面对层出不穷的大模型,我们如何才能快速上手体验呢?答案就是:ollama。

什么是ollama

ollama可以帮助我们在本地启动并运行大语言模型。

我们不仅可以使用Llama 2、Code Llama等模型,还可以使用自己自定义创建的模型。

ollama支持的模型

以下是ollama已经支持的开源大模型,大家可以根据需要自行体验。

  • gemma
  • llama2
  • mistral
  • mixtral
  • command-r
  • llava
  • codellama
  • dolphin-mixtral
  • qwen
  • llama2-uncensored
  • mistral-openorca
  • deepseek-coder
  • phi
  • nous-hermes2
  • orca-mini
  • dolphin-mistral
  • wizard-vicuna-uncensored
  • vicuna
  • nomic-embed-text
  • tinydolphin
  • llama2-chinese
  • ...

太多了,就不再一一罗列了,几乎涵盖了所有的开源大模型

安装

ollama支持macOS、Linux和Windows

以Linux为例,在终端执行命令:

curl -fsSL https://ollama.com/install.sh | sh

安装完成以后,验证是否安装成功:

ollama -v

如图,则表示已经安装成功了。

快速开始

  • 查看本地模型列表
ollama list
  • 拉取需要的模型
ollama pull llama2
  • 再次查看本地模型列表

由图可知,llama2模型已经下载到本地了

注意,不知道大家有没有发现,整个过程是不是和使用docker有些像呢。

  • 运行模型
ollama run llama2

当出现Send a message的提示时,说明模型已经成功启动了,我们就可以在终端使用大模型了。

  • 测试模型

要求大模型为爱人写一封信,看看效果吧

My dearest,

As I sit here thinking of you, my heart fills with joy and love. Every moment I spend away from you
feels like an eternity, and I can't wait to be reunited with you. Your touch, your smile, your
laughter - everything about you makes me feel alive and complete.

I dream of the day when we can hold each other close again, feel each other'
s warm embrace, and lose
ourselves in the depths of our love. Until then, know that you are always on my mind and in my heart,
and that I will love you forever and always.

Yours always,
[Your Name]

再让大模型翻译成中文

我的愛,

每次思考你时,我的心都会满满喜悦和爱。在与你分享的每一刹点时,我就会感到无比不可或缺。你的接觸、你的笑容、你的嘻唱──都能使我感到生命中的全新感受和完整。

我梦想在与你重返时,能够拥抱你,感受到你的温暖,并追逐在我们之间的爱心。 Until then, 知道你一直是我的心中的 主人,和我会永不离弃你的爱。

永远 yours,
[你的名字]

整个体验过程相当流畅,在此之前,我很难想象体验开源模型到底要经历什么(不堪回忆)。现在则只要大约十分钟就可以,关键是几十个开源大模型都可以畅玩。

需要注意,从安装到下载模型,速度都非常快,如果你在体验过程中发现非常慢,则不妨试试科学上网。





53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询