微信扫码
与创始人交个朋友
点击上方蓝色“顶层架构领域”,关注精彩与你分享
Ollama 是一个开源项目,旨在简化在本地部署和运行大型语言模型(LLMs)的过程。它提供了一系列工具和功能,使得开发者和研究人员能够更容易地在自己的机器上利用这些先进的AI模型,而无需依赖云端服务。
官网:https://ollama.com
Github:https://github.com/ollama/ollama
一、运行环境准备
Docker Hub :https://hub.docker.com/r/ollama/ollama
运行 7B 模型需要至少 8GB 的 RAM,运行 13B 模型需要 16GB RAM,运行 33B 模型需要 32GB RAM。
ollama create selfModel -f ./Modelfile
ollama pull llama3
ollama rm llama3
ollama cp llama3 self-llama3
"""
包裹文本>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
多模态模型
>>> What's in this image? /Users/aid/smile.png
The image features a yellow smiley face, which is likely the central focus of the picture.
$ ollama run llama2 "Summarize this file: $(cat README.md)"
Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.
ollama list
ollama serve
cmake
和 go
:brew install cmake go
go generate ./...
go build .
更详细的说明可以在开发者指南中找到。
./ollama serve
./ollama run llama2
详细信息查看文档
查看更多集成案例,可以查看github仓库文档
53AI,大模型落地应用首选服务商
定位:开箱即用的大模型落地应用平台
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
如果你看见AI对商业世界的变革,欢迎来和我们一起探索~
2024-06-29
一文讲透AI Prompt提示词工程 (上)
2024-06-29
RAG流程优化(微调)的4个基本策略
2024-06-29
详细教程!探索DALL·E的强大功能!
2024-06-29
大模型技术及趋势总结
2024-06-29
太棒啦!MARS5-TTS:仅需几秒音频参考,即可克隆您的声音,连情感都一模一样!
2024-06-29
ChatGPT Mac 版应用向所有用户免费开放,如何下载使用?
2024-06-29
一个AI驱动的搜索引擎,内置SearXNG,也许是未来搜索新姿态,Star 10K!
2024-06-29
如何花3400配置一台室内无噪音,48GB显存的深度学习服务器?
2024-04-24
2024-05-14
2024-04-24
2024-04-23
2024-04-11
2024-04-26
2024-03-22
2024-03-29
2024-04-25
2024-04-12
2024-06-29
2024-06-29
2024-06-29
2024-06-29
2024-06-29
2024-06-28
2024-06-28
2024-06-28