粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
Ollama 是一个开源项目，旨在简化在本地部署和运行大型语言模型（LLMs）的过程。它提供了一系列工具和功能，使得开发者和研究人员能够更容易地在自己的机器上利用这些先进的AI模型，而无需依赖云端服务。
官网：https://ollama.com
Github：https://github.com/ollama/ollama
一、运行环境准备
Docker Hub ：https://hub.docker.com/r/ollama/ollama
运行 7B 模型需要至少 8GB 的 RAM，运行 13B 模型需要 16GB RAM，运行 33B 模型需要 32GB RAM。
ollama create selfModel -f ./Modelfile
ollama pull llama3
ollama rm llama3
ollama cp llama3 self-llama3
""" 包裹文本>>> """Hello,... world!... """I'm a basic program that prints the famous "Hello, world!" message to the console.多模态模型>>> What's in this image? /Users/aid/smile.pngThe image features a yellow smiley face, which is likely the central focus of the picture.
$ ollama run llama2 "Summarize this file: $(cat README.md)" Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.
ollama list
ollama serve
cmake 和 go：brew install cmake go
go generate ./...
go build .
更详细的说明可以在开发者指南中找到。
./ollama serve
./ollama run llama2
详细信息查看文档
查看更多集成案例，可以查看github仓库文档
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-19
突发！GPT-4o 级语音 Moshi 开源！
2024-09-19
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
2024-09-19
通义千问Qwen2.5开源，媲美Llama3.1-405B
2024-09-19
Qwen 2.5 开源，API 打一折
2024-09-18
OpenAI o1的开源平替版self-replay RL来了！
2024-09-18
Y Combinator 投资的开源 Cursor 替代品来了！
2024-09-18
OpenAI o1式思维链，开源模型也可以有，成功案例来了
2024-09-17
国外Agent产品如何？全面比较AutoGPT与AI Agent
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-08
2024-07-25
2024-07-11
2024-07-18
2024-07-25
2024-06-16
回到顶部