AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Ollama 0.3.4 版本已推出
发布日期:2024-08-08 12:51:05 浏览次数: 1875 来源:二师兄talks


新模型介绍

  • BGE-M3: 由北京智源研究院(BAAI)开发的大型嵌入模型,其特点在于能够多功能、多语言和多粒度的广泛适用性。

  • BGE-Large: 一款英文训练的大型嵌入模型。

  • Paraphrase-Multilingual: 一款支持50多种语言的多语言嵌入模型,基于平行数据训练。

全新支持批处理的嵌入API

Ollama 新增了一个API端点 /api/embed,专门用于生成嵌入信息:


curl <http://localhost:11434/api/embed> -d '{ "model": "all-minilm", "input": ["Why is the sky blue?", "Why is the grass green?"]}'

这个API端点新增了以下特性:

  • 批量处理:一次请求即可为多篇文档生成嵌入信息

  • 标准化嵌入:嵌入信息现已标准化,进而提升了相似度测量的准确性

  • 截断功能:新增了一个截断参数,若设为false则会报错

  • 性能指标:响应结果中会包含 load_duration(加载时长)、total_duration(总时长)和 prompt_eval_count(提示评估计数)等性能指标

更新内容

  • 修复了 Windows 上初始下载速度慢的问题

  • NUMA 支持现在会被 Ollama 自动侦测,以提升性能

  • 解决了 /api/embed 有时返回乱序嵌入结果的问题



❤️关注  ?点赞  ⭐转发
你的支持是我更新分享的最大动力?

合作/加群方式

微信号:brothers_talk

往期好文推荐?



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询