我要投稿

Llamanet：一行代码就可以将OpenAI驱动的程序转换为lamma.cpp！

发布日期：2024-07-14 05:45:31 浏览次数： 1675

01。

概述

Llamanet是一个开源的即插即用库/工具，它能够让您立即将任何由OpenAI驱动的应用程序转换为lamma.cpp应用程序，仅需一行代码即可实现。

它无需任何配置，也无需依赖任何第三方库，因此您无需了解任何额外信息，只需像使用OpenAI一样使用它。

Llamanet提供了一个同构API，可在以下平台间无缝工作：

JavaScript
Python
CLI

希望将基于OpenAI API的大型语言模型（LLM）应用程序迅速迁移至使用本地LLM？
不希望要求用户下载第三方LLM应用程序或服务器才能使用您的应用程序？
希望您的应用程序能够独立管理所有LLM，不依赖第三方系统？

Llamanet为您服务。

Llamanet是一个嵌入式的lamma.cpp管理系统，它能够自动“无缝工作”。它允许您通过在应用程序中添加一行代码，立即替换OpenAI。因为引擎嵌入在您的应用程序中，您无需告诉用户安装第三方LLM应用程序或服务器来使用您的应用程序。

无需第三方LLM即可发布您的应用程序：Llamanet是一个自包含的库/命令行工具，它提供了从您的应用程序原生提供LLM所需的一切。无需下载第三方LLM应用程序/服务器。您的应用程序用户只需安装您的应用程序即可。它就是如此简单易用。

与OpenAI API兼容的服务器：Llamanet是一个代理服务器，可以运行并路由到多个与OpenAI API兼容的Llama.cpp服务器。这种兼容性意味着您可以将任何现有的OpenAI API驱动的应用程序转换为由Llama.cpp驱动的应用程序，仅需一行代码。

自动模型管理系统：内置的模型管理系统消除了单独手动下载检查点的需要。只需使用任何Huggingface上的GGUF URL发起一个与OpenAI兼容的API请求。您不是指定"model": "gpt-4-turbo"，而是指定一个Huggingface的URL（例如："model": "https://huggingface.co/models/some-model-gguf/resolve/main/some-model-fp16.gguf"），它将自动下载检查点并启动一个嵌入的lamma.cpp服务器，该服务器带有检查点，之后请求将被路由到服务器。

以下是Llamanet的实际操作示例：

参考：

1.https://github.com/pinokiocomputer/llamanet

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

Coze收费了，我还用吗？

2024-07-18

教你使用Ollama在本地跑Llama3.1

2024-07-25

中医大模型，开源！

2024-06-16

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

2024-09-14

OpenAI的o1模型会带来哪些影响和机会？

2024-09-14

LLM 基础知识 | WaterMarking，你搞懂了吗？

2024-09-12

清华开源LongCite，如何提高大模型的溯源能力？

2024-09-07

大模型的泡沫什么时候破灭？

2024-08-06

大模型的泡沫什么时候破灭？

2024-08-04

微调Llama 3.1，用神器Unsloth

2024-08-03

AGI｜如何在本地运行大型语言模型？

2024-07-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

如何免费使用 Claude AI？Claude使用指南！

Coze收费了，我还用吗？

教你使用Ollama在本地跑Llama3.1

中医大模型，开源！

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

清华开源LongCite，如何提高大模型的溯源能力？

大模型的泡沫什么时候破灭？

大模型的泡沫什么时候破灭？

微调Llama 3.1，用神器Unsloth

AGI｜如何在本地运行大型语言模型？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

如何免费使用 Claude AI？Claude使用指南！

Coze收费了，我还用吗？

教你使用Ollama在本地跑Llama3.1

中医大模型 ，开源！

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

清华开源LongCite，如何提高大模型的溯源能力？

大模型的泡沫什么时候破灭？

大模型的泡沫什么时候破灭？

微调Llama 3.1，用神器Unsloth

AGI｜如何在本地运行大型语言模型？

热门标签

太强了！10大开源大模型！

中医大模型，开源！