AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Llamanet:一行代码就可以将OpenAI驱动的程序转换为lamma.cpp!
发布日期:2024-07-14 05:45:31 浏览次数: 1810 来源:Halo咯咯


01
概述
Llamanet是一个开源的即插即用库/工具,它能够让您立即将任何由OpenAI驱动的应用程序转换为lamma.cpp应用程序,仅需一行代码即可实现。
它无需任何配置,也无需依赖任何第三方库,因此您无需了解任何额外信息,只需像使用OpenAI一样使用它。
Llamanet提供了一个同构API,可在以下平台间无缝工作:
  • JavaScript
  • Python
  • CLI

  • 希望将基于OpenAI API的大型语言模型(LLM)应用程序迅速迁移至使用本地LLM?
  • 不希望要求用户下载第三方LLM应用程序或服务器才能使用您的应用程序?
  • 希望您的应用程序能够独立管理所有LLM,不依赖第三方系统?
Llamanet为您服务。
Llamanet是一个嵌入式的lamma.cpp管理系统,它能够自动“无缝工作”。它允许您通过在应用程序中添加一行代码,立即替换OpenAI。因为引擎嵌入在您的应用程序中,您无需告诉用户安装第三方LLM应用程序或服务器来使用您的应用程序。
无需第三方LLM即可发布您的应用程序:Llamanet是一个自包含的库/命令行工具,它提供了从您的应用程序原生提供LLM所需的一切。无需下载第三方LLM应用程序/服务器。您的应用程序用户只需安装您的应用程序即可。它就是如此简单易用。
与OpenAI API兼容的服务器:Llamanet是一个代理服务器,可以运行并路由到多个与OpenAI API兼容的Llama.cpp服务器。这种兼容性意味着您可以将任何现有的OpenAI API驱动的应用程序转换为由Llama.cpp驱动的应用程序,仅需一行代码。
自动模型管理系统:内置的模型管理系统消除了单独手动下载检查点的需要。只需使用任何Huggingface上的GGUF URL发起一个与OpenAI兼容的API请求。您不是指定"model": "gpt-4-turbo",而是指定一个Huggingface的URL(例如:"model": "https://huggingface.co/models/some-model-gguf/resolve/main/some-model-fp16.gguf"),它将自动下载检查点并启动一个嵌入的lamma.cpp服务器,该服务器带有检查点,之后请求将被路由到服务器。
以下是Llamanet的实际操作示例:


参考:

1.https://github.com/pinokiocomputer/llamanet






53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询