微信扫码
与创始人交个朋友
我要投稿
在当今的企业环境下,很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才,能够很好的处理大模型落地过程中碰到的问题。
今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware,该项目在 GitHub 有超过 1.6k Star,用一句话介绍该项目就是:“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。
llmware
是一个专为企业级 LLM 开发的框架、工具和模型。该项目在私有云中将企业知识与 LLM 安全并有效地整合,以便于创建出专业的、基于知识的企业 LLM 应用。主要功能包括:
1、提供高性能的文档解析器以快速处理多种常用文档类型;
2、提供完整的直观的查询方法,如语义查询,文本查询以及混合查询;
3、支持人类参与评估、反馈和纠正 AI 的响应;
4、可灵活地分析和审核 LLM 提示生命周期,等等。
此外,llmware
还提供快速开始使用增强型检索生成(RAG)的教程和视频,以便于让大家探索并掌握这个开源项目。
llmware
的安装和使用十分方便,可以通过 pip
命令进行安装。
pip3 install llmware
对于 MongoDB 和 Milvus 的使用者,llmware
可以直接通过 Docker Compose 文件进行安装,以便于提供生产级的数据库和向量嵌入能力。安装完成后,只需引入 llmware
库即可开始编写代码。
from llmware.models import ModelCatalog
ModelCatalog().get_llm_toolkit() # get all SLIM models, delivered as small, fast quantized tools
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included
llmware
构建的框架由四大主要组件组成,可以满足全面而多元的业务需要。
以下是该项目 Star 趋势图(代表项目的活跃程度):
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26