我要投稿

基于Llama 3.1和一台MacBook搭建商用级知识库

发布日期：2024-08-15 17:39:15 浏览次数： 1657

—1—

为什么要在 MacBook 上搭建知识库？

最核心最重要的是我们手上的文档资料出于安全要求，不能随便上传到云服务，也就无法实际验证知识库的实际效用。另外对于 IT 同学来说，自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现，也是出于对技术的探索本能使然。

使用的 MacBook 配置如下，对大模型经过量化处理（比如：int8）后，可以流畅运行。

—2—

知识库的架构设计

基于一台 MacBook 搭建部署的架构设计如下图，在这套架构设计中，我们采用了实力排上游、并且对企业和学术都友好的最新开源大模型 Llama 3.1。

并采用了基于 m3e-base 模型的 embedding search RAG 方案。基于这两个模型封装和 ChatGPT 兼容的 API 接口协议；通过引入 One API 接口管理 & 分发系统，形成统一 LLM 接口渠道管理平台规范，并把封装好的接口协议注册进去；搭建与 Dify.ai 齐名开源大模型知识库平台管理系统 FastGPT，实现集私有知识数据源预处理、嵌入检索、大模型对话一体的完整知识库应用流程。

麻雀虽小五脏俱全，最终形成一套既满足商用标准、又能在 MacBook 跑起来的的方案。虽然智能程度和实际需求还有一定差距，但至少我们在不用额外购买显卡或云服务的情况下，以最小成本部署运行、并且能导入实际业务数据（如：设计文档、业务流程文档、项目管理文档、技术分享文档等等）进行实操验证，值得每位工程师都来动手尝试一下。

更详细的架构设计剖析，直播详细剖析，请同学点击下方按钮预约直播。

—3—

知识库的部署设计

基于 MacBook 的部署方案分为四个主要环节、14个具体步骤，只要一步步实操下去，每位 IT 同学都可以在自己的 MacBook 上拥有属于自己的私有大模型知识库系统，步骤清单如下：

部分步骤可以简单地通过 Docker 镜像一键部署完成，但本着对细节一杆子插到底的部署思路，还是采取了纯手工作业的方法。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

精通RAG架构：从0到1，基于LLM+RAG构建生产级企业知识库

2024-05-15

构建企业专属大模型知识库，解决企业知识管理与应用难点

2024-04-24

一键打造本地专属的知识库：可接入各种大模型

2024-07-10

利用ChatGPT进行文献综述并完成撰写，全流程解析附指令

2024-07-10

腾讯云生成式AI产品解决方案深度分析 2024

2024-07-09

企业知识库搭建详细指南

2024-06-23

企业知识库落地方案如何选择？RAG+通用大模型 VS RAG+微调大模型

2024-06-14

Docs2KG：使用大模型自动构建知识图谱，降低企业知识图谱构建门槛

2024-06-13

AI Infra 基础知识 - 一文介绍并行计算、费林分类法和 CUDA 基本概念

2024-06-19

国家人工智能产业综合标准化体系建设指南（2024版）

2024-07-09

大家都在问

如何快速构建个人 AI 知识库？

2024-08-27

什么样的组织形态和领导力模式，与AI时代最合拍？

2024-08-15

AI时代组织如何进化？如何加速AI转型？

2024-08-15

面向人工智能数据治理应该怎么做？

2024-08-09

深度思考：如何用AI提升“产品研究”的效率？

2024-07-31

AI企业应用，最终卷的是什么？

2024-07-26

【回顾】网易有道开源的本地化知识库问答系统，支持 PDF、Word 等自由检索

2024-07-18

AI大模型时代，知识管理如何为企业赋能？

2024-07-10

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

精通RAG架构：从0到1，基于LLM+RAG构建生产级企业知识库

构建企业专属大模型知识库，解决企业知识管理与应用难点

一键打造本地专属的知识库：可接入各种大模型

利用ChatGPT进行文献综述并完成撰写，全流程解析附指令

腾讯云生成式AI产品解决方案深度分析 2024

企业知识库搭建详细指南

企业知识库落地方案如何选择？RAG+通用大模型 VS RAG+微调大模型

Docs2KG：使用大模型自动构建知识图谱，降低企业知识图谱构建门槛

AI Infra 基础知识 - 一文介绍并行计算、费林分类法和 CUDA 基本概念

国家人工智能产业综合标准化体系建设指南（2024版）

大家都在问

如何快速构建个人 AI 知识库？

什么样的组织形态和领导力模式，与AI时代最合拍？

AI时代组织如何进化？如何加速AI转型？

面向人工智能数据治理应该怎么做？

深度思考：如何用AI提升“产品研究”的效率？

AI企业应用，最终卷的是什么？

【回顾】网易有道开源的本地化知识库问答系统，支持 PDF、Word 等自由检索

AI大模型时代，知识管理如何为企业赋能？

热门标签