我要投稿

一站式解决方案：Cognita框架让RAG定制化触手可及

发布日期：2024-07-13 07:52:15 浏览次数： 1877

01。

Cognita

Cognita 是一个开源框架，专为组织 RAG 代码库而设计，并配备了一个前端界面，以便用户能够轻松尝试不同的 RAG 定制化设置。该框架提供了一种简化的代码库组织方式，使得在本地测试变得简单，同时也能够部署到生产就绪的环境中。将 RAG 系统从 Jupyter Notebook 转换为生产环境时，需要解决以下关键问题：

数据分块与嵌入作业：通常需要将数据分块和嵌入代码抽象出来，并作为一个作业部署。有时，这个作业需要按计划运行，或者通过事件触发，以保持数据的更新。
查询服务：生成查询答案的代码需要封装在一个 API 服务器中，如 FastAPI，并作为服务部署。该服务应能够同时处理多个查询，并在流量增加时自动扩展。
大型语言模型/嵌入模型部署：如果我们使用的是开源模型，通常会在 Jupyter 笔记本中加载模型。在生产环境中，这需要作为独立的服务托管，并且模型需要作为 API 被调用。
向量数据库部署：大多数测试是在内存或磁盘上的向量数据库上进行的。然而，在生产环境中，数据库需要以更可扩展和更可靠的方式部署。

Cognita 使得定制和实验 RAG 系统的各个方面变得非常简单，并且仍然能够以良好的方式部署。它还附带了一个用户界面，使用户能够更容易地尝试不同的 RAG 配置，并实时查看结果。它可以在本地使用，也可以与或不与 Truefoundry 组件一起使用。然而，使用 Truefoundry 组件可以更容易地测试不同的模型，并以可扩展的方式部署系统。Cognita 允许您使用一个应用程序托管多个 RAG 系统。

02。

Cognita优势

一个集中可复用的解析器、加载器、嵌入器和检索器库。
非技术用户可以通过用户界面进行操作——上传文档并使用开发团队构建的模块执行问答。
完全由 API 驱动——这允许与其他系统集成。
如果将 Cognita 与 Truefoundry AI 网关一起使用，您可以为用户查询获得日志记录、度量指标和反馈机制。

03。

相关特性

支持多种利用相似性搜索、查询分解、文档重排等功能的文档检索器。
支持使用 mixedbread-ai 提供的最先进的开源嵌入技术和重排技术。
支持使用 Ollama 技术利用大型语言模型（LLMs）。
支持增量索引功能，能够批量处理整个文档（减轻计算负担），跟踪已索引的文档，并防止这些文档的重复索引。

04。

为什么选择Cognita？

Langchain/LlamaIndex 提供了易于使用的抽象层，便于在 Jupyter 笔记本上进行快速实验和原型设计。然而，当项目转向生产环境时，需要满足诸如组件的模块化、易于扩展和可伸缩性等限制。这正是 Cognita 发挥作用的地方。Cognita 在底层使用 Langchain/LlamaIndex，并为您的代码库提供组织结构，其中每个 RAG 组件都是模块化的、由 API 驱动且易于扩展。Cognita 可以轻松地在本地设置中使用，同时提供生产就绪的环境以及无代码 UI 支持。Cognita 默认还支持增量索引。

参考：

1.https://github.com/truefoundry/cognita?tab=readme-ov-file

2.https://cognita.truefoundry.com/

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯