项目简介

• 项目：有多种类型的代理（项目），每种代理都有自己的功能。（ rag， ragsql， 推理， 视觉）

• 用户：用户表示系统的用户。它用于身份验证和授权（基本身份验证）。每个用户可以访问多个项目。

• LLMs：支持 LlamaIndex 支持的任何公共或 LLM Ollama 支持的任何本地LLM。

• VRAM：自动VRAM管理。RestAI 将管理 VRAM 使用情况，根据需要和请求自动加载和卸载模型。

• API：API 是 RestAI 的一等公民。所有端点都使用 Swagger 进行记录。

• 前端：restai-frontend 有一个可用的前端

项目类型

RAG 

• 嵌入：您可以使用 llamaindex 支持的任何嵌入模型。检查嵌入定义。

• Vectorstore：支持两个向量存储： Chroma 和 Redis

• 检索：它具有嵌入搜索和评分评估器，允许您评估嵌入的质量并在 LLM.还支持重新排名，ColBERT 和LLM基于。

• 加载器：您可以使用 llamaindex 支持的任何加载器。

• 沙盒模式：RAG 代理（项目）具有“沙盒”模式，这意味着当所提供的问题没有嵌入时，将给出锁定的默认答案。这对于聊天机器人很有用，在聊天机器人中LLM，当不知道如何回答问题时，您希望提供默认答案，从而产生幻觉。

• 评估：您可以使用 deepeval 评估您的 RAG 代理。在 RAG 终结点中使用该 eval 属性。

RAGSQL

• 连接：提供 MySQL 或 PostgreSQL 连接字符串，它将自动爬网数据库架构，使用表和列名称，它能够弄清楚如何将问题转换为 sql，然后编写响应。

推理

视觉

• text2img：RestAI 支持本地 Stable Diffusion 和 Dall-E。它具有提示提升功能，LLM内部用于提升用户提示的更多细节。

• img2text：RestAI 默认支持 LLaVA、BakLLaVA。

• img2img：RestAI 支持 InstantID 和 Qwen-VL 默认。

稳定扩散 & InstantID

LLaVA公司

LLMs

• 您可以使用 Ollama 和/或 LlamaIndex 支持的任何LLM产品。

安装

• RestAI 使用 Poetry 来管理依赖项。使用 pip install poetry .