微信扫码
添加专属顾问
我要投稿
Cohere开源的工具包,用于开发RAG应用,可以一键部署到微软Azure上,也可以本地部署。
克隆存储库并运行
make setup
按照说明配置模型 - AWS Sagemaker、Azure 或 Cohere 的平台。这也可以通过运行 make setup (请参阅下面的选项 2)来完成,这将有助于为您生成文件,或者手动创建 .env 文件并复制提供的 .env-template .然后用正确的值替换值。
COHERE_API_KEY :如果您的应用程序将与 Cohere 的 API 交互,则需要提供 API 密钥。如果使用 AWS Sagemaker 或 Azure,则不需要。在 https://dashboard.cohere.com/ 注册以创建 API 密钥。
NEXT_PUBLIC_API_HOSTNAME :前端将与之通信的后端 URL。默认值为 http://localhost:8000
DATABASE_URL :用于 SQLAlchemy 的 PostgreSQL 数据库连接字符串应遵循以下格式 postgresql+psycopg2://USER:PASSWORD@HOST:PORT 。
要将该工具包与 AWS Sagemaker 结合使用,您首先需要 cohere 模型(命令版本),该模型为 Sagemaker 中部署的聊天提供支持。按照 Cohere 的指南和笔记本部署命令模型并创建端点,然后可以与工具包一起使用。
然后,您将需要设置授权,请参阅此处的更多详细信息。默认工具包设置使用具有以下环境变量的配置文件(之后 aws configure sso ):
SAGE_MAKER_REGION_NAME :为模型配置的区域。
SAGE_MAKER_ENDPOINT_NAME :在笔记本中创建的终结点的名称。
SAGE_MAKER_PROFILE_NAME :您的 AWS 配置文件名称
PYTHON_INTERPRETER_URL :指向 python 解释器容器的 URL。默认值为 http://localhost:8080。
TAVILY_API_KEY :如果要启用互联网搜索,则需要提供 Tavily API 密钥。不需要。
设置环境变量后,即可在本地部署 Toolkit!从 Github Artifact 注册表中提取 Docker 映像或从源代码构建文件。 Makefile 请参阅 了解所有可用命令。
要求:
Docker
Poetry
Docker-compose >= 2.22
确保您的 shell 已通过 GHCR 身份验证。
从 Github 的 Artifact Registry 中拉取单个容器映像
docker pull ghcr.io/cohere-ai/cohere-toolkit:latest
在本地运行映像:
docker run --name=cohere-toolkit -itd -e COHERE_API_KEY='Your Cohere API key here' -p 8000:8000 -p 4000:4000 ghcr.io/cohere-ai/cohere-toolkit
运行 make first-run 以启动 CLI,这将为您生成一个 .env 文件。这也将运行所有数据库迁移并运行容器
make first-run
运行 make setup 以启动 CLI,这将为您生成一个 .env 文件:
make setup
然后运行:
make migratemake dev
如果您没有更改默认端口,请访问浏览器中的 http://localhost:4000/ 与模型聊天。
此存储库中的组件包括:
src/interfaces/coral_web - Next.js 内置的 Web 应用程序。包括一个开箱即用的简单 SQL 数据库,用于在应用中存储对话历史记录。
src/backend - 包含预配置的数据源和检索代码,用于在自定义数据源(称为“检索链”)上设置 RAG。用户还可以配置要使用的模型,从托管在 Cohere 平台、Azure 和 AWS Sagemaker 上的 Cohere 模型中进行选择。默认情况下,我们配置了一个Langchain数据检索器来测试维基百科和你自己上传的文档上的RAG。
https://github.com/cohere-ai/cohere-toolkit
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-16
2025-03-16
2025-03-16
2025-03-15
2025-03-15
2025-03-15
2025-03-15