关于大模型以及大模型相关的应用，相信这两年应该没人不知道了吧。无论是学习、工作或生活中，各种层出不穷的应用令人眼花缭乱，有充当翻译助手的、有写文章赚钱的、有写邮件写报告的、有写代码的等等等等，林林总总，只要你想的出来的花样，它都能给你整出个花活。下面是笔者自己使用的一些工具上内置的各种助手，各位可以感受一下：

你有没有想过，这些应用是怎么做出来的？我能不能自己也做一个？答案是：当然可以。

笔者此前使用FastGPT做过类似的事情，感兴趣的朋友可以到笔者的公众号或博客上查看。那么本篇要介绍的是一个更加开放、自由、强大的工具：Dify。

1️⃣ Dify简介

笔者就不自作聪明了，直接引用Dify官网的简介：

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

重要的是，Dify 是完全开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活的安全的基础上，同时保持对数据的完全控制。目前Dify平均每周都会发布一个新版本，其主要包含以下功能特性：

• LLM支持：与 OpenAI 的 GPT 系列模型集成,或者与开源的 Llama2 系列模型集成。事实上，Dify支持主流的商业模型和开源模型(本地部署或基于 MaaS)。

• Prompt IDE：和团队一起在 Dify 协作，通过可视化的 Prompt 和应用编排工具开发 AI 应用。 支持无缝切换多种大型语言模型。

• RAG引擎：包括各种基于全文索引或向量数据库嵌入的 RAG 能力，允许直接上传 PDF、TXT 等各种文本格式。

• AI Agent：基于 Function Calling 和 ReAct 的 Agent 推理框架，允许用户自定义工具，所见即所得。Dify 提供了十多种内置工具调用能力，如谷歌搜索、DELL·E、Stable Diffusion、WolframAlpha 等。

• 持续运营：监控和分析应用日志和性能，使用生产数据持续改进 Prompt、数据集或模型。

2️⃣ 部署Dify

Dify是开源的，其官方也提供Saas版本，感兴趣的朋友可以去体验。但是其也支持私有化部署，使用Docker就可以轻松搭建一套属于自己的大模型平台，想想就很诱人！话不多说，直接开干！

开始前先简单介绍下部署Dify需要用到的组件，稍微有点多，但放心，有Docker你怕啥？

• 关系数据库：postgres

• 缓存：Redis

• 向量数据库：支持weaviate、qdrant、milvus三选一

• API服务：dify-api，使用api模式启动

• 队列消费服务：dify-api，使用worker模式启动

• Web管理：dify-web

以上6个组件实际上就对应6个Docker镜像，按照官方的提供的方法是可以放到一个compose.yml中的，但根据笔者多年玩Docker的经验，关系数据库、缓存、向量数据库都属于通用的中间件，建议单独部署。毕竟，还有其他应用也会用到这些组件，没必要跟Dify绑定。

1、部署postgres

version: '3.9'
services:
postgres:
image: postgres:15-alpine
container_name: postgres
restart: unless-stopped
ports: 
- 5432:5432 # 映射端口
network_mode: bridge
environment:
- PGUSER=username #用户名
- POSTGRES_PASSWORD=password # 密码
- POSTGRES_DB=dify #默认数据库名称
- TZ=Asia/Shanghai
- PGDATA=/var/lib/postgresql/data/pgdata
volumes:
- /share/Container/postgresql/data:/var/lib/postgresql/data #挂载数据文件
healthcheck:
test: [ "CMD", "pg_isready" ]
interval: 1s
timeout: 3s
retries: 30

温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。环境变量中的用户名、密码、默认数据库名称请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确

2、部署Redis

version: '3.9'
services:
reids:
image: redis:6-alpine
container_name: reids 
restart: unless-stopped
tty: true
network_mode: bridge 
command: redis-server --requirepass 123456 # 启动命令，并设置密码为123456
ports:
- 6379:6379 # 映射端口
volumes:
- /share/Container/redis/data:/data #挂载数据文件
ealthcheck:
test: [ "CMD", "redis-cli", "ping" ]

请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。启动命令中的密码请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确

3、部署Weaviate
前文提到Dify支持3种向量数据库，笔者这里以weaviate为例

version: '3.9'
services:
weaviate:
image: semitechnologies/weaviate:1.19.0
container_name: weaviate
restart: unless-stopped
network_mode: bridge
environment:
QUERY_DEFAULTS_LIMIT: 25
AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false'
PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
DEFAULT_VECTORIZER_MODULE: 'none'
CLUSTER_HOSTNAME: 'node1'
AUTHENTICATION_APIKEY_ENABLED: 'true'
AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih' # 访问密钥，请记得修改
AUTHENTICATION_APIKEY_USERS: 'youmail@gmail.com' # 可不填
AUTHORIZATION_ADMINLIST_ENABLED: 'true'
AUTHORIZATION_ADMINLIST_USERS: 'youmail@gmail.com'# 可不填
ports:
- 8080:8080 # 映射端口
volumes:
- /share/Container/weaviate/data:/var/lib/weaviate #挂载数据文件

温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。记得修改访问密钥，后续部署Dify时需要填写正确

4、部署Dify

这是主角，Dify一个包括三个组件，分别是api服务、worker服务和web前端，笔者就写在一个compose.yml里了。

version: '3.9'
services:
# API 服务
api:
image: langgenius/dify-api:0.5.1
restart: unless-stopped
container_name: dify-api
network_mode: bridge
environment:
# 启动模式：api
MODE: api
TZ: Asia/Shanghai
# 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。
ALL_PROXY: http://192.168.31.20:7890
HTTP_PROXY: http://192.168.31.20:7890
NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
LOG_LEVEL: INFO
# 用来对敏感信息签名或加密的密钥，建议修改一下
SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk
# 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空
CONSOLE_WEB_URL: ''
# 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空
CONSOLE_API_URL: ''
# 这个是你在Dify中创建好一个应用，外部API调用时使用的域名，建议设置好
SERVICE_API_URL: 'https://dify.yourdomain.fun'
# 这个是你在Dify中创建好一个应用，分享链接打开网页时使用的域名，建议设置好
APP_WEB_URL: 'https://dify.yourdomain.fun'
# 预览或下载文件时使用的域名，建议设置好
FILES_URL: 'https://dify.yourdomain.fun'
MIGRATION_ENABLED: 'true'
# postgres数据库用户名
DB_USERNAME: username
# postgres数据库密码
DB_PASSWORD: password
# postgres 地址
DB_HOST: 192.168.31.91
# postgres端口
DB_PORT: 5432
# postgres数据库名称
DB_DATABASE: dify
# Redis地址
REDIS_HOST: 192.168.31.91
# Redis端口
REDIS_PORT: 6379
REDIS_USERNAME: ''
# Redis密码
REDIS_PASSWORD: 123456
REDIS_USE_SSL: 'false'
REDIS_DB: 0
# 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1
CELERY_BROKER_URL: redis://:123456@192.168.31.91:6379/1
WEB_API_CORS_ALLOW_ORIGINS: '*'
CONSOLE_CORS_ALLOW_ORIGINS: '*'
STORAGE_TYPE: local
STORAGE_LOCAL_PATH: storage
# 向量数据库的类型
VECTOR_STORE: weaviate
# weaviate地址
WEAVIATE_ENDPOINT: http://192.168.31.91:9080
# weaviate密钥，部署weaviate时提到过
WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih
MAIL_TYPE: ''
RESEND_API_KEY: ''
RESEND_API_URL: https://api.resend.com
SENTRY_DSN: ''
SENTRY_TRACES_SAMPLE_RATE: 1.0
SENTRY_PROFILES_SAMPLE_RATE: 1.0
volumes:
# 挂载数据文件
- /share/Container/dify/app/storage:/app/api/storage
ports:
# 映射的端口
- "5001:5001"

# worker 服务，用于处理消息队列作业，环境变量与API模式完全相同
worker:
image: langgenius/dify-api:0.5.1
container_name: dify-worker
restart: unless-stopped
network_mode: bridge
environment:
# 启动模式：worker
MODE: worker
TZ: Asia/Shanghai
# 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。
ALL_PROXY: http://192.168.31.20:7890
HTTP_PROXY: http://192.168.31.20:7890
NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
LOG_LEVEL: INFO
# 用来对敏感信息签名或加密的密钥，建议修改一下
SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk
MIGRATION_ENABLED: 'true'
# postgres数据库用户名
DB_USERNAME: username
# postgres数据库密码
DB_PASSWORD: password
# postgres 地址
DB_HOST: 192.168.31.91
# postgres端口
DB_PORT: 5432
# postgres数据库名称
DB_DATABASE: dify
# Redis地址
REDIS_HOST: 192.168.31.91
# Redis端口
REDIS_PORT: 6379
REDIS_USERNAME: ''
# Redis密码
REDIS_PASSWORD: 123456
REDIS_USE_SSL: 'false'
REDIS_DB: 0
# 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1
CELERY_BROKER_URL: redis://:123456@192.168.31.91:6379/1
WEB_API_CORS_ALLOW_ORIGINS: '*'
CONSOLE_CORS_ALLOW_ORIGINS: '*'
STORAGE_TYPE: local
STORAGE_LOCAL_PATH: storage
# 向量数据库的类型
VECTOR_STORE: weaviate
# weaviate地址
WEAVIATE_ENDPOINT: http://192.168.31.91:9080
# weaviate密钥，部署weaviate时提到过
WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih
MAIL_TYPE: ''
# default send from email address, if not specified
MAIL_DEFAULT_SEND_FROM: 'youmail@gmail.com'
# the api-key for resend (https://resend.com)
RESEND_API_KEY: ''
RESEND_API_URL: https://api.resend.com
volumes:
# 挂载数据文件
- /share/Container/dify/app/storage:/app/api/storage

# Web管理服务
web:
image: langgenius/dify-web:0.5.1
container_name: dify-web
restart: unless-stopped
network_mode: bridge
environment:
# 自部署版本，其实还有个CLOUD版本（云端，类似Saas版），二者对团队/租户、登录方式、试用功能有些区别
EDITION: SELF_HOSTED
TZ: Asia/Shanghai
ALL_PROXY: http://192.168.31.20:7890
HTTP_PROXY: http://192.168.31.20:7890
NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
# API服务的域名，笔者这边把api和web服务的域名都设置为同一个了
CONSOLE_API_URL: 'https://dify.yourdomain.fun'
# Web服务的域名，笔者这边把api和web服务的域名都设置为同一个了
APP_API_URL: 'https://dify.yourdomain.fun'
SENTRY_DSN: ''
ports:
# 映射的端口
- "3000:3000"

温馨提示

1. 请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。其中api和worker中使用的postgres、Redis、Weaviate参数完全是一样的。不同点是worker不需要对外提供服务

2. 建议将api和web中涉及到的域名都设置为同一个，以免被各种域名绕晕了！如果没有域名，那就直接填你机器的IP，不是80/443端口的话，请不要把端口忘了

3. 由于涉及的Docker比较多，请务必仔细检查各个参数、环境变量，以免填错

关于几个URL的详细说明

• CONSOLE_API_URL
  控制台 API 后端 URL，用于拼接授权回调，传空则为同域。范例：https://api.console.yourdomain.com。

• CONSOLE_WEB_URL
  控制台 web 前端 URL，用于拼接部分前端地址，以及 CORS 配置使用，传空则为同域。范例：https://console.yourdomain.com

• SERVICE_API_URL
  Service API URL，用于给前端展示 Service API Base URL，传空则为同域。范例：https://api.yourdomain.com

• APP_API_URL
  WebApp API 后端 URL，用于声明前端 API 后端地址，传空则为同域。范例：https://app.yourdomain.com

• APP_WEB_URL
  WebApp URL，用于给前端展示 WebAPP API Base URL，传空则为同域。范例：https://api.app.yourdomain.com

• FILES_URL
  文件预览或下载 URL 前缀，用于将文件预览或下载 URL 给前端展示或作为多模态模型输入； 为了防止他人伪造，图片预览 URL 是带有签名的，并且有 5 分钟过期时间。

5、设置反代

如果你有域名的话，想在公网管理和访问Dify、或分享给朋友使用，那么需要先配置下反代才行（至于如何购买域名、如何解析，不在本篇讨论范围）。笔者分别准备了Nginx配置文件和NPM WebUI操作两种方法。

1、Nginx配置文件

在Nginx的/etc/nginx/config.d/default.conf中加入以下配置，注意将

server {
listen 80;
server_name _;

location /console/api {
proxy_pass http://<api-ip>:5001;
include proxy.conf;
}

location /api {
proxy_pass http://<api-ip>:5001;
include proxy.conf;
}

location /v1 {
proxy_pass http://<api-ip>:5001;
include proxy.conf;
}

location /files {
proxy_pass http://<api-ip>:5001;
include proxy.conf;
}

location / {
proxy_pass http://<web-ip>:3000;
include proxy.conf;
}
}

2、NPM配置

NPM的配置与Nginx配置文件中的原理一样，与其他单服务的应用不同的是，在创建Proxy Host时，需要设置Custom locations，点击Add location添加多个location，参考上面Nginx配置文件添加即可。

3️⃣ Dify展示

以上全部完成后，使用ip或域名打开Dify，首次进入需要先创建一个管理员账号，填写邮箱、昵称和密码即可，创建完成后使用管理员账号登录。下图是笔者创建好的几个应用。

由于Dify的官网Wiki中有非常详细的用户手册，笔者就不再多此一举瞎唠叨了，简单截几个图意思意思一下，建议大家到官网学习。

1、创建应用

2、编排应用

3、知识库
4、内置工具