AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


BizyAir云节点上线ControlNet Union:十多种图像输入控制,一个模型就够了
发布日期:2024-07-17 08:11:33 浏览次数: 2087 来源:硅基流动


今天,硅基流动开源的ComfyUI BizyAir正式上线ControlNet节点,包括ControlNet Union以及24个ControlNet Preprocessing节点。此前,BizyAir云节点已上线SiliconCloud LLM、可图Kolors。

一键直达传送门:

代码:github.com/siliconflow/bizyair

文档:bizyair.siliconflow.cn

BizyAir是硅基流动团队开源的专用于ComfyUI的云节点,让用户不用担心显卡与环境的限制,就能生成高质量图片。

这次上线的Controlnet Union节点“☁️BizyAir Controlnet Union SDXL 1.0”集成了controlnet-union-sdxl-1.0,这是由xinsir团队发布的用于图像生成和编辑的一站式控制模型通过一个模型实现了轮廓、深度、动作姿势、颜色等10+种控制效果,生成Midjourney效果相当的任意长宽比的高分辨率图像。

具体而言,与独立控制模型相比,支持多种控制类型的Controlnet Union的性能无明显下降。支持多条件生成,无需设置超参数或设计提示。由于使用了与原始ControlNet几乎相同的参数,它的模型参数与计算量没有明显增加。此外,Controlnet Union兼容SDXL、Lora模型。

Controlnet Union的推出大大简化了用户操作流程,备受社区用户的推崇。这一次,Controlnet Union云节点的发布进一步降低了用户的使用门槛。

在ControlNet的工作流中,通常需要有图像预处理节点将图像转换为ControlNet网络可以使用的图像提示(Image Prompt)。BizyAir提供了超过20个ControlNet Preprocessing节点,包括Line Extractors、T2I-Adapter Only、Semantic Segmentation、Normal and Depth Estimators、Face and Pose Estimators、Tile六大类。用户可以直接执行图像到图像的生成等任务。

一个示例:将一张大白鲨的照片转换为深度图,然后绘制一个赛博朋克风格的潜水艇。



如何在ComfyUI中使用Controlnet Union?


一、安装BizyAir

在ComfyUI Manager中搜索“BizyAir”即可完成安装。此外,你还可以通过源码、Comfy-cli安装。Windows新手可以下载独立的压缩包。具体可见:

bizyair.siliconflow.cn/getting-started/installation.html

二、快速开始

1. 设置API密钥

首次使用,你需要通过“Set SiliconCloud API Key(设置SiliconCloud API密钥)”来生成API密钥。具体可见:bizyair.siliconflow.cn/getting-started/quick-start.html

2. 使用Controlnet Union节点

所有BizyAir节点都在“☁️BizyAir”目录下。可以使用 github.com/siliconflow/BizyAir/blob/master/examples/bizyair_controlnet_union_workflow.json 工作流快速尝试。

3. 支持与本地节点混合使用

BizyAir云节点可以与ComfyUI本地节点混合使用。比如,如果你不想使用AI自动生成的图片,也可以用本地图片做预处理。


扫码加入BizyAir用户交流群
(请备注暗号“BizyAir”)


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询