粤ICP备17114055号
微信扫码
和创始人交个朋友
支持私有云部署
我要投稿
在多次社区的Comfyui共学中发现, comfyui工作流的门槛确实过高. 让很多人理解“潜空间”, “Vae”, “LoRA”, “controlnet”等一系列概念非常困难, 更别说基于理解做一个工作流了.
这次英伟达整了个花活, 让大家看到了打破这个门槛的可能性: 通过画图提示词, 自动生成匹配的comfyUI工作流!
英伟达将其命名为ComfyGen (comfy生成器)! 当然目前仅支持文生图模型.
在英伟达发布的内容中, 他们称: “ComfyGen可以生成高质量的图并泛化到其他领域 (如下图). ”
并且他们很自豪的宣称:“下图这么优秀的图, 完全是comfyGen基于SDXL规模的模型画的, 还没有用flux呢!”
当然, 作为学术性研究论文, 肯定不会很草率的下结论.
英伟达团队做了对比测试:
下图中分别为
1) SDXL原生
2) 两个微调模型 (用过的同学会很熟悉
3) 两个人搭的工作流
4) 两个不同的comfyGen制作的图 (后文原理部分中会说明这两者的区别)
可以看到效果基本一致, 甚至确实更符合人类对提示词的判断和理解.
同时他们还做了和C站上人类写的提示词作对比:
很显然, ComfyGen的效果略胜一筹.
不过由于项目未开源, 无法体验实际效果. 但是如果真的效果如英伟达发布所说, 那是相当惊艳了.
ComfyGen 基于大型语言模型（LLM)，为用户输入的特定提示词自动定制和优化生成Comfyui工作流。
工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。
ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。
这里英伟达制作了一个表格, 表格里记录了工作流画图的分类, 并基于美学和人类偏好的预测给他们的结果打分. 让他们让LLM选择最能匹配新提示词并且得分最高的工作流.
训练时, 同样把表格中的得分, 提示词和工作流作为训练内容. 推理时, 依旧让LLM通过提示词和高得分来预测一个最合适的工作流.
这份研究为很多agent的开发带来了新的思路, 不仅局限于comfyui, 同时对LLM本身的工作流的自动生成也将产生深远的影响.
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-02-23
如何从 A 推进到 B？特别适合 DeepSeek R1 的一种提示词
2025-02-23
扒完清华的《DeepSeek从入门到精通》，发现 99% 的人都不会用 DeepSeek
2025-02-23
10个常用的DeepSeek万能提示词模版｜技巧
2025-02-20
DeepSeek 提示词技巧: 用 AI 白手起家，失业潮下的新活法
2025-02-19
重生之我在 Claude 上 “复刻”了 DeepSeek-R1 效果
2025-02-19
别再学那破提示词技巧了！
2025-02-19
大模型Prompt技巧全解析
2025-02-18
5 条实战指南，教你用高质量 Prompt 榨干 DeepSeek 的潜力
2025-02-01
2024-09-18
2024-08-23
2025-01-08
2025-01-17
2024-07-26
2024-07-02
2024-12-26
2024-07-09
2024-10-17
2025-02-06
2025-01-10
2024-12-25
2024-11-20
2024-11-13
2024-10-31
2024-10-29
2024-10-16
回到顶部