AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Stable Diffusion WebUI v1.10.0重大更新,支持SD3!
发布日期:2024-08-03 05:04:19 浏览次数: 2070 来源:原子社


Hello,大家好!前不久,SDWebUI的作者AUTOMATIC1111终于把它更新到了v1.10.0,这次不仅修复以往的一些BUG,提升了一些性能,这次还支持了SD3_medium.safetensors模型以及SD3_LoRA模型,同时还支持T5系列的encoder模型,让我们一起来看看这次更新了哪些内容。

更新内容

总共有87项更新:

1. 特性更新(Features):总共3项;

2. 次要更新(Minor):总共13项;

3. 扩展和API更新(Extensions and API):总共2项;

4. 性能提升(Performance):总共9项;

5.错误修复(Bug Fixes):总共35项;

6. 其他(Other):总共25项。

我来为大家讲解一下最重要的特性更新。

特性更新:

  • 支持 Stable Diffusion 3

    • 推荐使用 Euler sampler; DDIM 和其他 timestamp samplers 目前不支持

    • T5 文本模型默认禁用,可在设置中启用

  • 新的 schedulers(调度器):

    • Align Your Steps

    • KL Optimal

    • Normal

    • DDIM

    • Simple

    • Beta

  • 新的 sampler(采样器): DDIM CFG++


如何使用SD3-medium模型

特别提醒:在SDWebUI中使用SD3模型你会遇到很多的报错,比如:代理问题,库冲突问题,版本冲突问题,如果遇到这些问题,千万别花时间去折腾或者去提问(没必要浪费时间),最好的办法是直接重新安装秋叶启动器,半小时搞定。

如何重新安装看往期文章

Stable Diffusion Web UI快速安装

首先,我们先到抱抱脸(HuggingFace)找到SD3的源生模型,下载该模型以及其配套的CLIP模型。

然后,下载上图红框中的SD3模型,以及CLIP模型(由于这次SD3的架构和以往版本的架构完全不一样,所以CLIP模型是必须要下载的)。

在下载模型的同时,我们打开秋叶大佬的绘世启动器,升级SDwebUI内核到v1.10.0。

升级完成后,我们在绘世启动器的根目录下找到models文件夹,在该文件夹内新建一个文件夹取名为CLIP,一会所有的CLIP模型都要放在该文件夹内。

把抱抱脸下载的SD3模型放在stable-diffusion这个文件夹内,一切就绪就可以调用SD模型了。

要使用T5xxl模型的,需要在设置里打开T5选项,才能调用。

Tips:在第一次使用SD3模型的时候,后台会下载一个vaeapprox-sd3.pt文件,这里需要开魔法。



SD3生成图片示例

模型:sd3_medium_incl_clips

Sampling:Euler

Schedule:Auto

Steps:38

CFG:7

mushroom cityscape, mushroom architecture, intricately detailed, surreal mushroom cityscape, glowing luminescence, vibrant colors, complex background, photorealistic, cinematic composition, macro shot, light reflections, ethereal atmosphere, aerial view, Chiaroscuro Lighting Style, partially covered in shadow




模型:sd3_medium_incl_clips

Sampling:Euler

Schedule:Auto

Steps:38

CFG:7

2 full of colorpalette rippled layers, clouds, vines, swirls, curves, ultra fine detail, swirling clouds, Artstation trending, art nouveau, raytracing, highly detailed and intricate, golden ratio, dark gradient ink with intricate designs, hypermaximalist, luxury, elite, japanese castle, majestic, ephemeral, opalescenct, labradorite, cinematic, cgsociety, Victo Ngai and John Howe and Paul Serusier and Jeehyun lee and Louise Nevelson and Hokusai and Mike Mignola : : surreal portal a wonderous japanese castle, style of Laurie Greasley and Satoshi Kon : : wooden sculpt, moon core data chart of abstract symbols fused with Japanese landscape portal fused with geo strata drip, text cascade, glitch cascade, Japananese fusion , sunbleached, high definiton.

模型:sd3_medium_incl_clips_t5xxlfp16

Sampling:Euler

Schedule:Auto

Steps:42

CFG:7.5


次要更新:


  • 选项可跳过早期步骤的 CFG

  • 添加 --models-dir 选项

  • 允许移动用户通过双指按压打开上下文菜单

  • Infotext: 为绑定的 Textual Inversion 添加 Lora 名称作为 TI hashes

  • 下载模型后检查哈希值以防止下载损坏

  • 更多扩展标签过滤选项

  • 保存 AVIF 时,使用 JPEG 的质量设置

  • 添加文件名模式: [basename]

  • 为 SDXL 的 clip L 添加启用 clip skip 的选项

  • 生成过程中防止屏幕休眠的选项

  • 图像查看器中的 ToggleLivePriview 按钮

  • 移除重新加载和快速滚动时的 UI 闪烁

  • 禁用保存按钮 log.csv 的选项

扩展和 API:

  • 添加 process_before_every_sampling 钩子

  • 在无效 sampler 错误时返回 HTTP 400 而非 404

性能:

  • use_checkpoint = False

  • 用 torch 原生操作替代 einops.rearrange

  • 预计算 is_sdxl_inpaint 标志

  • 防止不必要的额外网络偏差备份

  • 添加 --precision half 选项以避免推理过程中的类型转换

  • LDM 优化补丁

  • 将 sigmas 保留在 CPU 上

  • 仅在所有步骤完成后检查一次 unet 中的 nans

  • 为图像生成添加运行 torch profiler 的选项

错误修复:

  • 修复无完整 infotexts 的网格问题

  • lora 部分更新优先于完整更新

  • 修复某些情况下文件扩展名有额外 '.' 的错误

  • 修复模型初始加载循环损坏问题

  • 在 API 中允许旧的 sampler 名称

  • 更多旧 sampler scheduler 兼容性

  • 修复 Hypertile xyz

  • XYZ CSV skipinitialspace

  • 修复 mps 和 xpu 上的软修复,torch_utils.float64

  • 修复非主分支上的扩展更新

  • 更新 pickle 安全文件名

  • 为 webui-assets css 使用相对路径

  • 创建虚拟环境时,在 webui.bat/webui.sh 中升级 pip

  • 修复 AttributeError

  • 在 launch_utils 中为 webui root 使用 script_path

  • 修复额外批处理模式 P 透明度

  • 在 css 中使用 gradio 主题颜色

  • 修复提示输入中的文本拖动

  • 为 .mjs 文件添加正确的 mimetype

  • QOL 项目 - 为 SD 模型、Loras 和 embeddings 更清晰地处理元数据问题

  • 用 wslpath 和 explorer.exe 替换 wsl-open

  • 修复 SDXL Inpaint

  • 多尺寸网格

  • 修复 Replace preview

  • 修复权重分解中的错误比例

  • 确保在 Mac 和 Linux 上使用虚拟环境中的 python

  • 在 Linux 和 Mac 上如果同时存在 python3.10 和 python3,优先使用 python3.10(有回退机制)

  • 停止生成额外内容

  • 修复 SD2 加载

  • 修复 hires fix 不同 lora 的 infotext Lora hashes

  • 修复 sampler scheduler 自动校正警告

  • 修复重新加载和快速滚动时的 UI 闪烁

  • 修复放大逻辑

  • 修复非作业动作上的进度条中断(添加 wrap_gradio_call_no_job)

  • 修复 OSError: 无法将 P 模式写为 JPEG

其他:

  • 修复更新日志

  • ReloadUI backgroundColor --background-fill-primary

  • 为 Intel 和 ARM Macs 使用不同的 torch 版本

  • XYZ override 重做

  • 溢出时滚动扩展表格

  • img2img 批量上传方法

  • 根据更新日志同步 v1.8.0 包

  • 添加 AVIF MIME 类型支持到 mimetype 定义

  • 更新 imageviewer.js

  • no-referrer

  • .gitignore trace.json

  • 将 spandrel 升级到 0.3.4

  • 废弃 --max-batch-count

  • 更新 bug_report.yml

  • 在不要求升级的情况下保持项目对 Python 3.9 用户的兼容性

  • 将 ARM Macs 的 torch 更新到 2.3.1

  • 移除已弃用的设置 dont_fix_second_order_samplers_schedule

  • 修复拼写错误

  • 在控制台日志中使用 shlex.join 启动参数

  • 激活 venv .bat

  • 在 img2img 中为调整大小标签添加 ids

  • 更新 Linux 安装指南

  • 健壮的系统信息

  • 粘贴修复时不发送图像大小

  • 修复 MacOS 的嘈杂 DS_Store 文件


写在最后

总的来说,生成人物方面并不理想,所以我就不把人物图晒出来了。如果您想尝鲜试一下SD3可以花时间去折腾,但是您想用目前的SD3替代以往的SDXL、SD1.5、SD2.1的,那恐怕会让您失望了。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询