Stable Diffusion:速度更快更好用的新Web UI工具Forge

AI教程 2024-04-09

在AI艺术生成的领域中,Stable Diffusion WebUI一直是用户与开发者们的首选平台。而今,一个名为Stable Diffusion WebUI Forge的升级版本应运而生,它不仅继承了原版的优秀基因,更在性能与功能上进行了全面的提升。

Stable Diffusion WebUI Forge的灵感来源于知名的游戏模组平台“Minecraft Forge”,旨在为用户提供更加稳定、高效的Stable Diffusion WebUI体验。它简化了开发流程,预装了众多扩展功能,并对资源管理进行了深度优化,使得图像生成速度大幅提升。

与原始WebUI相比,Forge展现出了明显的优势。针对图片1024大小的SDXL,无论是常见的8GB显存GPU,还是较弱的6GB显存GPU,甚至是高性能的24GB显存GPU,Forge都能在推断速度、GPU内存使用、最大扩散分辨率以及最大扩散批量大小等方面实现显著的提升。更令人欣喜的是,在使用ControlNet for SDXL时,Forge能够有效避免内存溢出(OOM),并显著提升处理速度。

与原始 WebUI比较

1. 与原始WebUI的对比(针对图片1024大小的SDXL)

(1)对于常见 GPU(显存为8GB),推断速度(it/s)预计将提高约 30~45%,GPU 内存使用峰值将减少约 700MB 至 1.3GB,最大扩散分辨率(避免内存溢出 OOM)预计将提升 2 至 3 倍,最大扩散批量大小(避免 OOM)预计将提升 4 至 6 倍。

(2)对于较弱 GPU(显存为 6GB),推断速度(it/s)预计将提高约 60~75%,GPU 内存使用峰值将减少约 800MB 至 1.5GB,最大扩散分辨率(避免 OOM)预计将提升约 3 倍,最大扩散批量大小(避免 OOM)预计将提升约 4 倍。

(3)对于拥有像4090显存为24GB高性能 GPU,推断速度(it/s)预计将提高约 3~6%,GPU 内存使用峰值将减少约 1GB 至 1.4GB,最大扩散分辨率(避免 OOM)预计将提升约 1.6 倍,最大扩散批量大小(避免 OOM)预计将提升约 2 倍。

(4)若使用 ControlNet for SDXL,不会出现 OOM 的最大 ControlNet 数量预计将增加约 2 倍,配合 SDXL+ControlNet 使用时的速度将加快约 30~45%。

总结:6GB显存的速度预计可提高 75%,8GB显存 的速度可提高 45%,24GB显存 的速度可提高 6%。

在实际测试中,Forge也展现出了不俗的表现。以带有SDXL的8GB VRAM(3070ti 笔记本电脑)为例,相比原始Web UI,Forge在GPU内存使用上有了明显的降低,同时生成的图片效果保持一致,这充分证明了Forge的稳定性和高效性。

原始Web UI

GPU内存平均约7.4GB/8GB,峰值约7.9GB/8GB

image.png

image.png

WebUI Forge:

GPU内存平均和峰值均为6.3GB/8GB。

image.png

image.png

从上面的对比中,固定图片的随机数种子,生成的图片效果是一样的。我们从中可以看到:Forge 不会更改 WebUI生成结果。安装 Forge 并不是一个重大改变。您之前的所有图片作品仍然可以在 Forge 中使用!

Forge的另一个亮点在于其后端的优化。它删除了所有与资源管理相关的WebUI代码,并重新设计了所有内容,使得用户可以更加便捷地进行操作。同时,Forge还引入了Unet Patcher(补丁程序),使得开发者可以更加轻松地实现各种扩展功能,如Self-Attention Guidance、Kohya High Res Fix等。

此外,Forge还预装了许多新功能,如SVD、Z123、masked Ip-adapter、masked controlnet、photomaker等,这些功能不仅丰富了用户的使用体验,也为开发者提供了更多的创作可能性。

Masked Ip-Adapter

image.png

Masked ControlNet

image.png

PhotoMaker  

image.png

Marigold Depth

image.png

Forge 还添加了一些采样器,主要包括以下几种

DDPM

DDPM Karras

DPM++ 2M Turbo

DPM++ 2M SDE Turbo

LCM Karras

Euler A Turbo 

总的来说,Stable Diffusion WebUI Forge作为Stable Diffusion WebUI的强化版,无论是在性能还是功能上都有着显著的提升。它为用户提供了更加稳定、高效的AI艺术生成体验,也为开发者提供了更加便捷、灵活的开发环境。相信在未来,Stable Diffusion WebUI Forge将成为AI艺术生成领域的新里程碑。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章