Stable Diffusion ControlNet

2024-10-07 30

ControlNet是一种强大的工具,允许用户通过线稿、动作识别、深度信息等对生成的图像进行细致的控制。在使用 ControlNet 之前,请确保其设置中的路径与本地 Stable Diffusion 的路径保持同步,以确保最佳性能和效果。

Stable Diffusion ControlNet

一、基本流程

Stable Diffusion ControlNet

Stable Diffusion ControlNet

1、启用 ControlNet

点击“Enable”以启用 ControlNet 功能。

2、选择预处理器

Preprocessor 指的是对输入图像进行预处理的工具。如果图像已经符合预处理的格式,例如已经是 OpenPose 所需的骨架图,则可以选择“None”。

3、调整权重

在 “Weight” 字段下,可以调整 ControlNet 在合成中的影响权重,这与在提示词中调整的权重类似。

4、控制生成强度

“Guidance strength” 用于控制有多少百分比的生成步骤由 ControlNet 主导,这与使用 `[:]` 语法相似。

5、反色模式

“Invert Input Color” 表示启动反色模式。如果输入的图片是白色背景,可以启用此选项。

6、色彩通道反转

“RGB to BGR” 用于将输入的颜色通道信息反转,将 RGB 信息按 BGR 形式解析,这是因为 OpenCV 中使用 BGR 格式。如果输入图是法线贴图,请启用此选项。

7、低显存优化

“Low VRAM” 选项启用低显存优化,需要配合启动参数 `–lowvram` 使用。

8、无提示词模式

“Guess Mode” 表示启用无提示词模式,需在设置中启用基于 CFG 的引导。

9、选择模型

在“Model”中选择想要使用的解析模型,它应与输入图像或预处理器相匹配。请注意,预处理器可以为空,但模型不能为空。

二、可用预处理器和模型

1、Canny:用于识别输入图像的边缘信息。

Stable Diffusion ControlNet

2、Depth:用于识别输入图像的深度信息。

Stable Diffusion ControlNet

3、HED:用于识别输入图像的边缘信息,具有更柔和的边缘。

Stable Diffusion ControlNet

4、MLSD:用于识别输入图像的边缘信息,一种轻量级的边缘检测,特别适用于生成室内图像。

Stable Diffusion ControlNet

5、Normal:用于识别输入图像的法线信息。

Stable Diffusion ControlNet

6、OpenPose:用于识别输入图像的动作信息。OpenPose Editor 插件允许用户修改姿势,并将其导出到生成的图像中。

Stable Diffusion ControlNet

7、OpenPose Editor 插件可以自行修改姿势,导出到文生图或图生图。

Stable Diffusion ControlNet

8、Scribble:将输入图像作为线稿进行识别。如果线稿有白色背景,请务必勾选“Invert Input Color”。

Stable Diffusion ControlNet

9、Fake Scribble:识别输入图像的线稿,然后将其作为线稿生成新图像。

Stable Diffusion ControlNet

10、Segmentation:识别输入图像各个区域的物品类型,并利用这些构图信息生成新图像。

Stable Diffusion ControlNet

三、多ControlNet合成

在 ControlNet 的设置中,可以调整可用 ControlNet 的数量。在多个 ControlNet 模式下,输入的信息将被合并,以生成新的图像。

Stable Diffusion ControlNet

通过以上内容,希望能更好地理解并应用 ControlNet 功能,以实现对图像生成过程的精细控制。

Stable Diffusion ControlNet

  • 广告合作

  • QQ群号:707632017

温馨提示:
1、本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。 2、本站原创内容未经允许不得转裁,转载请注明出处“站长百科”和原文地址。