ControlNet是一种强大的工具,允许用户通过线稿、动作识别、深度信息等对生成的图像进行细致的控制。在使用 ControlNet 之前,请确保其设置中的路径与本地 Stable Diffusion 的路径保持同步,以确保最佳性能和效果。
一、基本流程
1、启用 ControlNet
点击“Enable”以启用 ControlNet 功能。
2、选择预处理器
Preprocessor 指的是对输入图像进行预处理的工具。如果图像已经符合预处理的格式,例如已经是 OpenPose 所需的骨架图,则可以选择“None”。
3、调整权重
在 “Weight” 字段下,可以调整 ControlNet 在合成中的影响权重,这与在提示词中调整的权重类似。
4、控制生成强度
“Guidance strength” 用于控制有多少百分比的生成步骤由 ControlNet 主导,这与使用 `[:]` 语法相似。
5、反色模式
“Invert Input Color” 表示启动反色模式。如果输入的图片是白色背景,可以启用此选项。
6、色彩通道反转
“RGB to BGR” 用于将输入的颜色通道信息反转,将 RGB 信息按 BGR 形式解析,这是因为 OpenCV 中使用 BGR 格式。如果输入图是法线贴图,请启用此选项。
7、低显存优化
“Low VRAM” 选项启用低显存优化,需要配合启动参数 `–lowvram` 使用。
8、无提示词模式
“Guess Mode” 表示启用无提示词模式,需在设置中启用基于 CFG 的引导。
9、选择模型
在“Model”中选择想要使用的解析模型,它应与输入图像或预处理器相匹配。请注意,预处理器可以为空,但模型不能为空。
二、可用预处理器和模型
1、Canny:用于识别输入图像的边缘信息。
2、Depth:用于识别输入图像的深度信息。
3、HED:用于识别输入图像的边缘信息,具有更柔和的边缘。
4、MLSD:用于识别输入图像的边缘信息,一种轻量级的边缘检测,特别适用于生成室内图像。
5、Normal:用于识别输入图像的法线信息。
6、OpenPose:用于识别输入图像的动作信息。OpenPose Editor 插件允许用户修改姿势,并将其导出到生成的图像中。
7、OpenPose Editor 插件可以自行修改姿势,导出到文生图或图生图。
8、Scribble:将输入图像作为线稿进行识别。如果线稿有白色背景,请务必勾选“Invert Input Color”。
9、Fake Scribble:识别输入图像的线稿,然后将其作为线稿生成新图像。
10、Segmentation:识别输入图像各个区域的物品类型,并利用这些构图信息生成新图像。
三、多ControlNet合成
在 ControlNet 的设置中,可以调整可用 ControlNet 的数量。在多个 ControlNet 模式下,输入的信息将被合并,以生成新的图像。
通过以上内容,希望能更好地理解并应用 ControlNet 功能,以实现对图像生成过程的精细控制。