ControlNet 是一种用于精确控制图像生成的工具,特别适用于那些希望在生成图像时细致调整构图的用户。在本文中,我将详细介绍如何使用 ControlNet 各种模式,帮助你更好地掌握其应用。
关于 ControlNet
ControlNet 主要依靠图像的结构信息来指导图像生成模型(如 Stable Diffusion)的输出。这些结构信息可以是简笔画、图片的蒙版或边缘信息等。使用 ControlNet,你可以根据需求选择不同的模式来实现对生成图像的精确控制。
首先,你需要下载并安装以下模型:
- Dreamshaper:放置于 ComfyUI 的
models/checkpoints
文件夹。 - ControlNet Scribble:放置于 ComfyUI 的
models/controlnet
文件夹。 - ControlNet Openpose:同样放置于
models/controlnet
文件夹。 - ControlNet Canny:放置于
models/controlnet
文件夹。
如何使用 Scribble ControlNet
Scribble ControlNet 允许用户通过简笔画来控制生成图像的构图。
操作步骤如下:
- 加载默认工作流:从默认工作流开始,可通过点击 Load Default 按钮加载。
- 添加图像加载节点:添加一个 Load Image 节点以导入你的简笔画或结构图。
- 应用 ControlNet:添加 Apply ControlNet 节点,并设置影响强度(strength),这个值通常设置为 0.9。
- 连接节点:将 Positive Text Encode 节点的输出连接到 Apply ControlNet 的 conditioning 端口。
- 加载 ControlNet 模型:添加 Load ControlNet Model 节点并选择适当的模型。
- 完成连接:将 Apply ControlNet 的输出连接到 KSampler 的 positive 端口,以便将结构信息融入最终图像。
使用 Pose ControlNet 控制人物姿态
当你需要控制生成图像中的人物姿势时,Pose ControlNet 将非常有用:
- 加载 ControlNet Openpose 模型:在 Load ControlNet Model 节点中选择 Openpose 模型。
- 导入骨架图:你可以使用外部工具制作骨架图,然后将其导入到工作流中。
使用 Depth ControlNet 控制景深
Depth ControlNet 通过深度图来控制生成图像的景深:
-
导入深度图:你可以直接导入深度图或使用插件生成深度图,然后输入到 ControlNet 模型中。
使用 Canny ControlNet 控制边缘信息
Canny ControlNet 利用 Canny 边缘检测算法生成的边缘图来控制生成图像的边缘细节:
- 更换为 Canny 模型:在 Load ControlNet Model 节点中选择 Canny 模型,然后进行相应设置。
以上是 ControlNet 的基本使用方法。掌握这些技巧后,你可以灵活运用 ControlNet 来满足你在图像生成过程中的各种需求。
阅读全文