Stable Diffusion 进阶与ComfyUI的高级图像生成

在基础篇中，我们介绍了 Stable Diffusion 的基本使用方法。本进阶篇将深入探讨 Stable Diffusion XL (SDXL) 的高级功能，并通过 ComfyUI 工具来演示如何构建和优化使用 SDXL 的 workflow。

模型概览

Stable Diffusion XL 是基于 Stable Diffusion v1.5 版本的升级，它具备以下显著优势：

• 生成更高质量的图像
• 图像细节更加丰富
• 更好地理解复杂的 prompt
• 支持更大尺寸的图像生成

与 SD v1.5 相比，SDXL 的最大变化在于它采用了两阶段的图像创建过程：基础模型和细化模型。这种设计使得 SDXL 在图像细节上得到显著提升。

SDXL 的 Workflow 构建

使用 ComfyUI 构建 SDXL 的工作流程不仅仅是替换模型文件那么简单，它涉及到对 workflow 的重新设计，以适应两阶段图像生成的需要。

下载模型

首先，你需要下载以下两个模型文件并存放到 ComfyUI 的 models/checkpoints 文件夹内：

• SDXL 1.0 Base
• SDXL 1.0 Refiner

推荐下载含有 0.9 vae 的模型版本，它包含了优化的 vae 模型，可以提供更好的效果。

构建 Workflow

1. 替换 KSampler： 在 ComfyUI 中，将默认的 KSampler 替换为 KSampler Advanced，以适配 SDXL 的两个模型。需要添加两个 KSampler 节点，并将它们串联起来。

   

2. 配置 Checkpoint： 添加两个 Checkpoint 节点，第一个设置为 base 模型，第二个设置为 refiner 模型。这样能确保图像从基础构图到细节加工的无缝衔接。

   

3. 连接 CLIP Text Encode： 为了简化操作，可以使用单一的输入框来控制两个 KSampler 的 prompt 输入。通过配置 Primitive STRING 和转换 text widget，可以将 prompt 输入统一管理。

   

4. 调整 KSampler 参数： 为了统一管理并简化 workflow，将 KSampler 的关键参数如 steps、scheduler 等设置为可通过界面直接调整的 widgets。这样可以方便地在运行时调整这些参数，而无需进入节点内部。

   

5. 优化图像质量： 最后，调整 Empty Latent Image 节点的分辨率至 1024×1024，确保生成的图像具有最佳质量。

效果对比

通过比较同一 prompt 下，仅使用 base 与同时使用 base 和 refiner 的效果，可以明显看到后者在自然性和细节上的提升。

阅读全文