Hyper-SD：字节跳动推出的基于SD的图像生成框架

Hyper-SD是什么？

Hyper-SD 是一个由字节跳动推出的新颖的扩散模型蒸馏框架，它通过轨迹分段一致性蒸馏和人类反馈学习，显著提升了低步数下的图像生成性能。该模型结合了轨迹保持和重构策略，实现了快速且高质量的图像生成，同时支持多种风格和可控生成，为生成式AI领域带来新SOTA性能。

与现有的扩散模型加速算法相比，该方法取得了卓越的加速效果。经过大量实验和用户评测的验证，Hyper-SD 在 SDXL 和 SD1.5 两种架构上都能在 1 到 8 步生成中实现 SOTA 级别的图像生成性能。

Hyper-SD的功能特性

1. 轨迹分段一致性蒸馏：通过将扩散模型的时间步长划分为多个段落，并在每个段落内保持一致性，Hyper-SD 能够在减少去噪步数的同时，保持图像生成的高质量。
2. 人类反馈学习（RLHF）：结合人类审美偏好和现有视觉感知模型的反馈，Hyper-SD 能够生成更符合人类审美的图像，提升生成效果。
3. 一步生成强化：使用分数蒸馏技术，Hyper-SD 增强了模型在单步生成中的性能，这对于需要快速生成图像的场景非常有用。
4. 低步数推理：Hyper-SD 实现了在极少的步数内进行高效图像生成，显著减少了计算资源的消耗，同时保持了图像质量。
5. 风格兼容性：训练得到的加速模型能够适应不同风格的图像生成，增加了模型的通用性和适用性。
6. 可控图像生成：Hyper-SD 能够与现有的 ControlNet 等控制网络兼容，实现低步数下的高质量可控图像生成。
7. SOTA性能：在 SDXL 和 SD1.5 两种架构上，Hyper-SD 都能实现 SOTA 级别的图像生成性能。
8. 开源：Hyper-SD 的开源性质促进了生成式 AI 社区的发展，允许研究人员和开发者进一步探索和改进模型。
9. 统一的低步数推理模型：Hyper-SD 实现了理想的全局一致性模型，无需针对每个特定的步数训练 UNet 或 LoRA，简化了模型训练和应用的复杂性。

这些功能特色使得 Hyper-SD 成为一个强大的工具，适用于需要快速、高质量图像生成的各种应用，如内容创作、虚拟试衣、游戏开发、图像编辑等。

如何使用Hyper-SD？

• 项目主页：https://hyper-sd.github.io/
• 论文链接：https://arxiv.org/abs/2404.13686
• Huggingface 链接：https://huggingface.co/ByteDance/Hyper-SD
• 单步生成 Demo 链接：https://huggingface.co/spaces/ByteDance/Hyper-SDXL-1Step-T2I
• 实时画板 Demo 链接：https://huggingface.co/spaces/ByteDance/Hyper-SD15-Scribble