hypernetwork模型是一种用于修改风格的小型神经网络。
在这篇文章中，你将学到关于hypernetwork的所有知识，以及如何使用它们来达到你想要的效果。我将从hypernetwork模型的基础知识讲起，到如何结合AUTOMATIC1111 Stable Diffusion GUI使用它们。
什么是Stable Diffusion中的hypernetwork？
hypernetwork是由Novel AI开发的一种微调技术，它是Stable Diffusion的早期采用者。它是一个附加到Stable Diffusion模型上的小型神经网络，用于修改其风格。
小型hypernetwork插入在哪里？它当然是Stable Diffusion模型中最关键的部分：噪声预测器UNet的交叉注意力模块。LoRA模型以不同的方式修改了Stable Diffusion模型的这一部分。
hypernetwork通常是一个非常简单的神经网络：一个带有dropout和激活函数的全连接线性网络。就像你在神经网络入门课程中学到的那样。它们通过插入两个网络来转换键和查询向量，劫持了交叉注意力模块。比较下面的原始模型和被劫持的模型架构。
原始Stable Diffusion模型的交叉注意力模块。
hypernetwork通过添加额外的神经网络来转换键和值。 在训练期间，Stable Diffusion模型被锁定，但允许修改附加的hypernetwork。由于hypernetwork很小，训练速度快且资源需求有限。训练可以在普通电脑上完成。
快速训练和小文件大小是hypernetwork的主要吸引力。
与其他模型类型的区别
hypernetwork与其他模型类型之间的区别：检查点模型、LoRA和嵌入。
检查点模型
检查点模型包含生成图像所需的所有信息。你可以通过它们的大文件大小识别它们。它们的范围从2到7GB。hypernetwork通常低于200MB。
hypernetwork不能单独功能。它需要与一个检查点模型一起工作来生成图像。
检查点模型比hypernetwork更强大。它可以比hypernetwork更好地存储风格。训练检查点模型时，整个模型都会被微调。训练hypernetwork时，只有hypernetwork被微调。
LoRA模型
LoRA模型与hypernetwork最为相似。它们都很小，只修改交叉注意力模块。它们的区别在于修改方式。LoRA模型通过改变其权重来修改交叉注意力。hypernetwork通过插入额外的网络来做到这一点。
用户通常发现LoRA模型产生更好的结果。它们的文件大小相似，通常低于200MB，远小于检查点模型。
LoRA是一种数据存储方法。它不定义训练过程，训练过程可以是dreambooth或额外训练。hypernetwork定义了训练。
嵌入
嵌入是一种称为文本反演的微调方法的结果。像hypernetwork一样，文本反演不改变模型。它只是定义新的关键词来达到某些风格。
文本反演和hypernetwork作用于Stable Diffusion模型的不同部分。文本反演在文本编码器中创建新的嵌入。hypernetwork在噪声预测器的交叉注意力模块中插入一个小网络。
在哪里找到hypernetwork 最好的地方是civitai.com。用Hypernetwork过滤模型类型。
如何使用hypernetwork
我将向你展示如何在AUTOMATIC1111 Stable Diffusion GUI中使用hypernetwork。你可以在Windows、Mac或Google Colab上使用这个GUI。
第1步：安装hypernetwork模型
要在AUTOMATIC1111 webui中安装hypernetwork模型，请将模型文件放在以下文件夹中。
复制
stable-diffusion-webui/models/hypernetworks
stable-diffusion-webui/models/hypernetworks
第2步：使用hypernetwork模型
要使用hypernetwork，请在提示中放入以下短语。
复制
hypernet:filename:multiplier
hypernet:filename:multiplier
filename是hypernetwork的文件名，不包括扩展名(.pt, .bin等)。
multiplier是应用于hypernetwork模型的权重。默认值是1。将其设置为0会禁用模型。
如何确保文件名是正确的？你不应该写这个短语，而应该使用GUI插入它。点击hypernetwork标签。你应该看到安装的hypernetwork列表。点击你想使用的那个。
hypernetwork短语将被插入到提示中。
请注意，hypernetwork短语不被视为提示的一部分。它仅指示使用哪些hypernetwork。应用hypernetwork后，它将被移除。所以你不能使用任何提示语法，比如[keyword1:keyword2:0.5]与它们一起使用。
第3步：测试和使用模型创造艺术
为了最大限度地解锁预期的风格，首先使用它被训练的模型。但不要停在那里。一些hypernetwork需要特定的提示或只适用于特定主题，所以查看模型页面上的提示示例，看看哪些效果最好。
这里有一个专业提示：如果你注意到你的图像看起来太饱和了，这可能是一个信号，表明你需要调整乘数。这是一个简单的修复。Stable Diffusion有时会将颜色饱和度解读为达到标记的完美方式，但减少乘数可以帮助将事物恢复平衡。
一旦你确认你的hypernetwork正在施展魔法，为什么不试着在其他模型上使用它呢？你永远不知道会出现什么有趣和意想不到的效果，而且让我们实话实说，尝试玩弄它们就是纯粹的乐趣。所以，继续吧，让你的创造力奔放。
一些hypernetwork
水元素
水元素是一种独特的hypernetwork，可以将任何东西变成水！使用短语“水元素”在主题之前。确保描述背景。你可以将这个hypernetwork与Stable Diffusion v1.5一起使用。更改hypernetwork权重以调整水效果。
水元素hypernetwork模型页面
提示：
复制
water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>
water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>
提示：
复制
water elemental a boy running on water <hypernet:waterElemental_10:1>
water elemental a boy running on water <hypernet:waterElemental_10:1>
哥特式RPG艺术风格
哥特式RPG艺术风格产生时尚的单色插图风格。与Protogen模型一起使用。
提示：
复制
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
阅读全文
温馨提示：