Stable Diffusion——四种模型 LoRA(包括LyCORIS)、Embeddings、Dreamboo...

Stable Diffusion——四种模型 LoRA(包括LyCORIS)、Embeddings、Dreamboo...

目前在Stable Diffusion领域中，主要存在四种模型，即Textual Inversion（TI）以Embeddings为训练结果的模型、Hypernetwork超网络模型、LoRA（包括LyCORIS）模型、以及Dreambooth模型。

通过图形拓扑图，博主koiboi深入浅出地解释了这四种SD模型的异同点，并提供了全程视频讲解。非专业人员也能借此了解SD四种微调模型的基本原理。

每个模型都有其独特之处：

1. **Textual Inversion（TI）（Embeddings）**
以“A photo of SKS.”为例，目标是训练出特殊柯基犬形象的模型，并通过特殊的名称“SKS”作为触发词，指导模型生成指定图像。训练过程生成的Embeddings模型文件在实际生图阶段加载并影响Diffusion Model模块，实现特定图像生成。

2. **Hypernetwork**
总体思路与TI相似，但通过一个独立的小神经网络Hypernetwork对Diffusion Model模块进行微调，修改其内部参数，实现特定图像生成。Hypernetwork在训练后生成的模型文件在实际生图时被加载，通过特殊提示词发挥影响。

3. **LoRA**
基于相似的训练框架，LoRA直接对Diffusion Model模块中的参数进行调整，生成独特的模型文件，影响最终图像生成效果。与Hypernetwork相比，LoRA通常表现更优，能够捕捉更多细节。

4. **Dreambooth**
Dreambooth模型直接作用于Diffusion Model模块，进行大规模参数微调以适应特定特征，生成独特图像。此模型输出效果细腻，但计算资源需求大。

总体而言，四种模型各有优势，Dreambooth和LoRA因其训练效率和效果受到更多欢迎。Hypernetwork模型可能因计算资源需求较高而面临淘汰风险。在实际应用中，选择模型时还需考虑特定需求、计算资源以及对图像质量的要求。