stablediffusion相比于latentdiffusion有哪些改进?

stablediffusion相比于latentdiffusion有哪些改进?

稳定扩散相对于潜在扩散的主要改进体现在以下几点：

首先，在训练数据方面，稳定扩散使用了更大、质量更高的数据集进行训练。相比潜在扩散使用较小的laion-400M数据集，稳定扩散在laion-2B-en数据集上训练，显著增加了训练数据量，并通过数据筛选提升了数据质量，例如去除了带有水印的图像和选择美学评分较高的图像。

其次，稳定扩散在文本编码器的选择上也进行了优化。潜在扩散使用一个随机初始化的transformer对文本进行编码，而稳定扩散则采用了一个预训练好的CLIP文本编码器，预训练模型通常在性能上优于从零开始训练的模型。

此外，稳定扩散通过使用稳定分布代替潜在扩散中的高斯分布，提高了模型的稳健性和鲁棒性。它更好地建模长尾分布的数据，对时间序列数据的处理能力也更优，能够更好地处理极端事件和异常值。参数的解释性也得到了提升，因为它们与稳定分布的参数直接相关。

综上所述，稳定扩散在训练数据、文本编码器选择、模型稳健性以及参数解释性等方面，相对于潜在扩散进行了多方面的改进和优化。